JFTL2013 - Retour d'expérience PagesJaunes

Tests des applications mobiles

Retours d’expérience PagesJaunes

Bertrand BATOGE (KEREVAL) / Cédric GAUTIER (PagesJaunes)26 Mars 2013

2

LABORATOIRE CTA KEREVALACCRÉDITATIONN° 1-2347PORTÉE DISPONIBLE SURWWW.COFRAC.FR

Development Member Consortium

Nos Valeurs

10 années

Métier unique

Indépendance

Impartialité

Excellence

Notre Expertise

Nos clients

Venez sur notre Stand N°3

3 | 26 Mars 2013| Retours d’expérience Tests de l’application mobile Pages Jaunes

SOMMAIRE1. Application Pages Jaunes Mobile

2. Organisation des tests

3. Validation mobile et stratégies de test Pages Jaunes1. Volatilités des applications

2. Multiplicité des devices et des OS

3. Problématiques liées aux mobiles

4. User Relationship Management

5. Problématiques liées au réseau

Application PagesJaunes Mobile

Présentation


Application PagesJaunes Mobile


Annuaire de recherche des professionnels Recherches des professionnels avec

- Annuaire Particuliers et Annuaire Inversé- Recherche Géolocalisée- Guidage Pas à Pas- Fonctions contributives et sociales

› Avis des utilisateurs› Facebook

- Intégration mobile› Click2Call› Contacts› …

Application Pages Jaunes Mobile


Annuaire de recherche des professionnels Accessible depuis

- Site Web- Applications

Mais également- Intégration avec des partenaires

De nouveaux usages- Intégration dans les GPS des automobiles- Mobilier Urbain (JC Decaux)

Organisation des tests




PagesJaunes – DT Mobile Direction des services en mobilités

- En charge des développements web et applicatifs de PagesJaunes

Direction Technique Mobile

Pôle Validation Pôle Projet Pôle Développement

Tierce Recette Mobile



PagesJaunes - Pôle Validation En charge de la qualification de l’infrastructure et des applications

mobiles PagesJaunes- Tests des applications et sites Web Mobiles- Tests des infrastructures BackOffices- Tests de performances des infrastructures Mobiles

Les enjeux Volonté de se développer sur tous les supports mobiles Ergodesign propre à la Marque PagesJaunes Fonctionnels Qualité des recherches Géolocalisation Publicitaire et statistique



KEREVAL - Cellule de Tierce Recette Mobile Mise à disposition d’un parc de mobiles représentatifs du marché Conception et exécution de test fonctionnels Accompagnement sur la stratégie de test

Expériences réussies Tests de la full-app Android Tests de la web-app PagesJaunes pour Mappy GPS Free Tests de portabilité sur BADA et BlackBerry Organisation PagesJaunes

- Evaluation des activités de validation au sein du département des services en mobilité (DSEM) Méthodologie

- Définition du processus de validation de la DSEM

Validation mobile et stratégie de test PagesJaunes


Validation mobile et stratégie de testPagesJaunes


Volatilité des applications Multiplications des applications sur les markets

- > 700 000 applications sur Android Market- > 730 000 applications sur App Store

Les utilisateurs ont l’embarras du choix- > 1000 applications radios- > 6 applications annuaires- …

Le market est aussi un espace d’expressions



Volatilité des applications En moyenne 24 applications installées

par terminal- 4 sont utilisées quotidiennement

L’application doit être irréprochable- Exigence très forte sur l'intégration graphique/ergonomique- Implication très forte nécessaire de la Maîtrise d’ouvrage et du Marketing

3 Applications sur 5 sont désinstallées dans les 24 heures- Le bug ne pardonne pas

Pas de possibilité de mise à jour au fil de l'eau comme sur le web- Règle supplémentaire pour l’embarqué qui s’ajoute aux contraintes de TTM

Causes des rejets par les utilisateurs



Multiplicité des Systèmes d’Exploitation

Multiplicité des Terminaux

Open Signal Maps : fragmentation d’Android sur une multitude de terminaux

Multiplicité des Navigateurs Firefox Chrome Opera Safari Dolphin …



Sur quels OS et sur quels terminaux valider son application ?

Emulateurs ou terminaux réels ?



Les émulateurs Simplifient des environnements de test Sont utiles pour couvrir une large gamme de terminaux Existent pour « tous » les terminaux du marché Outils puissants pour développer des applications mobiles

Mais ce ne sont pas les vrais terminaux !Sont-ils suffisamment fiables pour remplacer les terminaux physiques?



Limitations des émulateurs Certaines tâches ne peuvent pas être émulées,

exemples :- Changement de connexion réseau- Prise de photo ou de vidéo- Streaming vidéo sur BlackBerry

Ils ne permettent pas d’identifier les problèmes liés à la mémoire, aux processeurs ou à la batterie

Ils présentent des différences de résolution et donc d’affichage

Ce ne sont pas les environnements des utilisateurs !



Pour ses tests, PagesJaunes s’appuie Sur des émulateurs / simulateurs pour les tests unitaires et d’intégration Sur quelques terminaux réels pour les premiers tests systèmes Sur la flotte de terminaux KEREVAL



Stratégie PagesJaunes et Kereval Limitation du nombre de terminaux basée sur une analyse et une

couverture des caractéristiques des téléphones :- Les résolutions d’écran- Les accès utilisateurs- Les systèmes d’exploitation- Les constructeurs- Les parts de marché- …

8 à 10 terminaux couvrant 90% du marché

Attention aux surcouches opérateurs- OS au fonctionnement parfois différents => impact fort sur les applications

avec forte interaction système (Android, Agenda, contacts, etc...)- Pas d’impact sur l’application PagesJaunes Mobile



Quelles sont les autres contraintes à prendre en compte dans la stratégie de test ?



Un Smartphone sert avant tout à communiquer ! Conserver l’utilisateur dans l’application est primordial Les cas d’interruption sont à prendre au sérieux Vérifier comment l’application se comporte

- Avant - Pendant- Après une interruption

Dans la stratégie de test : Appels : SMS ; Player Audio / vidéo ; Synthétiseurs Vocaux ; Mail… Publicité : Interstitiels ; Bannières… Mise en veille des applications et reprise de session



Limites des ressources des terminaux mobiles Les applications mobiles fonctionnent dans

des environnements de plus en plus performants mais toujours contraints- Mémoire- CPU- Batterie

Nécessité de conduire des tests de stress et de performance

Dans la stratégie de test : Une 20aine d’applications parmi les plus populaires et les plus

gourmandes sont exécutées en parallèle de l’application à tester



Interactions avec le terminal Multi-touch :

- Nouveaux usages infinis - Les usages et les possibilités ne cessent de croître- Nombreuses failles possibles

Clavier : - Contenu personnalisable, - A la saisie peuvent avoir un impact sur l'utilisation de formulaire de saisie

Dans la stratégie de test : Vérifier la robustesse de l’interface utilisateur Vérifier le verrouillage du multi-touch



Définition Relation entre l'entreprise et les utilisateurs de services informatiques Créer de l’audience en sollicitant les utilisateurs Cibler les campagnes selon les usages

Les contraintes du point de vue des tests Récupération des données statistiques

- SDK outils URM restent jeunes sur le marché- Mécanismes de statistiques pas assez spécifiés- Perte de réseau ou gestion des timeouts dans les usages beaucoup plus fréquents dans

le cas réel qu'en laboratoire

Dans la stratégie de test Outils de traces pour valider le contrat d'interface (mais pas la réception

des données) Mise en évidence de la réception ou la perte d’une statistique sur le réseau

User Relationship Management



Conditions d’utilisation du réseau variables Bande passante et contenu enrichi Conception des produits pour des conditions idéales Coupures réseau

- Pas toujours simple à simuler (coupure serveur, serveur inaccessible, mobilité dans des zones sans réception) Cartographie très séduisante mais devant être performante

- Attention aux temps de chargement Réalité augmentée

- Attention aux temps de chargement Roaming

- Impact non négligeable sur des applications internationales

Dans la stratégie de test Tests aux limites : les « pires » cas doivent garantir le bon fonctionnement du fonctionnel

nominal Le déplacement en voiture/forêt peut s'avérer très efficace pour la gestion des cas limites

Problématiques liées au réseau



La stratégie de test pour l’application PagesJaunes Sélection d’un nombre limité de terminaux réels et représentatifs Tests des interruptions Tests des interactions utilisateurs Tests aux limites Tests URM Tests en « mobilité » Tests des « pires cas » réseau

Cette stratégie s’inscrit dans une stratégie de test globale Optimisation des tests manuel via l’outillage Analyse de logs Capture d’écran et vidéo Ecran déporté Gestion de test

Technology

JFTL2013 - Retour d'expérience PagesJaunes