Les services mobiles 3G et 4G : une qualité de service bien trop

UFC-Que Choisir – octobre 2014

Les services mobiles 3G et 4G : une qualité de service bien trop mobile

1

octobre 2014 – Service des études – UFC-Que Choisir

Contenu

I. UN PROTOCOLE FIDELE AUX USAGES ET ATTENTES DES CONS OMMATEURS .....................4

1. CADRAGE DE L ’ETUDE ............................................................................................................................4

2. PROTOCOLE ...........................................................................................................................................4

II. SERVICES 3G : DES QUALITES TRES DISPARATES ET LE MA INTIEN DE PROBLEMES SPECIFIQUES SUR L’ITINERANCE .........................................................................................................8

1. MESURER L’EFFICACITE DU TRANSFERT DE DONNEES : L’IMPORTANCE D’ADOPTER DES CRITERES

REELLEMENT DISCRIMINANTS .........................................................................................................................8

2. NAVIGATION SUR LE WEB : LA PERSISTANCE D ’UN PROBLEME SUR L ’ITINERANCE… ............................. 14

3. … QUI SE CONFIRME SUR LE STREAMING VIDEO .................................................................................... 16

4. LE SERVICE VOIX : DES DIFFERENCES PAS SI MARGINALES .................................................................... 17

III. LES PROMESSES DE LA 4G : UNE REALISATION A GEOGRAPH IE VARIABLE .................... 20

1. LE TRANSFERT DE DONNEES : D’IMPORTANTS ECARTS ENTRE OPERATEURS ......................................... 20

2. LA NAVIGATION SUR LE WEB EN 4G, OU LES ATTENTES DEÇUES ........................................................... 25

3. UN CONFORT ACCRU SUR LE STREAMING VIDEO .................................................................................... 28

4. LE SERVICE VOIX : DES PERFORMANCES LOGIQUEMENT MOINDRES EN 4G QU’EN 3G ............................ 29

CONCLUSION ET DEMANDES DE L’UFC-QUE CHOISIR .................................................................... 32

2


Introduction

Près d’un an après la publication de sa dernière étude sur la qualité de service de la 3G1, l’UFC-Que Choisir la réactualise aujourd’hui tout en incluant pour la première fois dans son champ d’investigation la qualité de service de la 4G2. Cette double inclusion est rendue nécessaire par la diversité des situations rencontrées par les consommateurs. En effet, si aujourd’hui la 4G est accessible pour 70 % de la population métropolitaine, le nombre d’utilisateurs (5,6 millions d’après les dernières données de l’Autorité de régulation des télécommunications – ci-après réduit à l’ARCEP) est toujours bien inférieur à ceux qui utilisent la 3G, qui reste en l’état la norme de consommation et justifie qu’on y prête toujours une légitime attention.

L’objectif de cette nouvelle étude de l’UFC-Que Choisir est double :

• analyser les qualités de service 3G proposées par les quatre opérateurs de réseau (Bouygues Telecom, Free Mobile, Orange et SFR) tout en déterminant si le constat émis à plusieurs reprises par l’association perdure quant à l’existence de restrictions sur l’itinérance Orange, utilisée en partie par Free Mobile ;

• confronter la communication des opérateurs sur la « qualité » de la 4G avec celle réellement constatée par les consommateurs.

Afin de répondre à ces deux objectifs, l’UFC-Que Choisir a procédé à des mesures sur le terrain, avec l’appui d’un prestataire technique spécialisé auquel font régulièrement appel aussi bien les opérateurs que l’ARCEP, et a analysé 10 616 données.

La présente étude est structurée en trois parties.

La première partie présente le protocole élaboré pour cette enquête de terrain.

La deuxième partie de l’étude compare la qualité de service 3G des quatre opérateurs de réseau, ce qui nous permet de souligner la persistance d’un réel problème spécifique à l’itinérance qui entraîne une anormale discrimination entre les abonnés de Free Mobile. Cette situation justifie en conséquence, plus que jamais, que l’origine de cette asymétrie soit identifiée par les autorités que nous avons saisies à ce propos il y a déjà près de deux ans.

Enfin, sur la base de notre échantillon, la troisième partie de l’étude dresse une comparaison de la qualité de service 4G proposée par les quatre opérateurs. Celle-ci montre des écarts qualitatifs particulièrement importants entre eux, mais également de substantielles différences de traitement entre les trois zones géographiques que nous avons testées. Ces différences, ces discriminations territoriales, nous le verrons, appellent la mise en place de mesures venant assurer aux

1 http://image.quechoisir.org/var/ezflow_site/storage/original/application/40a34819e4dde059b42909d0fd131318.pdf

2 Lors de notre dernière enquête sur la qualité de service, les opérateurs n’avaient pas tous lancés leurs offres 4G.

3


consommateurs que la stratégie de déploiement des réseaux 4G se fasse en garantissant un traitement équivalent entre eux ; les consommateurs, quelle que soit la zone dans laquelle ils vivent, payent en effet la même somme pour leurs abonnements.

4


I. Un protocole fidèle aux usages et attentes des c onsommateurs

1. Cadrage de l’étude

La campagne de mesures que l’UFC-Que Choisir a menée, avec l’appui d’un prestataire technique, a consisté à la réalisation d’un état des lieux des performances des réseaux 3G et 4G d’un point de vue du client. Bien que généralement basés sur les critères retenus par l’ARCEP dans ses enquêtes de qualité de service, nos propres critères s’en éloignent afin de coller au plus près aux légitimes exigences des consommateurs sur la capacité des réseaux mobiles à offrir la qualité de service présente dans les campagnes publicitaires des opérateurs.

Les quatre opérateurs de réseau ont été testés : Bouygues Telecom, Orange, SFR et Free Mobile. Pour la 3G de ce dernier, compte tenu de ce mode de fonctionnement spécifique, nous avons systématisé une distinction dans nos tests entre ceux réalisés sur son réseau propre (RP), et ceux réalisés en itinérance (IT) sur le réseau Orange.

Deux téléphones mobiles ont été utilisés pour effectuer les mesures : un iPhone 5S et un Samsung Galaxy S5 ; ces terminaux haut de gamme permettent de réduire les défauts de fonctionnements liés aux limites de certains smartphones, et sont en conséquences adaptés pour tester la qualité des réseaux.

Les forfaits qui ont été utilisés sont grand public : le forfait Free avec 20 Go de données utilisables, pour SFR le forfait Carré 16 Go, pour Orange le forfait Origami Jet 10 Go et enfin pour Bouygues Telecom le forfait Sensation 16 Go. Bien entendu, les mesures ont systématiquement été faites dans l’enveloppe allouée pour le fair use.

Les mesures ont été réalisées dans trois villes : Aix-en-Provence, Bordeaux et Paris. Certaines de ces mesures, minoritaires, ont été effectuées en périphérie des villes. En tout, les mesures ont eu lieu dans 71 points géographiques distincts (18 à Aix-en-Provence, 24 à Bordeaux et 29 à Paris).

Les tests se sont déroulés du 1er au 25 septembre 2014.

Les conditions de tests ont été systématiquement identiques pour les 4 opérateurs.

2. Protocole

Sur chaque lieu de mesures, quatre usages ont fait l’objet de nos tests, aussi bien en 3G qu’en 4G :

- Le téléchargement et l’envoi de fichiers ; - La navigation sur le Web : - La lecture d’une vidéo sur la dernière version disponible de l’application YouTube ; - La qualité des appels téléphoniques.

5


a. Le téléchargement et l’envoi de fichiers

Un mesure consistait à :

- Télécharger un fichier de 50 Mo en 4G et de 5 Mo en 3G. - Envoyer un fichier de 20 Mo en 4G et de 1 Mo en 3G.

Les téléchargements et envois sont réalisés selon le protocole HTTP depuis, et vers, un serveur dédié suffisamment dimensionné, là encore pour éviter tout faussement des résultats.

Si l’UFC-Que Choisir a retenu la même taille de fichiers que les plus gros retenus par l’ARCEP dans sa dernière enquête de qualité de service, elle a cependant procédé à une modification quant au critère permettant de juger si aussi bien les téléchargements que les envois sont considérés comme étant réalisés. En effet, pour l’ARCEP, que ce soit en 3G ou en 4G, le téléchargement des fichiers est considéré comme étant réussi s’il est effectué en moins de 300 secondes, tandis que l’envoi des fichiers l’est s’il est effectué en moins de 2 minutes. Basé sur un cahier des charges défini en concertation avec les opérateurs mobiles, ces critères ne reflètent pas les attentes des consommateurs par rapport aux performances des technologies mobiles.

C’est particulièrement le cas concernant la 4G. En effet, les attentes des consommateurs concernant le très haut débit mobile sont à la hauteur des performances vantées dans les campagnes publicitaires des opérateurs. Ainsi, il parait particulièrement inadapté de juger le téléchargement d’un fichier de 50 Mo comme étant réussi s’il est effectué en moins de 5 minutes alors qu’un consommateur disposera de l’information selon laquelle ce téléchargement est effectuable en 8 secondes.

Source : http://reseaux.orange.fr/4g

L’UFC-Que Choisir a donc considéré indispensable de ne pas embrasser l’approche de l’ARCEP et a décidé de se baser dans son étude sur des critères de temps différents. Deux indicateurs distincts sont retenus à la fois pour le téléchargement et pour l’envoi et sont communément appliqués à la 3G et à la 4G.

6


Pour le téléchargement et l’envoi de fichiers, un comparatif est dressé entre opérateur en retenant le critère du téléchargement et de l’envoi en moins de 60 secondes, et un autre en retenant celui du téléchargement et de l’envoi en moins de 30 secondes.

Notons que les débits moyens constatés pendant l’envoi et le téléchargement des fichiers a permis de déterminer les débits médians pour chaque opérateur, dans chaque technologie et sur chaque ville testée, en download et upload que nous présenterons.

b. La navigation sur le Web

L’UFC-Que Choisir a également testé la qualité de navigation sur le Web aussi bien en 3G qu’en 4G. Nous avons ainsi testé l’accès aux 10 pages Web les plus utilisées par les consommateurs 3 . Deux indicateurs ont été retenus.

Le premier est le taux de réussite de l’accès à chaque site internet en moins de 20 secondes. Notons qu’ici également notre approche dénote avec celle de l’ARCEP qui retient un critère de temps de 30 secondes.

Le second est le taux de navigations réussies et maintenues pendant 3 minutes. La navigation est considérée comme étant réussie si elle est maintenue et active pendant 3 minutes sans coupure de connexion au réseau de données.

c. La lecture d’une vidéo sur YouTube

Ce test a consisté à visionner la même séquence d’une vidéo d’une minute sur YouTube, en utilisant pour chacun des deux types de terminaux la dernière version de l’application disponible sur le store.

Plusieurs indicateurs ont été mobilisés afin de déterminer la qualité de visionnage de la vidéo :

- La réussite du lancement de l’application (dans un délai de 15 s) ;

3 http://www.dailymotion.com/fr ; http://www.ebay.fr ; http://www.google.fr ; http://www.lefigaro.fr/ ; http://www.lemonde.fr/ ; http://www.leboncoin.fr/ ; http://www.pagesjaunes.fr ; http://www.wikipedia.fr ; http://www.yahoo.fr ; http://www.youtube.fr

Crédit photo : Alexis Lecomte

7


- La réussite de la recherche de la vidéo (dans un délai de 15 s) ; - Le lancement effectif de la vidéo (dans un délai de 15 s) ; - L’absence de coupure de la vidéo ; - La possibilité de visionner intégralement une vidéo pendant 60 secondes.

Si ces critères sont remplis, alors la lecture d’une vidéo est considérée réussie.

d. La qualité des appels téléphoniques

Nous avons évalué le service voix selon le référentiel ARCEP aussi bien pour la 3G que pour la 4G, l’intérêt étant à la fois de distinguer la qualité de ce service proposée par chaque opérateur pour chacune des technologies, mais également de comparer les délais d’établissement des appels entre les deux technologies, sachant que le service voix ne passe pas sur les réseaux 4G4. Ainsi, lorsqu’un consommateur disposant d’un forfait 4G émet un appel, le terminal doit passer en 3G (ou 2G) pour que l’appel soit effectué, ce qui entraîne un délai supplémentaire pour émettre l’appel.

Plusieurs indicateurs ont été retenus :

- Le taux de communications établies : taux de retour de sonnerie obtenu dans un délai inférieur à 20 secondes après la composition du numéro ;

- Le taux de communications réussies, maintenues et de qualité parfaite ; - Délai moyen d’établissement d’appel par opérateur et par technologie ; - Délai médian d’établissement d’appel par opérateur et par technologie ; - Pour la 4G, le délai de remontée à cette technologie au raccrochage de fin d’appel.

4 Cette possibilité entrera vraisemblablement en vigueur, au moins chez certains opérateurs, au cours de l’année 2015.

8


II. Services 3G : des qualités très disparates et l e maintien de problèmes spécifiques sur l’itinérance

Comme il y a un an, l’UFC-Que Choisir a réalisé des tests pour vérifier la qualité de service de la 3G. L’insertion de la 4G dans nos tests ayant entraîné une modification de notre protocole par rapport à celui adopté l’année dernière, la comparaison de l’évolution de la qualité de la 3G entre nos deux enquêtes n’est pas rendue possible. Cependant, nous avons pu nous livrer à une comparaison de la qualité de service proposée par les différents opérateurs.

Nous avons distingué les deux réseaux 3G utilisés par les clients de Free Mobile. En effet, ne pouvant disposer d’un réseau national lui appartenant lors du lancement de ses offres mobiles en janvier 2012, Free Mobile a signé un accord dit « d’itinérance » avec l’opérateur Orange pour pouvoir utiliser ses antennes mobiles, aussi bien 2G que 3G. Ayant déjà démontré à deux reprises l’existence de restrictions qualitatives sur cette itinérance qui impacte concrètement ses utilisateurs, l’UFC-Que Choisir a maintenu dans son enquête 2014 cette distinction lorsqu’il s’agit de lire la qualité mobile proposée aux clients de Free Mobile.

Cette deuxième partie de l’étude présente successivement les résultats des quatre services que nous avons testés. Systématiquement, nous présentons les résultats agrégés ainsi que les résultats par zone testée.

1. Mesurer l’efficacité du transfert de données : l ’importance d’adopter des critères réellement discriminants

Afin de mesurer la performance des différents réseaux 3G, il est indispensable de mettre en place des critères qui permettent de réellement différencier les opérateurs. Comme indiqué dans la partie consacrée au protocole, nous avons élaboré deux indicateurs temporels. Nous allons établir qu’ils permettent de montrer la divergence de qualité de service chez les opérateurs.

9


a. Le téléchargement de fichiers

En retenant un critère de temps de 60 secondes pour réaliser le téléchargement d’un fichier de 5 Mo, nous constatons des différences de performances relativement peu marquées.

Néanmoins, à ce stade quelques constats peuvent être dressés. Les réseaux de Bouygues Telecom et d’Orange se démarquent en étant les seuls à permettre le téléchargement du fichier en moins de 60 secondes dans plus de 9 cas sur 10. SFR et Free Mobile sont en-dessous de ce seuil et nous remarquons une performance identique sur le réseau propre de Free et sur l’itinérance. Pour que les différences de performances divergent davantage, l’augmentation du critère qualitatif est nécessaire, ce que nous mettons en évidence dans le graphique ci-dessous.

10


Si pour Orange l’incidence est nulle, et lui permet de disposer du meilleur taux de téléchargements réussis dans le temps imparti, Bouygues Telecom baisse légèrement ; SFR et surtout Free bien davantage. Une différence, relativement peu importante, apparaît déjà entre le réseau propre de Free et l’itinérance, à l’avantage qualitatif du premier.

b. L’envoi de fichiers Le paysage change légèrement lorsqu’on fixe l’attention sur l’envoi de fichiers. Bien que la différence entre le réseau propre de Free et l’itinérance soit toujours présente, l’expérience pour les abonnés de Free reste bonne.

La qualité du réseau d’Orange ressort, tandis que Bouygues Telecom, et surtout SFR, affichent des performances bien moindres. Le renforcement du critère qualitatif vient en partie bousculer l’ordre établi.

11


En effet, le réseau propre de Free prend ici le dessus. La différence de qualité avec l’itinérance s’accroît fortement puisque 16,7 points séparent le réseau propre de Free de l’itinérance.

Au global donc, c’est Orange qui obtient le meilleur résultat. Une fois encore, SFR ferme la marche.

c. Des débits toujours éloignés des débits théoriques Des résultats sur les tests de téléchargements et d’envois de fichier, nous tirons les éléments nous permettant de dresser les débits mesurés pour les quatre opérateurs.

Le débit descendant (en téléchargement) médian est de 9,6 Mbit/s pour Orange, 7,2 Mbit/s pour Bouygues Telecom, 6,3 Mbit/s pour SFR, et 4,8 Mbit/s pour Free Mobile (4,8 Mbit/s sur son réseau propre et 4,2 pour l’itinérance). Encore une fois, on notera que les débits réels sont bien moindre que les débits théoriques en 3G annoncés par les opérateurs (jusqu’à 42 Mbit/s).

Un aperçu par zone géographique testée permet de dresser des constats plus précis.

12


En désagrégeant les moyennes, on se rend compte de la disparité des situations selon qu’on s’intéresse à une zone en particulier.

A Paris, les trois opérateurs « historiques » se tiennent dans un mouchoir de poche, alors que Free Mobile présente, aussi bien sur son réseau propre qu’en itinérance, les débits les plus faibles.

A Bordeaux, comme à Aix-en-Provence, Orange distance très nettement ses compétiteurs avec des débits médians supérieurs à 10 Mbit/s. Si SFR présente des débits relativement élevés à Aix-en-Provence, il en est autrement à Bordeaux avec des débits tout juste supérieurs à 2 Mbit/s. On constatera que la relative homogénéité entre le réseau propre de Free et l’itinérance à Paris et à Bordeaux laisse place à une grande divergence à Aix-en-Provence, favorable à l’itinérance.

Concernant le débit ascendant médian (relevé lors des tests d’envois de fichiers), il est de 2,0 Mbit/s pour Orange, de 1,4 Mbit/s pour SFR, de 1,2 Mbit/s pour Bouygues Telecom et pour Free Mobile (1,3 Mbit/s sur son réseau propre et 1,0 sur l’itinérance).

13


Dans le détail, à l’exception de Bouygues Telecom, on note une forte homogénéité des débits à Paris : Bouygues Telecom occupe la dernière position, Orange la première. On constate à Bordeaux et Aix-en-Provence une asymétrie entre le réseau propre de Free Mobile et l’itinérance, tantôt à l’avantage du réseau propre (Bordeaux), tantôt à celui de l’itinérance (Aix-en-Provence).

Un élément important à noter ici est qu’au global, les débits constatés sur l’itinérance Orange et sur le réseau propre de Free sont plutôt convergents, ce qui explique que les performances en téléchargement et en envoi de fichiers sur les deux réseaux sont relativement comparables.

Il est intéressant de noter que ces tests sont généralement adoptés pour comparer les performances entre les opérateurs. Or, nous allons voir que la corrélation entre débits et qualité de service offerte ne résiste pas à l’examen des faits lorsqu’on teste des services auxquels font bien plus régulièrement appel les consommateurs.

14


2. Navigation sur le Web : la persistance d’un prob lème sur l’itinérance…

Lorsque nous avons tenté de charger en moins de 20 secondes une page Web du TOP 10 des sites les plus visités dans son intégralité, les résultats ont été globalement positifs pour Orange et Bouygues Telecom, SFR prenant la troisième position, laissant, et de loin, la dernière marche à Free Mobile avec seulement 73,3 % des pages affichées dans le temps imparti.

Distinguant les tests réalisés sur le réseau propre de Free Mobile et l’itinérance, nous pouvons conclure que cette dernière place est due aux résultats très faibles sur l’itinérance. En effet, le taux d’accès aux pages Web en moins de 20 secondes n’y est que de 53,3 %, soit 38,7 points de moins que sur le réseau propre de Free !

Cette différence concerne par ailleurs l’ensemble des villes testées.

Déjà important à Paris, l’écart de qualité lorsqu’il s’agit de naviguer sur l’Internet mobile croît dans des proportions extrêmement marquées à Bordeaux et Aix-en-Provence, avec des écarts atteignant près de 50 points !

Bouygues Telecom Orange SFR Free Free_RP Free_IT

Paris 94,2% 92,9% 89,8% 73,8% 86,6% 62,0%

Bordeaux 88,0% 97,1% 73,2% 72,4% 96,2% 47,7%

Aix-en-Provence 96,2% 97,0% 93,5% 70,6% 95,0% 45,7%

15


Un test de la qualité de navigation sur l’Internet mobile encore plus poussé consiste à mesurer la réalisation successive du chargement des pages Web, afin de coller au plus près aux pratiques des consommateurs, et de leurs attentes légitimes sur leurs bonnes réalisations.

Une fois encore, Orange s’en sort le mieux devant Bouygues Telecom et, plus loin, SFR. Une fois encore Free Mobile reste au pied du podium. Une fois encore, l’itinérance plombe les résultats globaux de l’opérateur. L’absence de qualité y est frappante. Alors que sur le réseau propre de l’opérateur le taux de navigations réussies et maintenues pendant 3 minutes est de 64,6 %, sur l’itinérance ce taux chute drastiquement à 6,3 %. Autrement dit, il y a 10 fois moins de chances d’avoir une bonne expérience de navigation sur l’itinérance que sur le réseau propre de Free, ou qu’en moyenne sur le réseau de l’un des trois opérateurs « historiques » !

Une fois encore, ce constat général est le reflet de la situation constatée dans les trois villes testées.

Les taux y sont systématiquement plus faibles en itinérance que sur le réseau propre de Free. Nos mesures font ainsi ressortir l’incapacité totale à pouvoir naviguer dans de bonnes conditions via l’itinérance ! Cette atomisation par ville permet également d’indiquer la mauvaise expérience utilisateur que nous avons constatée chez SFR à Bordeaux.


Paris 70,0% 62,5% 60,0% 36,7% 60,0% 15,0%

Bordeaux 59,4% 75,0% 37,5% 34,9% 68,8% 0,0%

Aix-en-Provence 75,0% 83,3% 66,7% 33,8% 66,7% 0,0%

16


3. … Qui se confirme sur le streaming vidéo

L’ensemble des informations présentées pour la navigation Web ressortent également sur le test du streaming vidéo sur YouTube. Orange offre le meilleur taux d’accès de qualité à YouTube, tandis que Bouygues Telecom et SFR sont proches l’un de l’autre. Pour Free Mobile le taux d’accès est faible. Dans un cas sur deux, il n’est pas possible de lire dans de bonnes conditions une vidéo sur YouTube.

Comme précédemment, c’est la piètre qualité rencontrée sur l’itinérance qui explique cette faiblesse globale de Free. En effet, dans seulement 14,6 % des cas une bonne lecture de la vidéo sur YouTube a été constatée. Pour rentrer dans le détail des causes expliquant ce taux extrêmement faible, précisons que dans 54,2 % des mesures, le défaut de lancement de la vidéo a été constaté. Autrement dit, en voulant lancer la lecture de la vidéo, celle-ci n’a pas démarré dans le délai de 15 secondes.

Dans les trois villes auditées, l’itinérance affiche le taux de lecture de qualité le plus bas, avec un taux de 0 % à Bordeaux ! Dans cette ville, Bouygues Telecom et SFR affichent des taux relativement moyens, laissant Orange offrir assez sensiblement la meilleure qualité du streaming vidéo sur YouTube.


Paris 92,5% 88,5% 90,0% 57,5% 85,0% 30,0%

Bordeaux 68,7% 88,5% 62,5% 46,8% 93,7% 0,0%

Aix-en-Provence 83,3% 91,7% 91,7% 41,6% 75,0% 8,3%

17


4. Le service voix : des différences pas si margina les

Le service voix étant essentiel pour les consommateurs, l’UFC-Que Choisir l’a intégré dans son enquête 2014. Les résultats font apparaître quelques différences entre opérateurs.

Pour le premier critère que nous avons posé, à savoir réussir à établir une communication téléphonique en moins de 20 secondes, les opérateurs affichent dans l’ensemble de bonnes performances. SFR reste néanmoins sensiblement en retrait avec un taux inférieur de 8,7 points à la moyenne des trois autres opérateurs.

Ces différences se retrouvent pour le critère « taux de communication réussies, maintenues et de qualité parfaite ». SFR perd tout de même encore un peu plus de terrain avec un taux de 86,5 %.

Enfin, si on se réfère aux délais moyens et médians d’établissement d’appel, nous constatons cependant que Bouygues présente les délais les moins élevés – une seconde de mieux que ses compétiteurs.

Bouygues Tel. Orange SFR Free Free_RP Free_IT

Taux de communications étalies en

moins de 20 secondes97,9% 99,0% 89,6% 97,9% 100% 95,8%

Délai moyen d'établissement

d'appel3,8 s 4,7 s 4,8 s 4,8 s 4,8 s 4,8 s

Délai médian d'établissement

d'appel3,4 s 4,4 s 4,3 s 4,5 s 4,5 s 4,4 s

Taux de communications réussies,

maintenues et de qualité parfaite97,9% 99,0% 86,5% 95,8% 95,8% 95,8%

18


Au global, une agrégation des différents taux de qualité présentés5 permet de mettre en lumière les différences qualitatives entre opérateurs sur la 3G.

Sur la base de nos tests, Orange affiche la meilleure qualité de 3G devant Bouygues Telecom, SFR et Free Mobile qui est assez nettement distancé. Ce classement général sur la base de données récoltées sur les trois zones testées dans le cadre de l’enquête de l’UFC-Que Choisir n’est cependant pas identifiable sur chacune de ces zones.

Il est ici notable que chaque zone possède son classement par opérateur spécifique, et systématiquement différent du classement agrégé.

5 Nous avons moyenné cinq taux : taux de fichiers de 5 Mo téléchargés en 30 secondes, taux de fichiers de 1 Mo envoyés en moins de 30 secondes, taux d’accès aux pages Web en moins de 20 secondes, taux de navigations sur Internet réussies et maintenues pendant 3 minutes et taux d’accès de qualité à YouTube.

3G - Par ville Bouygues Telecom Orange SFR Free

Paris 89,3% 85,3% 83,0% 66,6%

Bordeaux 73,9% 89,5% 60,4% 61,4%

Aix-en-Provence 85,9% 91,1% 86,2% 66,6%

19


Cette partie de notre étude consacrée à la qualité de service proposée par la 3G est riche d’enseignements. Une lecture globale des résultats présentés permet tout d’abord de dresser des constats généraux sur la qualité de service 3G chez les quatre opérateurs. Orange tire clairement son épingle du jeu, tandis que Bouygues Telecom parvient à prendre la deuxième place. La qualité de service proposée par SFR que nous avons mesurée montre d’inquiétants signes de faiblesse, comme l’avait d’ailleurs montré l’ARCEP dans sa dernière enquête consacrée à la qualité des services mobiles.

Notre lecture découplée de la qualité de service sur le réseau propre de Free et sur l’itinérance a permis de montrer la persistance de l’écart qualitatif que l’UFC-Que Choisir a montré à deux reprises auparavant. Il est notable que cette différence ne se constate pas, ou peu, pour le téléchargement et l’envoi de fichiers. Ceci tend à montrer qu’une restriction spécifique est effectuée pour les services gourmands en bande passante et qui ne renvoient pas de valeurs sur les débits, valeurs fréquemment utilisées pour comparer la qualité des réseaux mobiles.

Pour déterminer l’origine de ces restrictions, qui engendrent une mauvaise expérience utilisateur, l’UFC-Que Choisir a saisi la justice en janvier 2013. L’association espère que cette nouvelle preuve apportée quant à l’existence et au maintien d’un problème sur l’itinérance aura le mérite d’accélérer cette démarche entamée il y a près de deux ans.

On précisera ici que la fin programmée de l’itinérance (prévue en l’état au plus tard en 2018), ne signifie pas que la qualité de service proposée par le réseau propre de Free sera identique à celle présentée dans cette étude. En effet, l’itinérance prenant fin, le réseau propre de Free devra supporter l’ensemble des utilisateurs qui aujourd’hui passent par l’itinérance, générant, si le réseau propre de Free Mobile n’est pas suffisamment dimensionné, d’importantes congestions.

Deux autres enseignements peuvent être tirés des informations que nous présentons. Le premier est que plus les critères de qualité sont élevés, plus les différences entre opérateurs se font sentir. Ceci aboutit donc à identifier l’importance du protocole lorsqu’il s’agit de mettre en évidence les qualités de service disparates proposées par les opérateurs.

Le second est que les indicateurs agrégés ne reflètent pas forcément l’hétérogénéité des qualités de service proposées par les opérateurs sur les différents lieux audités. Aussi, l’information agrégée, pour intéressante qu’elle soit, n’est pas forcément l’indication la plus pertinente pour un consommateur qui sur un lieu donné voudrait disposer d’éléments de comparaisons sur les différences de qualité entre opérateurs sur ce lieu.

20


III. Les promesses de la 4G : une réalisation à géo graphie variable

Si l’UFC-Que Choisir a déjà réalisé une étude sur la 4G6, celle-ci était principalement consacrée à la problématique de la couverture. Néanmoins, nous émettions déjà des réserves sur la qualité de service en identifiant l’existence d’une 4G à deux vitesses. Les quatre opérateurs de réseau proposant, depuis cette étude, la 4G aux consommateurs, nous avons testé sa qualité dans notre enquête 2014 sur la qualité de service.

L’objet de cette partie est de présenter les résultats de qualité de la 4G. Cette présentation s’effectue en adoptant le même schéma général que pour la précédente partie. Nous identifions ici la présence de décalages bien trop importants chez certains opérateurs entre la qualité de service « vendue » aux consommateurs, et la réalité à laquelle ils sont confrontés sur le terrain.

1. Le transfert de données : d’importants écarts en tre opérateurs

Comme indiqué dans la première partie, l’UFC-Que Choisir a pris ses distances avec le protocole utilisé par l’ARCEP dans sa dernière enquête sur la qualité des services mobiles. Les résultats de nos tests sur la performance des opérateurs sur les transferts de données viennent valider la mise en place de critères exigeants pour comparer les 4G des opérateurs.

a. Le téléchargement de fichiers A minima, compte tenu des performances de la 4G présentées par les opérateurs, un consommateur est en droit d’attendre une qualité du réseau 4G de son opérateur lui permettant de télécharger un fichier de 50 Mo en moins de 60 secondes. Or nos relevés montrent que cette attente peut être déçue.

6 http://image.quechoisir.org/var/ezflow_site/storage/original/application/19d6d9aff38a9ee9baa602af7d984388.pdf

21


Si Orange et Bouygues Telecom présentent respectivement le meilleur et le deuxième taux de fichiers téléchargés, on note que Free Mobile arrive en troisième position, 10 points tout de même derrière eux. L’élément principal reste la faillite de SFR qui n’affiche qu’un taux de fichiers téléchargés de 68,8 %.

Pour la 4G comme pour la 3G, le renforcement du critère qualitatif accentue les écarts entre opérateurs. Ainsi, la première place occupée par Orange est incontestée, en raison d’une faible chute de son taux à opposer à une chute bien plus importante des taux de Bouygues Telecom et Free. Si la baisse du taux de SFR est moins importante que celle de Bouygues Telecom, le taux affiché reste cependant

22


bien en-deçà des 50 %. Dans plus d’un cas sur 2, il n’est ainsi pas possible de télécharger un fichier de 50 Mo en moins de 30 secondes.

b. L’envoi de fichiers Pour l’envoi de fichiers de 20 Mo en moins de 20 secondes, on retrouve le classement déjà mis en avant.

Ici également, Orange et Bouygues offrent de bons taux de réussite alors que Free et surtout SFR en offrent de bien moins bons.

23


Lorsque le délai est abaissé à 30 secondes, les performances de Bouygues Telecom et Orange baissent, mais restent à un niveau de qualité très proche. Les taux de SFR et Free chutent quant à eux de respectivement de 18,7 et de 17,7 points. Ici également, SFR obtient la palme du taux le plus faible puisqu’il est de 54,2 % !

c. Les réels débits 4G également éloignés des débits théoriques Comme pour la 3G, nous avons calculé sur la base des tests de téléchargements et d’envois de fichiers les débits médians proposés par les quatre opérateurs.

Au global, le meilleur débit médian constaté est pour Orange avec 37,8 Mbit/s, devant Free avec 24,8 Mbit/s, Bouygues Telecom avec 20,6 Mbit/s7. Avec un débit médian de 12,6 Mbit/s, SFR arrive très nettement en dernière position.

Lorsqu’on fixe plus précisément l’attention sur chaque zone testée, on se rend compte d’une inégalité territoriale quant à la qualité de la 4G.

7 On note donc une inversion dans le classement de Free et Bouygues Telecom constaté dans le test de téléchargement de fichiers en 4G.

24


Il est remarquable que les débits descendant médians baissent à mesure que la taille de la ville testée diminue. Ceci est vrai pour l’ensemble des opérateurs, à l’exception notable de Free qui présente un meilleur débit médian à Bordeaux qu’à Paris. En faisant la moyenne des débits médians par ville, on se rend compte d’une forte différence territoriale de la qualité de la 4G. Si à Paris le débit descendant moyen est de 35,1 Mbit/s, il tombe à 28,3 Mbit/s à Bordeaux pour s’écrouler à Aix-en-Provence avec un débit moyen de seulement 12,1 Mbit/s, très loin des débits théoriques de la 4G pouvant aller jusqu’à 150 Mbit/s ! Bien que l’ensemble des opérateurs participent à ce très faible débit réel moyen, on constate que SFR le tire particulièrement vers le bas puisque le débit médian qu’il y propose est de seulement 3,2 Mbit/s, soit à un niveau indigne même de la 3G !

Concernant le débit ascendant (en envoi) médian, il est de 13,0 Mbit/s pour Orange, 12,1 Mbit/s pour Bouygues Telecom, 7,6 Mbits pour SFR et 6,6 Mbit/s pour Free Mobile.

25


Le constat émis pour les débits descendants perdure pour les débits ascendants. La chute de débit à mesure que la taille de la ville diminue est particulièrement frappante. Si le débit moyen reste légèrement supérieur à Paris qu’à Bordeaux, il l’est bien davantage qu’à Aix-en-Provence où le débit moyen n’est que de 6,2 Mbit/s. Encore une fois, SFR ne parvient pas à monter sur le podium puisque le débit médian qu’il présente n’est que de 1,5 Mbit/s, loin des exigences des consommateurs sur la performance de la 4G !

2. La navigation sur le Web en 4G, ou les attentes déçues

Afin de pouvoir comparer sur une base commune l’avantage de la 4G par rapport à la 3G, nous avons établi le test de la navigation sur le Web en 4G sur les mêmes bases que celui établi pour la 3G. Fort logiquement, l’expérience sur l’Internet mobile reste plus agréable en 4G qu’en 3G.

26


Si pour l’ensemble des opérateurs les taux d’accès aux pages Web en moins de 20 secondes croissent par rapport à ceux constatés sur la 3G, la différence la plus marquée est pour Free Mobile qui voit son taux augmenter de 22,4 points. On note encore une fois que SFR ferme la marche avec un taux de 91,9 %.

Un regard sur les taux désagrégés montre une certaine homogénéité de qualité dans les trois villes testées à l’exception notable de SFR qui peine à offrir une bonne expérience utilisateur à Aix-en-Provence.

Le test plus discriminant du taux de navigations sur Internet réussies et maintenant pendant 3 minutes en 4G permet de montrer des écarts de qualité plus significatifs.

4G - Par ville Bougues Telecom Orange SFR Free

Paris 95,4% 95,5% 95,6% 95,2%

Bordeaux 96,8% 97,5% 97,7% 95,0%

Aix-en-Provence 93,3% 97,4% 77,8% 97,4%

27


En effet, Orange offre toujours une bonne expérience utilisateur, sensiblement meilleure que celle constatée chez les trois autres opérateurs. Free Mobile occupe la deuxième place laissant Bouygues Telecom et SFR à la traîne avec un taux de seulement 76,0 %.

Dans le détail par ville, nous constatons une bonne homogénéité chez Bouygues Telecom et Orange, un moins bonne pour Free Mobile et toujours la subsistance d’un problème pour SFR à Aix-en-Provence.


Paris 75,0% 92,5% 80,0% 80,0%

Bordeaux 78,1% 87,5% 84,4% 78,1%

Aix-en-Provence 75,0% 91,7% 58,3% 87,5%

28


3. Un confort accru sur le streaming vidéo Notre test de la qualité de la lecture d’une vidéo sur YouTube montre un réel avantage pour la 4G par rapport à la 3G.

Le taux de qualité augmente de 16,7 points pour Bouygues Telecom qui occupe la première place, de 4,5 points pour Orange qui occupe la deuxième, de 42,7 points pour Free, troisième, et de 9,4 points pour SFR qui avec 90,6 % de taux d’accès de qualité à YouTube est l’opérateur 4G le moins performant.

A nouveau, le problème de SFR à Aix-en-Provence impacte cette moyenne agrégée.

4G - Par ville Bouygues Telecom Orange SFR Free

Paris 100% 87,5% 100% 90,0%

Bordeaux 96,9% 93,7% 96,9% 96,9%

Aix-en-Provence 100% 100% 66,7% 91,7%

29


4. Le service voix : des performances logiquement m oindres en 4G qu’en 3G Comme nous l’avons déjà indiqué, la voix ne passe pas pour l’instant sur les réseaux 4G. Ainsi, compte tenu de la nécessité pour un terminal en 4G d’accrocher le réseau 3G (ou 2G) pour effectuer un appel, la 4G restera fort logiquement moins efficace que la 3G pour ce service.

Cependant, les taux de communications établies en moins de 20 secondes sont supérieurs en 4G qu’en 3G pour l’ensemble des opérateurs. Ceci s’explique par le critère de temps assez conciliant de 20 secondes que nous avons retenu.

Par contre, la logique mentionnée est pleinement respectée en ce qui concerne les délais moyens et médians d’établissement d’appel, puisqu’ils sont pour tous les opérateurs supérieurs à ceux constatés en 3G. Ici, Free Mobile est l’opérateur chez lequel les délais d’établissement sont les plus bas.

Par contre, c’est l’opérateur avec lequel la remontée sur le réseau 4G après l’appel est la plus longue. Sur cet aspect, Orange offre la meilleure performance.

Bouygues Tel. Orange SFR Free

99,0% 100% 100% 97,9%

(97,9%) (99,0%) (89,6%) (97,9%)

5,1 s 5,7 s 6,2 s 4,9 s

(3,8 s) (4,7 s) (4,8 s) (4,8 s)

5,0 s 5,6 s 5,9 s 4,7 s

(3,4 s) (4,4 s) (4,3 s) (4,5 s)

97,9% 97,9% 94,8% 96,9%

(97,9%) (99,0%) (86,5%) (95,8%)

Délai de remontée à la 4G après

raccrochage8,6 s 6,4 s 8,1 s 13,8 s

Taux de communications établies

en moins de 20 secondes

Délai moyen d'établissement

d'appel

Délai médian d'établissement

d'appel

Taux de communications réussies,

maintenues et de qualité parfaite

30


Au global, ici comme en 3G, une agrégation des différents taux de qualité8 permet de mettre en lumière les différences qualitatives entre opérateurs sur la 4G.

Sur la base de notre échantillon, Orange offre la meilleure qualité devant Bouygues Telecom, Free Mobile et SFR, qui se situe en retrait. A nouveau, ce classement général n’est pas identifiable sur chacune de ces zones.

Comme en 3G, dans chaque zone ressort un classement pas opérateur spécifique, et systématiquement différent du classement agrégé.

8 Nous avons moyenné cinq taux : taux de fichiers de 50 Mo téléchargés en 30 secondes, taux de fichiers de 20 Mo envoyés en moins de 30 secondes, taux d’accès aux pages Web en moins de 20 secondes, taux de navigations sur Internet réussies et maintenues pendant 3 minutes et taux d’accès de qualité à YouTube. Précisons ici que les deux premiers critères étant différents en 3G et en 4G, la comparaison des taux de qualité en 3G et en 4G n’est pas pertinente.


Paris 86,6% 92,1% 86,1% 83,9%

Bordeaux 81,9% 92,7% 78,3% 84,6%

Aix-en-Provence 84,5% 83,7% 45,7% 55,3%

31


Cette dernière partie de notre étude a mis en évidence, et en toute logique, des performances supérieures en 4G qu’en 3G. Cependant, de nombreux dysfonctionnement ont été identifiés.

Si nos résultats montrent que globalement Orange offre la meilleure qualité de 4G, devant Bouygues Telecom et Free Mobile, ils pointent également du doigt les limites qualitatives de la 4G de SFR qui sur l’ensemble de nos tests figure quasi systématiquement en dernière position. C’est notamment le cas à Aix-en-Provence où la qualité de la 4G de SFR reste très éloignées des promesses de cette technologie du très haut débit mobile.

Plus largement, à travers ce test sur trois villes à densités différentes, les débits proposés par l’ensemble des opérateurs décroissent à mesure que la taille de la ville testée diminue. Si globalement à Paris les débits se portent à un niveau permettant à la 4G de fournir une très bonne qualité de service, c’est moins le cas à Bordeaux et a fortiori à Aix-en-Provence. Après le constat que nous dressions dans notre étude sur la couverture 4G le 05 novembre 2013 laissant craindre une 4G à deux vitesses au niveau national, cette nouvelle étude conforte encore davantage cette inquiétude.

Ceci constitue en conséquence une inégalité territoriale quant à l’accès d’une 4G de qualité, qui doit être analysée à l’aune de la stratégie de déploiement de la 4G des opérateurs, qui investiraient, en proportion, bien davantage dans les zones les plus densément peuplées. La crainte d’une 4G à deux vitesses que l’UFC-Que Choisir évoquait l’année dernière paraît ainsi confirmée par les faits.

Que la qualité de la 4G soit différente est une chose. Que cette qualité soit tellement faible pour utiliser dans de bonnes conditions le très haut débit mobile en est une autre. Ainsi, la nécessaire mise en place de critères de qualité de service permettant aux utilisateurs de la 4G de réellement pouvoir en faire un usage conforme aux promesses des opérateurs sur les mérites de cette technologie s’impose.

32


Conclusion et demandes de l’UFC-Que Choisir

Cette étude de l’UFC-Que Choisir, destinée aussi bien à interroger la qualité de service de la 3G que celle de la 4G, permet à l’association de ressortir plusieurs problèmes de qualité pour les deux technologies.

Les différences de qualité entre opérateurs sont particulièrement marquées. Si Orange tire clairement son épingle du jeu devant Bouygues Telecom, SFR montre régulièrement des signes de faiblesses particulièrement marqués.

L’opérateur laisse cependant au pied du podium Free Mobile. Une nouvelle fois, les informations que l’UFC-Que Choisir a récoltées indiquent la persistance d’une restriction sur l’itinérance Orange qu’utilise l’opérateur. L’impact sur les clients de Free Mobile utilisant les services de l’Internet mobile, sans le savoir, via l’itinérance est majeur : ils ne peuvent jouir que d’une médiocre qualité de service, loin des références constatées pour l’opérateur Orange. Cette anomalie apparaît désormais comme totalement structurelle.

Comme sur la 3G, nos relevés sur la 4G mettent en lumière d’importants écarts qualitatifs entre opérateurs. Orange offre ici également les meilleures performances devant Bouygues Telecom et Free Mobile. SFR arrive assez nettement en dernière position.

Mais ces écarts de qualité sont également géographiques : la qualité de la 4G est en effet corrélée à la taille des villes que nous avons auditées (Aix-en Provence, Bordeaux et Paris). Ainsi, alors qu’à Paris le débit médian en téléchargement est de 35,1 Mbit/s, il tombe à 28,3 Mbit/s à Bordeaux pour chuter à 12,1 Mbits/s à Aix-en-Provence. Cette baisse en débit est constatée, à des degrés divers, chez l’ensemble des opérateurs et illustre comme nous le présentions l’année dernière, une 4G à deux vitesses.

Pire, les débits peuvent atteindre des niveaux tellement faibles que la 4G se situe très loin des standards de la technologie, tels que présentés aux consommateurs dans les campagnes publicitaires. Ainsi, à Aix-en-Provence, SFR n’affiche qu’un débit médian de 3,2 Mbits/s, loin du débit théorique de 115 Mbit/s !

Plus largement, cette étude a mis en évidence la nécessité de mise en place par l’ARCEP d’un protocole aux critères réellement discriminants pour comparer les qualités de service des opérateurs.

Au vu de ces éléments, l’UFC-Que Choisir, soucieuse de garantir aux consommateurs une qualité de service leur permettant d’utiliser dans de bonnes conditions les réseaux mobiles, demande :

- Aux autorités de régulation et judiciaires de faire au plus vite toute la lumière sur les origines des restrictions constatées sur l’itinéran ce Orange utilisée par Free Mobile ;

- Plus particulièrement à l’ARCEP de mettre en place des critères élevés de qualité de service;

33


Par ailleurs, l’association invite les consommateur s à alimenter l’Observatoire de la couverture de l’Internet mobile en téléchargeant et utilisant l’application « Info Réseau », disponible sur le Google Play Store, et à consulter la carte de la co uverture mobile fraîchement actualisée.

Documents

Les services mobiles 3G et 4G : une qualité de service bien trop