BAROMETRE BAROMETRE BAROMETRE BAROMETRE

4G4G4G4GMARKMARKMARKMARK

2222NDNDNDND TRIMESTRE 2015TRIMESTRE 2015TRIMESTRE 2015TRIMESTRE 2015

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

4G4G4G4GMARKMARKMARKMARK L’APPLI DE MESURES DES RESEAUXL’APPLI DE MESURES DES RESEAUXL’APPLI DE MESURES DES RESEAUXL’APPLI DE MESURES DES RESEAUX MOBILESMOBILESMOBILESMOBILES

L’application 4Gmark L’application 4Gmark L’application 4Gmark L’application 4Gmark pour smartphone est disponible gratuitement sur Google Play pour les terminaux

Android depuis février 2013, sur AppStore pour iPhone & iPad depuis mai 2013 et sur Windows Phone depuis

août 2014.

Preuve de son succès, 4Gmark totalise désormais à travers le monde, plus de

880880880880 000000000000 téléchargements sur tous les stores depuis 2 ans (65% sur Android65% sur Android65% sur Android65% sur Android).

Avec un total de + de 8888 400400400400 000 tests000 tests000 tests000 tests, c’est en moyenne ununununeeee

utilisatutilisatutilisatutilisationionionion toutes les 7stoutes les 7stoutes les 7stoutes les 7s dans le monde. Toutes ces mesures alimentent

donc notre service temps réel participatif et nous permettent de réaliser

périodiquement une analyse plus poussée.

En effectuant gratuitement leurs tests sur 4Gmark, les utilisateurs bénéficient

d’une information fiable et pertinente sur la qualité de leur connexion. Ils sont

informés qu’ils participent à un projet collaboratif permettant d’alimenter une

base d’information pour la connaissance et l’amélioration de la qualité de service.

L’innovation originale du Test Complet, Full TestFull TestFull TestFull Test, permet de connaitre le score

atteint par la connexion (Smartphone, sur un réseau à un instant précis et dans

des conditions propres) en effectuant un Test plus long, incluant des services

supplémentaires comme la navigation sur Internet et la mesure de vidéos en streaming.

Depuis septembre 2013, 4Gmark publie sur ZDNet.frZDNet.frZDNet.frZDNet.fr le baromètre national de référence « 4Gmonitor4Gmonitor4Gmonitor4Gmonitor » des

résultats cellulaires sur les 4 opérateurs, qui contribue à la notoriété de l’application et offre un juste retour aux

utilisateurs de l’application.

Une approche Une approche Une approche Une approche innovanteinnovanteinnovanteinnovante

Pionnier en la matière, 4Gmark avait innové, lors de son lancement début 2013, en intégrant la navigation

web à son application, via le scenario FullTest. Ce scenario permettait notamment d’avoir une première vision

de l’expérience client des utilisateurs dans des cas d’usages réels.

Fort des retours positifs de cette initiative, 4Gmark a souhaité poursuivre plus loin dans l’innovation, en

complétant ou renforçant les nouveaux usages, toujours dans un souci de recherche de représentativité de

l’expérience client réelle.

Pour cela, 4Gmark a fait évoluer son scenario complet, le « FullTest », en juillet 2014 en y apportant notamment

3 nouveautés majeures, décrites ci-après.

Un test de streaming Un test de streaming Un test de streaming Un test de streaming YouTubeYouTubeYouTubeYouTube

Le nouveau FullTest introduit un test vidéo sur la plateforme de streaming YouTube. Ce

test permet notamment de mesurer le délai d’initialisation nécessaire à la vidéo pour

lancer la séquence de visionnage, c’est-à-dire le temps avant lequel les premières

images de la vidéo sont affichées. Le test mesure également les temps de lags pendant le visionnage.

1111

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

Un panel de Un panel de Un panel de Un panel de portails web portails web portails web portails web internationauxinternationauxinternationauxinternationaux

Le panel de portails web a été enrichi, passant de 3 pages (Google, Wikipédia et YouTube) à plus de 20 pages

dont les séquences sont alternées pour que l’utilisateur ne tombe pas systématiquement sur les mêmes URL de

test. Ce nouveau panel de tests est complété de portails web internationaux parmi les plus représentatifs de

l’usage des internautes : Twitter, Instagram, MSN, Alibaba, Amazon, Apple, Baidu, Bing, Ebay, Paypal,

Facebook, Paypal, etc…

Un test de débit sur Un test de débit sur Un test de débit sur Un test de débit sur différents types de fichiersdifférents types de fichiersdifférents types de fichiersdifférents types de fichiers

Ce nouveau système détermine quel type de fichiers sera récupéré (vidéo, audio, document, programme,

archive…) lors des étapes de téléchargement des scenarios SPEEDTEST et FULLTEST de son application

publique.

Sur l’ancien FullTest, un seul type de fichiers était téléchargeable, un fichier data avec pour extension .file.

Depuis le 8 juillet, c’est 20 types de fichiers qui le sont :

L’extension .xyz ne correspond à aucun fichier connu et permet ainsi d’établir le comportement « par défaut »

du réseau cellulaire. Le fichier .file est l’extension historique.

La méthodologie du test de téléchargement reste inchangée, on requête un très gros fichier, et on constate

l’absence ou non d’échec sec de téléchargement et le débit moyen sur 10s de transfert descendant.

ContributionContributionContributionContribution

Vous aussi, participez au baromètre 4Gmark en téléchargeant dès maintenant l’application gratuite sur les

stores et en réalisant des tests de votre opérateur autour de chez vous :

http://get.http://get.http://get.http://get.4g4g4g4gmark.commark.commark.commark.com

3gpavi

mov

mpg

mp4

mp3

aac

pdf

docxlsppttxt

jpg

png

apk

ipa

exe

iso

zipfile

xyzVIDEO

AUDIO

DOCUMENT

IMAGE

PROGRAMME

ARCHIVE

AUTRE

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

OBJECTIF & PERIMETRE OBJECTIF & PERIMETRE OBJECTIF & PERIMETRE OBJECTIF & PERIMETRE

ETUDEETUDEETUDEETUDE

Cette étude s’inscrit dans la continuité des statistiques présentées en cycle hebdomadaire dans le 4Gmonitorde

ZDNet.fr.

ObjectifObjectifObjectifObjectif

L’objectif de cette étude est d’apporter la vision « Expérience Client » d’un abonné/équipé 4G au

consommateur de data sur les réseaux cellulaires en France Métropolitaine.

Ainsi, la segmentation technologique n’est plus faite entre 3G et 4G. Un opérateur cellulaire apporte son

service autant en 4G dans les zones couvertes, qu’en 3G pour la voix (le téléphone « redescend » en 3G) mais

aussi pour la data, là où la 4G n’est pas présente ou ne passe pas (la 3G ayant souvent une meilleure

pénétration dans les bâtiments). C’est donc les performances (sur un terminal 4G, et donc aujourd’hui abonné

4G) de la sommes de tous les réseaux qui permet de mesurer l’expérience-client (QoE) contrairement à

l’approche plus technique (QoS) du réseau 4G seul. Cette approche permet de répondre à la question qui est

probablement la vôtre : « En m’abonnant chez cet opérateur, quelEn m’abonnant chez cet opérateur, quelEn m’abonnant chez cet opérateur, quelEn m’abonnant chez cet opérateur, quelleleleles sont les performances nationas sont les performances nationas sont les performances nationas sont les performances nationales qu’il les qu’il les qu’il les qu’il

proposeproposeproposepropose si j’ai un terminal 4Gsi j’ai un terminal 4Gsi j’ai un terminal 4Gsi j’ai un terminal 4G ???? ».

La segmentation La segmentation La segmentation La segmentation géographiquegéographiquegéographiquegéographique

La 4G, réalité commerciale, ne l’est pas encore partout et pour

tous.

Les opérateurs qui doivent tenir des engagements de

couverture mais aussi proposer ce service le plus rapidement à

plus de clients, équipent, en général, en priorité les zones

denses. C’est donc logique que les antennes émergent avant

tout dans les grandes villes, où un support fournira le service

rapidement au plus grand nombre.

L’étude apporte donc désormais une segmentation par strate strate strate strate

géographiquegéographiquegéographiquegéographique entre :

� Les 14 plus grandes agglomérations au sens de l’INSEE (agglomération de plus de 400 000 habitants) dites

« TOP14TOP14TOP14TOP14 ». Par exemple « L’agglomération de Paris » correspond à un ensemble d’un peu plus de 400

communes du bassin de population de l’Ile de France et pas seulement à la commune de Paris.

� Les agglomérations entre 50 000 et 400 000 habitants dites « 50505050----400Kh400Kh400Kh400Kh »

� Les agglomérations entre 10 000 et 50 000 habitants dites « 10101010----50Kh50Kh50Kh50Kh »

� Les agglomérations de moins de 10 000 habitants dites « <10 Kh<10 Kh<10 Kh<10 Kh »

� Et enfin, toutes les communes hors agglomération correspondants aux zones rurales, et que l’on

dénommera tout naturellement « ruralruralruralrural ». Il est intéressant de noter que cette strate est loin d’être

négligeable puisqu’elle regroupe près de 15 millions d’habitants sur un peu plus de 29 000 communes (la

France en compte environ 36 000)

La question que cette segmentation pose est la suivante : « Les opérateurs Les opérateurs Les opérateurs Les opérateurs présententprésententprésententprésentent----ils les mêmes ils les mêmes ils les mêmes ils les mêmes

performances pour leur réseau des «performances pour leur réseau des «performances pour leur réseau des «performances pour leur réseau des « vivivivilleslleslleslles » et celui des «» et celui des «» et celui des «» et celui des « champschampschampschamps »»»» ???? »

2222

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

Afin de fiabiliser les indicateurs, dans la vision nationale, chacune des strates est pondérée selon le poids de

population qu’elle représente, ce qui respecte la pondération appliquée par l’ARCEP (Autorité de Régulation

des Communications Electroniques et des Postes) en 2015. Pour explication : dans le cas où les usagers de

4Gmark d’un opérateur présentent 80% des mesures sur le TOP14, cette strate pèsera toujours pour 1/3 dans

l’indice national et ce, même si les opérateurs présentent des périmètres différents.

PérimètrePérimètrePérimètrePérimètre de l’étudede l’étudede l’étudede l’étude

Le périmètre de la présente étude est le suivant :

� DatesDatesDatesDates : du 1er avril au 30 juin 2015 24h/24

� EnvironnementEnvironnementEnvironnementEnvironnement : Android, iPhone & Windows Phone

� Périmètre géographiquePérimètre géographiquePérimètre géographiquePérimètre géographique : France Métropolitaine

� RéseauxRéseauxRéseauxRéseaux : les opérateurs de réseaux cellulaires Bouygues Telecom, Free, Orange & SFR

� TechnologieTechnologieTechnologieTechnologie : 2G/3G/4G sur terminaux compatibles 4G

� UtilisateursUtilisateursUtilisateursUtilisateurs : SIM française uniquement pas de roaming étranger, itinérance nationale comprise

� ServeursServeursServeursServeurs : 3 hébergements en data-centers avec bande passante totale supérieurs à 20 000 Mbps.

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

COMPOSITION & QUALIFICATIONCOMPOSITION & QUALIFICATIONCOMPOSITION & QUALIFICATIONCOMPOSITION & QUALIFICATION

ECHANTILLONECHANTILLONECHANTILLONECHANTILLON

L’étude est réalisée sur la base de l’ensemble des mesures géolocalisées en France et réalisées sur le 2nd

trimestre 2015 avec des smartphones 4G. L’échantillon, notamment en termes d’utilisateurs, est naturellement

composé de la manière suivante :

Au-delà de la notion d’utilisateur, le nombre de cycles de mesures (1 cycle = 1 speedtest ou 1 fulltest) est

présenté sous-dessous pour chacun des opérateurs et par type de scenario. L’échantillon est également réparti

entre les différents systèmes d’exploitation smartphone avec une parité pour les 2 OS les plus répandus,

Android et iPhone, suivi d’une part très minoritaire des Windows Phone.

111102020202 587587587587 cycles de mesures

30% 24% 21% 22%

70% 76% 79% 78%

Bouygues T. Free Mobile Orange SFR

Les utilisateurs 4Gmark

Bouygues T.

Free Mobile

Orange

SFR

+ de 30 tests

6 à 30 tests

3 à 5 tests

2 tests

1 test

25%25%25%25%

18%18%18%18%

34%34%34%34%

23%23%23%23%

16161616 700700700700utilisateurs

3,93,93,93,94,44,44,44,4

2,62,62,62,63,23,23,23,2

Nombre moyen de tests par smartphone

Nombre de smartphones ayant réalisé x tests

3333

46%

50%

4%

IPHONE

ANDROID

WP

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

RESULTATS RESULTATS RESULTATS RESULTATS

BENCHMARKBENCHMARKBENCHMARKBENCHMARK

Les résultats ci-dessous sont présentés en vision nationalvision nationalvision nationalvision national (toutes tranches/strates de population confondues)

pour les abonnés/équipés 4Gabonnés/équipés 4Gabonnés/équipés 4Gabonnés/équipés 4G au 2nd trimestre 2015.

LeLeLeLe ScoreScoreScoreScore dudududu FullTestFullTestFullTestFullTest

Les graphiques ci-dessous présentent la moyenne globale et l’évolution des scores obtenus sur le FullTest de

4Gmark. Le Score du Full TestScore du Full TestScore du Full TestScore du Full Test se veut le reflet de l'expérience utilisateur sur l'ensemble du parcours sur une

échelle ouverte. Il est composé d'une partie performance (débits de téléchargement et d'envoi de fichiers) et

d'une partie Qualité de Service (YouTube et Navigation Web), et est impacté par les échecs qui le pénalisent

fortement.

LeLeLeLessss Débits moyensDébits moyensDébits moyensDébits moyens des transferts de fichiers DL/ULdes transferts de fichiers DL/ULdes transferts de fichiers DL/ULdes transferts de fichiers DL/UL

Le graphique ci-dessous présente la moyenne globale des débits descendants et montants obtenus sur

4Gmark. Le débit des tests mesurés par 4Gmark se veut le reflet de l'expérience utilisateur réelle dans leur

pratique quotidienne (types de fichiers multiples, mono-thread, échanges des paquets validés, serveurs

centralisés...) issue d'une méthodologie professionnelle.

4444

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

RESULTATS RESULTATS RESULTATS RESULTATS BENCHMARKBENCHMARKBENCHMARKBENCHMARK

Le graphique ci-dessous présente l’évolution des débits descendants obtenus sur 4Gmark pour chacun des

opérateurs, en MegaBits par seconde.

LaLaLaLa Navigation WebNavigation WebNavigation WebNavigation Web

Le graphique ci-dessous présente la Non-Qualité (échecs et hors délais d’affichage) mis en perspective du

temps moyen de chargement obtenu lors du chargement des 20 portails web du FullTest sur 4Gmark. Une

page est considérée hors délai si elle se charge en plus de 15s.

LeLeLeLe Streaming YoutubeStreaming YoutubeStreaming YoutubeStreaming Youtube

Le graphique ci-dessous présente la Non-Qualité (échecs et hors délais de chargement de la vidéo) mis en

perspective du temps moyen d'attente de l’utilisateur (chargement de la video + rebufferisations en cours de

lecture) obtenu pour les différents vidéos de la plateforme de contenus streaming YouTube du FullTest sur

4Gmark.Une vidéo de 30 secondes est considérée hors délai si elle n’est pas visualisée entièrement dans un

délai de 45 secondes.

4444

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

RESULTATS RESULTATS RESULTATS RESULTATS BENCHMARKBENCHMARKBENCHMARKBENCHMARK

4444

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

INDOOR

20,820,820,820,8 Mbps

OUTDOOR

32,432,432,432,4 Mbps DYNAMIC

27,127,127,127,1 Mbps

RESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLES

BOUYGUES T.BOUYGUES T.BOUYGUES T.BOUYGUES T.

Indice 4GIndice 4GIndice 4GIndice 4G

Proportion de 4G perçue en moyenne par les utilisateurs

Débits DL moyens

22,22,22,22,6666

Mbps

Débits UL moyens

8,8,8,8,4444

Mbps

3,3,3,3,28282828 secondes

Indice de performance webwebwebweb

99991111,,,,7777%%%% vidéos vues en totalité

Indice de perf streamingstreamingstreamingstreaming

Non-Qualité et performance des 20 pages web du FullTest

Débits DL mmoyens par type d’usage (A l’intérieur/Exterieur des bâtimens, et en situation de mobilitié)

555517 967 points

p Score moyenScore moyenScore moyenScore moyen 4Gmark des utilisateurs Bouygues

DLDLDLDL ++++0000,,,,2222 Mbps

ULULULUL ----0,0,0,0,5555 Mbps

+663+663+663+663

4G4G4G4G seule

22228888,,,,3333 Mbps

2G/2G/2G/2G/3333GGGG

5,5,5,5,3333 Mbps

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

RESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLES

FREE MOBILEFREE MOBILEFREE MOBILEFREE MOBILE

Indice 4GIndice 4GIndice 4GIndice 4G

Proportion de 4G perçue en moyenne par les utilisateurs

Débits DL moyens

11115555,,,,1111

Mbps

Débits UL moyens

5,5,5,5,2222

Mbps

3,3,3,3,99998888 secondes

Indice de performance webwebwebweb

77778888,,,,9999%%%% vidéos vues en totalité

Indice de perf streamingstreamingstreamingstreaming

Non-Qualité et performance des 20 pages web du FullTest

Débits DL mmoyens par type d’usage (A l’intérieur/Exterieur des bâtimens, et en situation de mobilitié)

666610 624 points

p Score moyenScore moyenScore moyenScore moyen 4Gmark des

utilisateurs Free

DLDLDLDL ++++1111,,,,3333 Mbps

ULULULUL +0,+0,+0,+0,1111 Mbps

++++1060106010601060

INDOOR

12121212,,,,9999 Mbps

OUTDOOR

16161616,,,,9999 Mbps

DYNAMIC

15151515,,,,4444 Mbps

4G4G4G4G seule

22226666,,,,3333 Mbps

2G/2G/2G/2G/3333GGGG

2222,,,,6666 Mbps

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

RESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLES

ORANGEORANGEORANGEORANGE

Indice 4GIndice 4GIndice 4GIndice 4G

Proportion de 4G perçue en moyenne par les utilisateurs

Débits DL moyens

22223333,,,,3333

Mbps

Débits UL moyens

8,8,8,8,3333

Mbps

3,3,3,3,66663333 secondes

Indice de performance webwebwebweb

99990000,,,,0000%%%% vidéos vues en totalité

Indice de perf streamingstreamingstreamingstreaming

Non-Qualité et performance des 20 pages web du FullTest

Débits DL mmoyens par type d’usage (A l’intérieur/Exterieur des bâtimens, et en situation de mobilitié)

Pages internetPages internetPages internetPages internet %Non-Qual i té%Non-Qual i té%Non-Qual i té%Non-Qual i té performanceperformanceperformanceperformance

http://www.google.com 2,7% 2,4 s

http://en.m.wikipedia.org 3,8% 2,8 s

http://m.facebook.com 2,8% 2,4 s

https://mobile.twitter.com 0,6% 1,8 s

http://instagram.com 1,3% 2,7 s

http://t.msn.com 4,1% 3,4 s

http://m.youtube.com 4,4% 2,0 s

http://www.amazon.com 6,0% 3,3 s

http://m.9gag.com 9,8% 4,2 s

http://stackoverflow.com 0,5% 1,8 s

http://www.4gmark.com 4,4% 1,6 s

http://www.alibaba.com 1,1% 2,8 s

http://www.apple.com 4,4% 2,9 s

http://www.about.com 16,1% 4,9 s

http://www.baidu.com 6,3% 4,3 s

http://www.ebay.com 9,0% 3,9 s

http://www.paypal.com 2,7% 6,2 s

http://www.pinterest.com 12,6% 5,9 s

http://www.tumblr.com 1,9% 3,7 s

http://www.yandex.ru 8,1% 3,9 s

777715 764 points

p Score moyenScore moyenScore moyenScore moyen 4Gmark des

utilisateurs Orange

DLDLDLDL +0,+0,+0,+0,5555 Mbps

ULULULUL ----0,0,0,0,3333 Mbps

----387387387387

4G4G4G4G seule

30303030,,,,7777 Mbps

2G/32G/32G/32G/3GGGG

6,66,66,66,6 Mbps

INDOOR

22222222,,,,4444 Mbps

OUTDOOR

25252525,,,,9999 Mbps

DYNAMIC

22223333,,,,0000 Mbps

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015

RESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLESRESULTATS DETAILLES

SFRSFRSFRSFR

Indice 4GIndice 4GIndice 4GIndice 4G

Proportion de 4G perçue en moyenne par les utilisateurs

Débits DL moyens

11110000,,,,8888

Mbps

Débits UL moyens

5555,,,,0000

Mbps

3,3,3,3,99992222 secondes

Indice de performance webwebwebweb

88884444,,,,7777%%%% vidéos vues en totalité

Indice de perf streamingstreamingstreamingstreaming

Non-Qualité et performance des 20 pages web du FullTest

Débits DL mmoyens par type d’usage (A l’intérieur/Exterieur des bâtimens, et en situation de mobilitié)

88887 495 points

p Score moyenScore moyenScore moyenScore moyen 4Gmark des

utilisateurs SFR

DLDLDLDL ----0,0,0,0,1111 Mbps

ULULULUL +0,+0,+0,+0,1111 Mbps

++++116116116116

INDOOR

11110,80,80,80,8 Mbps

OUTDOOR

11112,2,2,2,1111 Mbps DYNAMIC

11111111,,,,3333 Mbps

4G4G4G4G seule

15151515,,,,7777 Mbps

2G/32G/32G/32G/3GGGG

5555,,,,2222 Mbps

COPYRIGHT 4GMARK – ETUDE CROWDSOURCING 2ND TRIMESTRE 2015