Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France

#JSS2013

Les journéesSQL Server 2013

Un événement organisé par GUSS

#JSS2013

Les journéesSQL Server 2013

Un événement organisé par GUSS

Windows Azure HDInsightBenjamin Guinebertière (@benjguin) – Microsoft FranceFrançois Simoës – V-TrafficSébastien Etcheverry – V-Traffic

#JSS2013

Merci à nos sponsors

#JSS2013

• Introduction (3’)• Nouveautés HDInsight (22’)

– PowerShell, wasb, Templeton, Python, .NET, …– Démo

• V-Traffic (25’)• Autres utilisations d’HDInsight (3’)• Combien ça coûte ? (3’)• Conclusion

Plan

#JSS2013

100% Apache Hadoop solution in the cloud Insights through Excel Deployment agility Hadoop with Enterprise security and

manageability Develop in .NET and Java Built on Hortonworks Data Platform (HDP)

Where Big Data Meets the CloudWindows Azure HDInsight

Get Started with HDInsight: http://tinyurl.com/hdinsight

#JSS2013

Promoting open Hadoop with strategic Hortonworks partnership

7

+Hortonworks Data Platformfor Windows

HDInsight

#JSS2013

ArchitectureHD

Insigh

t BI and analyticsSelf-service Collaboration Corporate

appsData search

Azure Blobs HDFS

Hive Pig HCatalog AmbariMap Reduce

SqoopOozie

Azure UX Azure SDK Templeton RDP

#JSS2013

Architecture

Secure node

Head node

Compute nodes with local HDFS

Azure storage -------------GEODR capable durable storage

#JSS2013

demoCRÉATION D’UN CLUSTER

#JSS2013

demoPOWERSHELL

#JSS2013

demoEXPLORATION DU CLUSTERPortail Windows Azure, connexion en RDP

#JSS2013

demoEXÉCUTION EN PIG ET EN HIVEIIS LOGS

#JSS2013

demoEXÉCUTION HIVE + PYTHON

#JSS2013

V-TRAFFIC

#JSS2013

Chaine de production d’information trafic

Static

FCD

Profils

FMD

Static

Fermetures

ALL

FUSION

Réseaux sources Réseau de référence (MM) Réseaux de service

ALL Web

ALL TPEG

ALL TMC

#JSS2013

Généralités• Utilisations des véhicules traceurs (FCD) - Suivi de véhicule

1. Les automobilistes envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile

2. Nos fournisseurs récoltent les données de géo-localisation

3. Mediamobile collecte ces données

Lat2,Long2,D2

4. Suivi du véhicule : localisation sur le réseau routier

Lat1,Long1,D1

5. Détermination de la vitesse du véhicule sur le réseau

X km/h

#JSS2013

Méthode SqlServerDonnées

• Archives FCD

SqlServer• Table avec données spatiales

SqlServer• Exécution de la procédure stockée

12

3

#JSS2013

WorkFlow HDInsightDonnées

• Archives FCD• Référentiel géo spatial

Hive

• Création des tables • Importation des données

Hive

• Exécution d’un mapper personnalisé en Python• Requête d’agrégation

Interopérabilité

• Intégrer aux outils BI (SSRS, PowerPivot, …)

123

4

#JSS2013

demoV-TRAFFIC

ANALYSE SPATIALE

#JSS2013

• Utilisation de R-TreeVoies d’optimisation du code Python

#JSS2013

• Jeux sur Facebook: analyse de logs– Lancement en PHP – ~1 heure par jour

• Banque: analyse de tweets

Autres utilisations d’HDInsight

#JSS2013

Master Chief meets Big Data

In-game analysis detects cheaters and improves experience for everyone

Enables targeted campaigns that improve customer retention

Near real-time visibility into terabytes of data

Able to double processing capacity in minutes

Two billion minutes a day…and counting

#JSS2013

• http://www.windowsazure.com/pricingCombien ça coûte ?

#JSS2013

Source: http://bit.ly/azure4175

Exemple pour 115 € / mois

#JSS2013

• HDinsight– Hadoop en tant que service sur Windows Azure– Automatisable– Exécution distribuée de transformation de

données (souvent des fichiers texte)– Langages de script de plus haut niveau que

Map/Reduce

Conclusion

#JSS2013#JSS2013

#JSS2013

#JSS2013

#JSS2013