Panorama des offres NoSQL disponibles dans Azure

AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE

tech days•

2015

#mstechdays techdays.microsoft.fr


Apache Cassandra

DataStaxComment?

tech.days 2015#mstechdays

Intégrateur de projets Bigdata

3 domaines clé pour un projet réussi :

Pourquoi NoSQL ?

Azure TableLogs


Scale OutRépartir en n "petites" machines les données vs 1 gros serveur monolytique

Granularité plus fine

- Montée en charge plus linéaire- Mécaniques de disponibilité et de réplication plus maitrisables

Maitrise des couts

Traitement distribués

Exemple : Craiglist avec l'utilisation de MongoDB pour son 'Datawarehouse'

Monitoring

● Visualisation des noeuds

● Métriques & Alertes

● Activité des noeuds

● Temps Réel

Opérations

● Configuration

● Opération sur les noeuds

● Opération de masse

● Re-équilibrage / Auto Repair

● Sauvegarde / Restauration

● Point In Time Recovery

• Visuel, interface utilisateur Web.

• Tâches d’installation, de configuration, et d’administration avec de simples clics

• Support visuel des Services de Gestion Automatique DataStax

• API REST permettant de scripter toutes les fonctions de OpsCenter

• Fonctionne sur tout type de terminal (tablette, etc.)

• Historique des métriques

• Accès sécurisé

CassandraAjout de noeud dans Ops Center

Posts

author

title

body

Comments

author

comment

Tags

tag

Post

{

author : "vincent"

title : "base document"

body : "blabla.... blabla"

tags : ["nosql","bases","tuto"]

comments : [

{author:"toto",

comment: "super !"},

{

author:"vincent",

Post

{

author : "vincent"

title : "base document"



comments : [

{author:"toto",


{author:"vincent",

comment: "merci"},

]

}

Post

{

author : "vincent"

title : "exemple de document"



comments : [

{author:"toto",


{author:"vincent",

comment: "merci"},

]

}

MongoDBExemple de code


Document DB

Bien choisir sa base noSQL


Langages & API

A chaque usage sa base


Performances,

Complémentarité,

Coût,


Impossible de garantir simultanément Cohérence (C), Disponibilité (A), Partitionnement (P)

C

A P


SQL

& ColonneClef/Valeur Document Colonne

SQL

MPP

Vertica

BigQuery

Dynamo

Voldemort

SimpleDB

CouchDB

Riak

Cassandra

BerkeleyDB

MemcacheDB

Redis

MongoDBBigTable

HBase

• Basé sur Google Bigtable

• Famille Ligne / Colonne

• Dénormalisé

CREATE TABLE sporty_league (team_name varchar,player_name varchar,jersey int,

PRIMARY KEY (team_name, player_name));SELECT * FROM sporty_league;

La clé primaire identifie de manière unique une ligne

Une clé primaire composite consiste en :

• Une clé de répartition

• Une ou plusieurs clustering colonnes

e.g. PRIMARY KEY (partition key, cluster columns, ...)

• La clé de répartition détermine sur quel noeud la partition (la ligne) réside

• Les donnés sont triées dans l’ordre de la cluster colonne au sein de la partition (ligne)

Column familiesCassandra

Column familiesHBase

• DB Graphe ?

• Cas d’utilisation :

• Titan

TinkerPop

• News ! DataStax vient d’acquérir Aurelius, la société derrière Titan

TitanTitan sur Cassandra

Les MongoDB dans AzureDifférents modes de déploiement

Bien utiliser sa base noSQL


La base NoSQL est shardée


1.0 driver

1.5 SQL comme langage natif

2.0 mettre un middleware (Apache Drill, Presto)

• Très similaire à la syntaxe SQL des SGBDR

• Principales commandes DDL/DML supportées : CREATE, ALTER, DROP, INSERT, UPDATE, DELETE

• Requête des données avec SELECT

team_name player_name PSG Zlatan

team_name

• Type de données : BLOB, UUID, TIMEUUID, User Define Type ...

• Collections : Map, List, Set

• TTL (Time-To-Live) au niveau de la colonne

• Compteurs

• Lightweight Transactions (LWT) : solution pour le problème “race condition” avec IF NOT EXISTS

• Interrogation par Batch

• Index Secondaire

• Query Trace

Hadoop

Application

Opérationnelle

Recherche

Temps Réel

Analytique

Temps Réel

Analytique

Batch

SGBDR

Analytique

Transformations

Shark

or

Spark SQLStructured

Spark

StreamingReal-time

MLlibMachine learning

Spark (General execution engine)

GraphXGraph

Cassandra

Cassandra et SQLCQL

Spark SQL

Hive + ORCSQL sans base de données


Activez vos bénéfices Azure jusqu’à

115€ de ressources mensuelles

offertes

115€ /mois

x5 membres

x3 ans

= 4 175€ de ressources offertes

http://azure.com http://aka.ms/azurepourmsdn

150€ de ressources offertes

Sans engagement

Pour tousUn mois d’essai offert

http://www.microsoft.com/bizspark/

Pour les startupsBizspark

= 49 000€ de ressources offertes

pendant un an

Pour les abonnés MSDN

http://azure.com/

http://aka.ms/azurepourmsdn

http://www.microsoft.com/bizspark/


Inscrivez-vous : http://aka.ms/pepiniereazure

Coaching technique et business

Ressources

Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à

votre disposition de l’aide personnalisée.

Visibilité


http://notes.mstechdays.fr

http://notes.mstechdays.fr/

© 2015 Microsoft Corporation. All rights reserved.

tech days•

2015


Technology

Panorama des offres NoSQL disponibles dans Azure