Stockage Cloud : il y en aura pour tout le monde

Stockage Cloud – Il y en aura pour tout le monde !

William Bories

Nicolas Clerc

Cloud Solutions Architect & joueur de squashMicrosoft France

David Carpentier

Technical Evangelist / Cloud ArchitectMicrosoft France

CTO - ADENTS

Objectifs:• Avoir une bonne vision de la stratégie stockage de Microsoft

(On-Premise, Hybride ou Cloud)

• Parcourir les principaux scénarios de stockage (Infrastructure ou Applicatif)

• Comprendre comment sécuriser vos données dans Azure

• Identifier les services les plus pertinents pour vos projets

Objectifs de la session

N° 3

1. Point sur la stratégie de stockage de Microsoft2. L’évolution vers le Software-Defined Storage3. Les services de stockage Cloud orienté infrastructure4. Les services de stockage Cloud orienté applicatif5. REX de la société ADENTS

Notre agenda

N° 4

Point sur la stratégie de stockage de Microsoft

Une approche Cloud + Entreprise

N° 6

Connectivité Software-Defined Storage (SDS) et SAN/NAS traditionnel pour supporter les environnements Cloud privés et virtualisés.

StockageOn-Premises

Stockage On-premises intégré avec Azure Storage pour le Backup, le Disaster Recovery, et le Tiering de données.

StockageCloud Hybrid

Le stockage Azure consistent avec le stockage on-premises avec Azure Stack.

StockagePublique Cloud

Client

ServiceproviderMicrosoft

Uneplateformeconsistante

Cloud + Enterprise Strategy

L’evolution vers le SDS (Software-Defined

Storage)

Les choix On-Premises

Software-defined Storage (SDS) and traditional SAN/NAS connectivity to support Private Clouds and Virtualized environments.

NAS

File Based Storage

SAN Partners

Block Storage

Storage Spaces

SAN Alternative

Storage Spaces Direct

Hyper-Converged

Azure Stack/Object Storage

Cloud Fabric

Fibre Channel / iSCSI

SMB3

• Investissement massif dans le SDS (Software-Defined Storage)

• Réduction forte des coûts de stockage• Et des choix flexibles d’architecture !

L’evolution vers le Software-Defined StorageBaies de stockage

Connectivity

VirtualizationHost

Virtual Machines

SAN

Storage Array

Disks

Backplane

Raw Storage

Compute

Fibre Channel / iSCSI / FCoE / SAS

Controller ControllerStorage Software

Storage Software

DiskConnectivity

Connectivity

VirtualizationHost

Virtual Machines

NAS

Raw Storage

Compute

SMB v3

SAS Connectivity

Scale-out File Server

Enclosure (JBOD)

SAS

Storage Software

Shared Storage Space de WS 2012

L’evolution vers le Software-Defined StorageConvergé avec Storage Spaces Direct (Windows Server

2016)

Scale-out File Server

Compute

SMB v3

Storage Software

Connectivity

VirtualizationHost

Virtual Machines

NAS

Raw Storage

L’evolution vers le Software-Defined StorageHyper-convergé avec Storage Spaces Direct (Windows Server 2016)

Compute and Storage

Virtualization and Storage

Host

Virtual Machines

Storage Software

Cloud design points and management• Standard servers with local storage• Lower cost flash storage with SATA SSD• Better flash performance with NVMe SSD (PCIe

flash)• Prescriptive hardware configurations

Reliability, scalability, flexibility • Fault tolerance to disk, enclosure, node

failures• Scale pools to large number of drives• Simple and fine grained expansion• Fast VM creation and efficient VM snapshots

Simplifier le datacenter• Collapsing Storage and Compute• Ethernet/RDMA network as storage fabric• Storage controller is a software service

Deux options avec Windows Server 2016Nos partenaires SAN/NAS ou Windows Server

2016 SDSBlock protocol fabricLow latency network with FCManagement of LUNs Data deduplicationRAID resiliency groupsPooling of disksHigh availabilityCopy offload, SnapshotsStorage tieringPersistent write-back cache Scale upStorage QoS ReplicationFirmware updates

File protocol fabricLow latency with SMB3Direct Management of shares Data deduplicationFlexible resiliency optionsPooling of disksContinuous availabilitySMB copy offload, SnapshotsPerformance with tiering Persistent write-back cacheAutomatic scale-out rebalancingStorage QoSStorage ReplicaRolling cluster upgradesStorage Spaces directStorage monitoring

Hyper-V compute nodes

FC/SAS disk shelf

SAN/NAS

FC/iSCSI Fabric (Block)

NEW in

2016

Hyper-V compute nodes

Shared SAS JBOD or DAS

Scale Out File Serverwith Storage Spaces

SMB3 Fabric (File)

Hyper-converged cluster

Ou

Storage Spaces Direct

Les services de stockage orientés infrastructure

dans Azure

Speed to Market• High Availability• Disaster Recovery• No Hardware to purchase• Built in plumbing• Available anywhere

Cost to Maintain• Elasticity• Built in plumber• Better security• Rapid Improvements• No Hardware to maintain• No migrations to new hardware

Pourquoi consommer du stockage Cloud?

N° 14

Hyper scale InfrastructureMore than 30 Regions worldwide (28 Generally Available), still growing

More than 100 datacenters Top 3 networks in the world…

OperationalAnnounced/Not Operational

Central US

Iowa

West USCaliforni

a

East USVirginia

US GovVirginia

North Central US

Illinois

US GovIowa

South Central US

Texas

Brazil SouthSao Paulo

State

West Europe

Netherlands

China North *

BeijingChina

South *Shanghai

Japan EastTokyo,

Saitama

Japan West

OsakaIndia South

Chennai East AsiaHong Kong

SE AsiaSingapo

re

Australia South East

Victoria

Australia EastNew South

Wales

India CentralPune

Canada EastQuebec City

Canada CentralToronto

India West

Mumbai

Germany North East **

Magdeburg

Germany Central **Frankfurt

North EuropeIreland

East US 2

Virginia

US DoD EastTBD

US DoD WestTBD

* Operated by 21Vianet ** Operated by Deutsche Telekom

South UK(London)West UK

(Cardiff)

France regions(planned 2017)

MICROSOFT CONF IDENT IAL – INTERNAL ONLY

L’éco-système ISV autour du stockage Azure

Azure Storage

http://panzura.com/azure/

http://www.talonstorage.com/solutions/enterprise-hybrid-cloud-storage

https://www.nasuni.com/microsoft-3/

https://www.softnas.com/wp/products/softnas-cloud-for-azure/


Aperçu des services de Stockage Azure

Windows Intune

Office 365 Visual Studio Online

OneDrive For

Business

Dynamics CRM Online

Yammer

StorSimple

Azure Storage (Files)

Azure SQL

Database

Azure DocumentD

B

Azure Media

Services

Azure Redis Cache

Azure Storage (Tables)

SQL Server on Azure VM

Azure Storage (Blobs)

Azure Storage

(Queues)

Azure Site Recovery

Azure Backup

Data LakeAzure

Data LakeStore

AzureSQL Data

Warehouse

Azure CDNAzure HDInsight

Stockage Azure – Quelques chiffresLes Building Blocks de nombreux services Azure

SQL Data Warehouse, HDInsight, Data Lake Store, Event Hubs, IoT Hubs… mais aussi Office 365, OneDrive, XBox, Skype…

Hyper Scale >120 milliards d’Objects, >19 millions transactions par seconde

Durable Jamais aucune perte de donnée. Multiple options de redundance. Vérification automatique des données.

Secure Encryption at Rest. Client side Encryption. Integration avec KeyVaultHighly

AvailableTolérance aux pannes hardware/software. Load balancing automatique.

Open REST API, Open sourced Client Libraries – .NET, Java, C++, Python, Node.js, iOS, Android, Xamarin…

Hybrid Ecosystème important de partenaires. Azure Stack pour les clouds privés/hébergés.

Le “Storage Account”, la base !C’est un compte sécurisé permettant d’accéder aux

services de stockage• Deux types de Storage Account: • General-Purpose (Standard ou Premium) pour la majorité des

besoins• Blob (Hot ou Cool) spécialisé pour les données non-structurées

• Une limite actuelle de 500 To par Storage Account• Un objet Blob peut avoir une taille maxime d’un 1 To

Toutes les limites des services Azure sont mises à jour régulièrement sur https://azure.microsoft.com/fr-fr/documentation/articles/azure-subscription-service-limits/

https://azure.microsoft.com/fr-fr/documentation/articles/azure-subscription-service-limits/








Services de stockage AzureLes fondations !

DisksPersistent disks for Azure IaaS VMs

Premium Storage Disks option: SSD based, high IOPS, low latency

Bati sur un système de stockage distribué et unifiéeDurability, Encryption at Rest, Strongly Consistent Replication, Fault Tolerance, Auto Load-Balancing

IaaSVirtual

machinesStorage

Networking

PaaSExisting frameworks

Web and mobile

Serverless Compute

Microservices


Réplication du stockage Azure

Forte cohérence, checksums/CRC et preservation de l’intégrité des données

LRS• 3 réplicas, 1 région• Protection contre les pannes

(disques, noeuds, racks).• L’écriture est reconnue

lorsque tous les réplicas sont commités.

• Supérieure à 1 double parité RAID

• ZRS = LRS en double sur les deux Datacenters de la région

RA-GRS

• GRS + accès Read au secondaire

• Endpoint secondaire séparé.• Le délai RPO vers le

secondaire peut être requêté.

GRS

• 6 réplicas, 2 régions (3/region)

• Protection contre les désastres régionaux majeurs.

• Asynchrone vers le secondaire.

Typically >300mi

Async

Primary Secondary

Typically >300mi

Async

Primary Secondary

Ce sont des disques persistants pour les machines virtuelles qui repose sur des Pages Blobs dans Azure:

• Haute perf. I/O et faible latence (>80,000 IOPS, >2,000 MB/sec de débit disque par VM)

• Chiffrement :– Server Side Encryption at Rest– Azure Disk Encryption (BitLocker/DMCrypt)

• VM spécialisées avec la technologie de Blob Cache• Possibilité de faire des snapshots pour les backups• Capacité à étendre les disques sur place• Interface REST pour les développeurs

Les disques AzurePremium Disks (SSD) et Standard Disks (HDD)

N° 22


FilesFully Managed File Shares in the Cloud

SMB and REST access

“Lift and shift” legacy apps




IaaSVirtual

machinesStorage

Networking


Web and mobile

Serverless Compute

Microservices

Stockage Cloud de fichiers complétement gérés par Azure pour des besoins IaaS ou On-Premise (Lift’n Shift, HA, Backup ou DR).

• Montable depuis Windows et Linux (SMB 2.1, 3.0 et REST)

• Accessible depuis n’importe ou (toutes regions Azure et On Premise)

• Hautement disponible et durable (SLA 99,9% avec 3 copies consistantes)

Azure Files Share

Load Balancer

App/FTP

Server

VM 1

Azure files Share 1

Folder 1Folder 2Sub Folder 1

App/FTP

Server

VM 2

App/FTP

Server

VM 3

ftp://ftp.domain-one.com/pub/

\\<storageacct1>.file.windows.net\ftpsharePort 445 Port 445 Port 445

Démo

N° 27

L’outil AzCopy pour la migration des données « at scale »• Capacité à copier des millions de fichiers (petits ou larges)• Support des Blob Storage, Table Storage et File Storage

PowerShell, Storage Emulator, REST API, Librairies clients (C++, Java, Node.js, PHP, Python …)

Outils graphiques :• Azure Storage Explorer• Visual Studio Server Explorer• Outils tiers: Portam, Cerabatra, CloudBerry, ClumsyLeaf …

https://azure.microsoft.com/en-us/documentation/articles/storage-explorers/https://azure.microsoft.com/en-us/documentation/articles/storage-introduction/

Storage APIs, Libraries, et outilsPour manipuler vos services Azure et vos données…

N° 28

https://azure.microsoft.com/en-us/documentation/articles/storage-explorers/



https://azure.microsoft.com/en-us/documentation/articles/storage-introduction/

https://azure.microsoft.com/en-us/documentation/articles/storage-introduction/

Sécurisation des données

dans Azure

Sécuriser les données dans AzureSécuriser toute la chaine …

Subscription

Resource Group

Resource Group

CustomApp

ManagementAccess Control

DataAccessControl

Azure DiskEncryption

EncryptionIn TransitClient-side

Encryption

Storage ServiceEncryption

Démo

N° 35

Les services de stockage orientés

applicatif dans Azure



SMB and REST access





IaaSVirtual

machinesStorage

Networking

BlobsHighly scalable, REST based cloud object store

Block Blobs: Sequential file I/OCool Tier AvailablePage Blobs: Random-write pattern dataAppend Blobs


Web and mobile

Serverless Compute

Microservices

Pour la montée en charge à l’infini de données, accessible partout dans le monde, et à moindre coût (applications, Big Data, backups et archives …).

Block Blobs• Most object storage scenarios• Documents, images, video, etc.

Append Blobs• Multi-writer append only scenarios• Logging, Big Data Analytics output

Page Blobs• Page aligned random reads and writes• IaaS Disks, Event Hub, Block level backup

Azure BlobsDu stockage orienté objets pour les données non-

structurées

Block 1 Block 4Block 3

Block 2

Image.jpg

Sparse File 512 byte aligned

512

1024

1536

2048

2560

Block 1 Block 4Block 3

Block 2

Deux Tiers:• Hot – for commonly used data• Cool – for rarely used dataAPI is 100% identical; debit et latence similaireDisponibilité (SLA): Cool - 99%, Hot - 99.9% (+ avec RA-GRS).

Le pricing correspond à votre charge de travail:• Hot: prix d’accès plus bas pour une utilisation fréquente.• Cool: prix de stockage plus bas pour un volume élevé.

Possibile de changer de tiers en function du besoin:• Pas de surcout en cas de switch• Future : Switch automatique au niveau de l’objet (policy based)

Azure BlobsHot ou Cool !?

Blob REST API

Blob Storage Account

Hot Tier2.4₵/GB/moNo R/W costPer Tx cost

Blob Storage Account

Cool Tier1₵/GB/mo

1₵/GB Reads0.25₵/GB

Writes2x per Tx cost

Account level conversionFuture – object level, policy


N° 40


SMB and REST access





IaaSVirtual

machinesStorage

Networking



QueuesReliable queues at scale for cloud services

Decouple and scale componentsMessage visibility timeout and update message to protect against unreliable dequeuers


Web and mobile

Serverless Compute

Microservices

Pattern d’architecture cloudUpper Layer (Business, UI, …)

Consumer service instance pool -processing messages

Asynchronous architectureConsumer/provider loose coupling

<Message Queue>

Published events


N° 42


SMB and REST access





IaaSVirtual

machinesStorage

Networking



QueuesReliable queues at scale for cloud services

Decouple and scale componentsMessage visibility timeout and update message to protect against unreliable dequeuers


Web and mobile

Serverless Compute

Microservices

TablesMassive auto-scaling NoSQL store

Dynamic scaling based on load

Scale to PBs of table data

Fast key/value lookups

• NoSQL (Not Only SQL) table store et Index Table pattern

Service de stockagesUtilisé par les « clouds patterns » de manière intensive

N° 43

Partition Key

Row Key Value 1 Value 2 … Value NP.K. Row Key Value 1

<Index Table><Cache-aside>

<Table store (No SQL)>

Base model+ Atomistic

Data partitioning patterns to optimize performance requests

Data indexing based on usage

Retour d’experiences de la société ADENTS

Mr David CARPENTIERDirecteur Technique

http://www.adents.com/ N° 45

http://www.adents.com/

inte

rnet

Inte

rne

t lay

er

Existing Level-1 hardwareSi

te la

yer

()

Existing Level-3 software

inte

rnet

Adents Level4 Integration

data ingestion layer

Web and service layer

Bulk data buffer

Secured data upload

(SAS url, https)

Client datas parsingand

ingestion

DATA LAKE

Analysis & Data intelligence

Serialization datas

Indexation & search

Business services

Level4 Web application/portal

Inte

rne

t lay

erAD

ENTS

Lay

er 4

(Azu

re c

loud

pla

tform

)

Existing Level-2

hardware/software

For illustration purpose only.

Modèle de données propriété de la société ADENTS.

This is the end ….


Cloud Storage for Enterprise Architectsaka.ms/cloudarchstorage

Steps you through the variety of cloud storage options and services in the Microsoft Cloud

http://aka.ms/cloudarchstorage

N° 50

@microsoftfrance @Technet_France @msdev_fr

N° 51

Notez cette sessionEt tentez de gagner un Surface Book

Doublez votre chance en répondant aussi au questionnaire de satisfaction globale* Le règlement est disponible sur demande au commissariat général de l’exposition. Image non-

contractuelle

Technology

Stockage Cloud : il y en aura pour tout le monde