View
190
Download
1
Category
Preview:
Citation preview
Stockage Cloud – Il y en aura pour tout le monde !
William Bories
Nicolas Clerc
Cloud Solutions Architect & joueur de squashMicrosoft France
David Carpentier
Technical Evangelist / Cloud ArchitectMicrosoft France
CTO - ADENTS
Objectifs:• Avoir une bonne vision de la stratégie stockage de Microsoft
(On-Premise, Hybride ou Cloud)
• Parcourir les principaux scénarios de stockage (Infrastructure ou Applicatif)
• Comprendre comment sécuriser vos données dans Azure
• Identifier les services les plus pertinents pour vos projets
Objectifs de la session
N° 3
1. Point sur la stratégie de stockage de Microsoft2. L’évolution vers le Software-Defined Storage3. Les services de stockage Cloud orienté infrastructure4. Les services de stockage Cloud orienté applicatif5. REX de la société ADENTS
Notre agenda
N° 4
Point sur la stratégie de stockage de Microsoft
Une approche Cloud + Entreprise
N° 6
Connectivité Software-Defined Storage (SDS) et SAN/NAS traditionnel pour supporter les environnements Cloud privés et virtualisés.
StockageOn-Premises
Stockage On-premises intégré avec Azure Storage pour le Backup, le Disaster Recovery, et le Tiering de données.
StockageCloud Hybrid
Le stockage Azure consistent avec le stockage on-premises avec Azure Stack.
StockagePublique Cloud
Client
ServiceproviderMicrosoft
Uneplateformeconsistante
Cloud + Enterprise Strategy
L’evolution vers le SDS (Software-Defined
Storage)
Les choix On-Premises
Software-defined Storage (SDS) and traditional SAN/NAS connectivity to support Private Clouds and Virtualized environments.
NAS
File Based Storage
SAN Partners
Block Storage
Storage Spaces
SAN Alternative
Storage Spaces Direct
Hyper-Converged
Azure Stack/Object Storage
Cloud Fabric
Fibre Channel / iSCSI
SMB3
• Investissement massif dans le SDS (Software-Defined Storage)
• Réduction forte des coûts de stockage• Et des choix flexibles d’architecture !
L’evolution vers le Software-Defined StorageBaies de stockage
Connectivity
VirtualizationHost
Virtual Machines
SAN
Storage Array
Disks
Backplane
Raw Storage
Compute
Fibre Channel / iSCSI / FCoE / SAS
Controller ControllerStorage Software
Storage Software
DiskConnectivity
Connectivity
VirtualizationHost
Virtual Machines
NAS
Raw Storage
Compute
SMB v3
SAS Connectivity
Scale-out File Server
Enclosure (JBOD)
SAS
Storage Software
Shared Storage Space de WS 2012
L’evolution vers le Software-Defined StorageConvergé avec Storage Spaces Direct (Windows Server
2016)
Scale-out File Server
Compute
SMB v3
Storage Software
Connectivity
VirtualizationHost
Virtual Machines
NAS
Raw Storage
L’evolution vers le Software-Defined StorageHyper-convergé avec Storage Spaces Direct (Windows Server 2016)
Compute and Storage
Virtualization and Storage
Host
Virtual Machines
Storage Software
Cloud design points and management• Standard servers with local storage• Lower cost flash storage with SATA SSD• Better flash performance with NVMe SSD (PCIe
flash)• Prescriptive hardware configurations
Reliability, scalability, flexibility • Fault tolerance to disk, enclosure, node
failures• Scale pools to large number of drives• Simple and fine grained expansion• Fast VM creation and efficient VM snapshots
Simplifier le datacenter• Collapsing Storage and Compute• Ethernet/RDMA network as storage fabric• Storage controller is a software service
Deux options avec Windows Server 2016Nos partenaires SAN/NAS ou Windows Server
2016 SDSBlock protocol fabricLow latency network with FCManagement of LUNs Data deduplicationRAID resiliency groupsPooling of disksHigh availabilityCopy offload, SnapshotsStorage tieringPersistent write-back cache Scale upStorage QoS ReplicationFirmware updates
File protocol fabricLow latency with SMB3Direct Management of shares Data deduplicationFlexible resiliency optionsPooling of disksContinuous availabilitySMB copy offload, SnapshotsPerformance with tiering Persistent write-back cacheAutomatic scale-out rebalancingStorage QoSStorage ReplicaRolling cluster upgradesStorage Spaces directStorage monitoring
Hyper-V compute nodes
FC/SAS disk shelf
SAN/NAS
FC/iSCSI Fabric (Block)
NEW in
2016
Hyper-V compute nodes
Shared SAS JBOD or DAS
Scale Out File Serverwith Storage Spaces
SMB3 Fabric (File)
Hyper-converged cluster
Ou
Storage Spaces Direct
Les services de stockage orientés infrastructure
dans Azure
Speed to Market• High Availability• Disaster Recovery• No Hardware to purchase• Built in plumbing• Available anywhere
Cost to Maintain• Elasticity• Built in plumber• Better security• Rapid Improvements• No Hardware to maintain• No migrations to new hardware
Pourquoi consommer du stockage Cloud?
N° 14
Hyper scale InfrastructureMore than 30 Regions worldwide (28 Generally Available), still growing
More than 100 datacenters Top 3 networks in the world…
OperationalAnnounced/Not Operational
Central US
Iowa
West USCaliforni
a
East USVirginia
US GovVirginia
North Central US
Illinois
US GovIowa
South Central US
Texas
Brazil SouthSao Paulo
State
West Europe
Netherlands
China North *
BeijingChina
South *Shanghai
Japan EastTokyo,
Saitama
Japan West
OsakaIndia South
Chennai East AsiaHong Kong
SE AsiaSingapo
re
Australia South East
Victoria
Australia EastNew South
Wales
India CentralPune
Canada EastQuebec City
Canada CentralToronto
India West
Mumbai
Germany North East **
Magdeburg
Germany Central **Frankfurt
North EuropeIreland
East US 2
Virginia
US DoD EastTBD
US DoD WestTBD
* Operated by 21Vianet ** Operated by Deutsche Telekom
South UK(London)West UK
(Cardiff)
France regions(planned 2017)
MICROSOFT CONF IDENT IAL – INTERNAL ONLY
L’éco-système ISV autour du stockage Azure
Azure Storage
MICROSOFT CONF IDENT IAL – INTERNAL ONLY
Aperçu des services de Stockage Azure
Windows Intune
Office 365 Visual Studio Online
OneDrive For
Business
Dynamics CRM Online
Yammer
StorSimple
Azure Storage (Files)
Azure SQL
Database
Azure DocumentD
B
Azure Media
Services
Azure Redis Cache
Azure Storage (Tables)
SQL Server on Azure VM
Azure Storage (Blobs)
Azure Storage
(Queues)
Azure Site Recovery
Azure Backup
Data LakeAzure
Data LakeStore
AzureSQL Data
Warehouse
Azure CDNAzure HDInsight
Stockage Azure – Quelques chiffresLes Building Blocks de nombreux services Azure
SQL Data Warehouse, HDInsight, Data Lake Store, Event Hubs, IoT Hubs… mais aussi Office 365, OneDrive, XBox, Skype…
Hyper Scale >120 milliards d’Objects, >19 millions transactions par seconde
Durable Jamais aucune perte de donnée. Multiple options de redundance. Vérification automatique des données.
Secure Encryption at Rest. Client side Encryption. Integration avec KeyVaultHighly
AvailableTolérance aux pannes hardware/software. Load balancing automatique.
Open REST API, Open sourced Client Libraries – .NET, Java, C++, Python, Node.js, iOS, Android, Xamarin…
Hybrid Ecosystème important de partenaires. Azure Stack pour les clouds privés/hébergés.
Le “Storage Account”, la base !C’est un compte sécurisé permettant d’accéder aux
services de stockage• Deux types de Storage Account: • General-Purpose (Standard ou Premium) pour la majorité des
besoins• Blob (Hot ou Cool) spécialisé pour les données non-structurées
• Une limite actuelle de 500 To par Storage Account• Un objet Blob peut avoir une taille maxime d’un 1 To
Toutes les limites des services Azure sont mises à jour régulièrement sur https://azure.microsoft.com/fr-fr/documentation/articles/azure-subscription-service-limits/
Services de stockage AzureLes fondations !
DisksPersistent disks for Azure IaaS VMs
Premium Storage Disks option: SSD based, high IOPS, low latency
Bati sur un système de stockage distribué et unifiéeDurability, Encryption at Rest, Strongly Consistent Replication, Fault Tolerance, Auto Load-Balancing
IaaSVirtual
machinesStorage
Networking
PaaSExisting frameworks
Web and mobile
Serverless Compute
Microservices
MICROSOFT CONF IDENT IAL – INTERNAL ONLY
Réplication du stockage Azure
Forte cohérence, checksums/CRC et preservation de l’intégrité des données
LRS• 3 réplicas, 1 région• Protection contre les pannes
(disques, noeuds, racks).• L’écriture est reconnue
lorsque tous les réplicas sont commités.
• Supérieure à 1 double parité RAID
• ZRS = LRS en double sur les deux Datacenters de la région
RA-GRS
• GRS + accès Read au secondaire
• Endpoint secondaire séparé.• Le délai RPO vers le
secondaire peut être requêté.
GRS
• 6 réplicas, 2 régions (3/region)
• Protection contre les désastres régionaux majeurs.
• Asynchrone vers le secondaire.
Typically >300mi
Async
Primary Secondary
Typically >300mi
Async
Primary Secondary
Ce sont des disques persistants pour les machines virtuelles qui repose sur des Pages Blobs dans Azure:
• Haute perf. I/O et faible latence (>80,000 IOPS, >2,000 MB/sec de débit disque par VM)
• Chiffrement :– Server Side Encryption at Rest– Azure Disk Encryption (BitLocker/DMCrypt)
• VM spécialisées avec la technologie de Blob Cache• Possibilité de faire des snapshots pour les backups• Capacité à étendre les disques sur place• Interface REST pour les développeurs
Les disques AzurePremium Disks (SSD) et Standard Disks (HDD)
N° 22
Services de stockage AzureLes fondations !
FilesFully Managed File Shares in the Cloud
SMB and REST access
“Lift and shift” legacy apps
DisksPersistent disks for Azure IaaS VMs
Premium Storage Disks option: SSD based, high IOPS, low latency
Bati sur un système de stockage distribué et unifiéeDurability, Encryption at Rest, Strongly Consistent Replication, Fault Tolerance, Auto Load-Balancing
IaaSVirtual
machinesStorage
Networking
PaaSExisting frameworks
Web and mobile
Serverless Compute
Microservices
Stockage Cloud de fichiers complétement gérés par Azure pour des besoins IaaS ou On-Premise (Lift’n Shift, HA, Backup ou DR).
• Montable depuis Windows et Linux (SMB 2.1, 3.0 et REST)
• Accessible depuis n’importe ou (toutes regions Azure et On Premise)
• Hautement disponible et durable (SLA 99,9% avec 3 copies consistantes)
Azure Files Share
Load Balancer
App/FTP
Server
VM 1
Azure files Share 1
Folder 1Folder 2Sub Folder 1
App/FTP
Server
VM 2
App/FTP
Server
VM 3
ftp://ftp.domain-one.com/pub/
\\<storageacct1>.file.windows.net\ftpsharePort 445 Port 445 Port 445
Démo
N° 27
L’outil AzCopy pour la migration des données « at scale »• Capacité à copier des millions de fichiers (petits ou larges)• Support des Blob Storage, Table Storage et File Storage
PowerShell, Storage Emulator, REST API, Librairies clients (C++, Java, Node.js, PHP, Python …)
Outils graphiques :• Azure Storage Explorer• Visual Studio Server Explorer• Outils tiers: Portam, Cerabatra, CloudBerry, ClumsyLeaf …
https://azure.microsoft.com/en-us/documentation/articles/storage-explorers/https://azure.microsoft.com/en-us/documentation/articles/storage-introduction/
Storage APIs, Libraries, et outilsPour manipuler vos services Azure et vos données…
N° 28
Sécurisation des données
dans Azure
Sécuriser les données dans AzureSécuriser toute la chaine …
Subscription
Resource Group
Resource Group
CustomApp
ManagementAccess Control
DataAccessControl
Azure DiskEncryption
EncryptionIn TransitClient-side
Encryption
Storage ServiceEncryption
Démo
N° 35
Les services de stockage orientés
applicatif dans Azure
Services de stockage AzureLes fondations !
FilesFully Managed File Shares in the Cloud
SMB and REST access
“Lift and shift” legacy apps
DisksPersistent disks for Azure IaaS VMs
Premium Storage Disks option: SSD based, high IOPS, low latency
Bati sur un système de stockage distribué et unifiéeDurability, Encryption at Rest, Strongly Consistent Replication, Fault Tolerance, Auto Load-Balancing
IaaSVirtual
machinesStorage
Networking
BlobsHighly scalable, REST based cloud object store
Block Blobs: Sequential file I/OCool Tier AvailablePage Blobs: Random-write pattern dataAppend Blobs
PaaSExisting frameworks
Web and mobile
Serverless Compute
Microservices
Pour la montée en charge à l’infini de données, accessible partout dans le monde, et à moindre coût (applications, Big Data, backups et archives …).
Block Blobs• Most object storage scenarios• Documents, images, video, etc.
Append Blobs• Multi-writer append only scenarios• Logging, Big Data Analytics output
Page Blobs• Page aligned random reads and writes• IaaS Disks, Event Hub, Block level backup
Azure BlobsDu stockage orienté objets pour les données non-
structurées
Block 1 Block 4Block 3
Block 2
Image.jpg
Sparse File 512 byte aligned
512
1024
1536
2048
2560
Block 1 Block 4Block 3
Block 2
Deux Tiers:• Hot – for commonly used data• Cool – for rarely used dataAPI is 100% identical; debit et latence similaireDisponibilité (SLA): Cool - 99%, Hot - 99.9% (+ avec RA-GRS).
Le pricing correspond à votre charge de travail:• Hot: prix d’accès plus bas pour une utilisation fréquente.• Cool: prix de stockage plus bas pour un volume élevé.
Possibile de changer de tiers en function du besoin:• Pas de surcout en cas de switch• Future : Switch automatique au niveau de l’objet (policy based)
Azure BlobsHot ou Cool !?
Blob REST API
Blob Storage Account
Hot Tier2.4₵/GB/moNo R/W costPer Tx cost
Blob Storage Account
Cool Tier1₵/GB/mo
1₵/GB Reads0.25₵/GB
Writes2x per Tx cost
Account level conversionFuture – object level, policy
Services de stockage AzureLes fondations !
N° 40
FilesFully Managed File Shares in the Cloud
SMB and REST access
“Lift and shift” legacy apps
DisksPersistent disks for Azure IaaS VMs
Premium Storage Disks option: SSD based, high IOPS, low latency
Bati sur un système de stockage distribué et unifiéeDurability, Encryption at Rest, Strongly Consistent Replication, Fault Tolerance, Auto Load-Balancing
IaaSVirtual
machinesStorage
Networking
BlobsHighly scalable, REST based cloud object store
Block Blobs: Sequential file I/OCool Tier AvailablePage Blobs: Random-write pattern dataAppend Blobs
QueuesReliable queues at scale for cloud services
Decouple and scale componentsMessage visibility timeout and update message to protect against unreliable dequeuers
PaaSExisting frameworks
Web and mobile
Serverless Compute
Microservices
Pattern d’architecture cloudUpper Layer (Business, UI, …)
Consumer service instance pool -processing messages
Asynchronous architectureConsumer/provider loose coupling
<Message Queue>
Published events
Services de stockage AzureLes fondations !
N° 42
FilesFully Managed File Shares in the Cloud
SMB and REST access
“Lift and shift” legacy apps
DisksPersistent disks for Azure IaaS VMs
Premium Storage Disks option: SSD based, high IOPS, low latency
Bati sur un système de stockage distribué et unifiéeDurability, Encryption at Rest, Strongly Consistent Replication, Fault Tolerance, Auto Load-Balancing
IaaSVirtual
machinesStorage
Networking
BlobsHighly scalable, REST based cloud object store
Block Blobs: Sequential file I/OCool Tier AvailablePage Blobs: Random-write pattern dataAppend Blobs
QueuesReliable queues at scale for cloud services
Decouple and scale componentsMessage visibility timeout and update message to protect against unreliable dequeuers
PaaSExisting frameworks
Web and mobile
Serverless Compute
Microservices
TablesMassive auto-scaling NoSQL store
Dynamic scaling based on load
Scale to PBs of table data
Fast key/value lookups
• NoSQL (Not Only SQL) table store et Index Table pattern
Service de stockagesUtilisé par les « clouds patterns » de manière intensive
N° 43
Partition Key
Row Key Value 1 Value 2 … Value NP.K. Row Key Value 1
<Index Table><Cache-aside>
<Table store (No SQL)>
Base model+ Atomistic
Data partitioning patterns to optimize performance requests
Data indexing based on usage
Retour d’experiences de la société ADENTS
inte
rnet
Inte
rne
t lay
er
Existing Level-1 hardwareSi
te la
yer
()
Existing Level-3 software
inte
rnet
Adents Level4 Integration
data ingestion layer
Web and service layer
Bulk data buffer
Secured data upload
(SAS url, https)
Client datas parsingand
ingestion
DATA LAKE
Analysis & Data intelligence
Serialization datas
Indexation & search
Business services
Level4 Web application/portal
Inte
rne
t lay
erAD
ENTS
Lay
er 4
(Azu
re c
loud
pla
tform
)
Existing Level-2
hardware/software
For illustration purpose only.
Modèle de données propriété de la société ADENTS.
This is the end ….
MICROSOFT CONF IDENT IAL – INTERNAL ONLY
Cloud Storage for Enterprise Architectsaka.ms/cloudarchstorage
Steps you through the variety of cloud storage options and services in the Microsoft Cloud
N° 50
@microsoftfrance @Technet_France @msdev_fr
N° 51
Notez cette sessionEt tentez de gagner un Surface Book
Doublez votre chance en répondant aussi au questionnaire de satisfaction globale* Le règlement est disponible sur demande au commissariat général de l’exposition. Image non-
contractuelle
Recommended