2 Panorama des technologies d'optimisation WAN SMB v2, BranchCache, DFS-R Jérôme Mombelli / Christophe Dubos Architectes Infrastructure Microsoft

2

Panorama des technologies d'optimisation WANSMB v2, BranchCache, DFS-RJérôme Mombelli / Christophe DubosArchitectes InfrastructureMicrosoft

3

Objectifs de la session

Présenter les technologies disponibles avec Windows Server 2008 R2 et 7

Identifier comment elle permettent d’adresser les problématiques des environnements réseau de type WAN

Définir les cas d’usage des différentes technologies

Permettre de choisir la combinaison le plus adaptée à chaque scenario

4

Agenda

Introduction

Zoom sur les principales technologies d’optimisation

Services IPServices de partage des fichiers SMBServices de cache BranchCacheServices de réplication DFS-R

Questions & réponses

5

Performance en environnement distribuéQuel impact ?L’accès aux données et services au travers du

WAN peut être impacté de manière significative en fonction

Du type de connectivité (latence et bande passante)Du nombre d’utilisateurs simultanés

6

Réseau

Pile réseau source

Pile réseau destinataire

Application source

Application destinatrice

Facteurs influençant les performances

Prendre en compte au niveau des protocoles les évolutions des conditions réseauRéduire le nombre d’allers-retours engendrés par un protocoleRéduire l’utilisation du WAN

7

Agenda

Introduction




8

Receive Window Autotuning Windows Filtering Platform

Receive Side ScalingPolicy-based Quality of Service

Détection automatique de l’environnement réseau et adaptation des paramètres pour optimiser performance Augmentation de la taille des fenêtres TCP send et receive

Capacités de filtrage aux différentes couches de la pile protocolaire TCP/IPIntégration et support des fonctionnalités du pare-feu de prochaine génération

Les précédentes versions de Windows limitaient la traitement des protocoles en réception à un seul CPURSS corrige cette limitation et permet de répartir la charge d’une carte réseau sur N CPU

Prioritisation et administration des caractéristiques (send rate) des flux réseau sortantsUtilisation conjointe de DSCP marking et throttling pour gérer le trafic de manière efficace

Windows Server 2008/R2Principales évolutions de l’architecture réseau

9

TCP Receive Window AutotuningFonctionnement Windows XP/Windows Server 2003

Taille des fenêtres TCP par défaut 64KB Pas d’auto optimisation

Limite de manière drastique selon les Round Trip Times

Vitesse d’émission limitée par la TCP Receive WindowTaille des fenêtres réduite de 50% si perte de paquets

Augmente légèrement avec chaque ACK supplémentaire

Optimisation manuelle de la taille des fenêtresComment atteindre des résultats optimum ?

Fonctionnement Windows 7/Windows Server 2008 R2

Auto optimisation de la taille des fenêtres activée par défautTaille maximale de Receive Window déterminée en fonction

De la capacité de traitement des applicationsDe la capacité du réseau et des conditions

10

Agenda

Introduction




11

Regroupement de multiples commandes au sein d’une seule trame (multiplexage)

Réduction des temps d’attente et de l’overhead lié à l’établissement de la connexion

Augmentation notable de la taille des buffersLa pile réseau n’est plus le goulot d’étranglementL’application ou le disque sont le goulot d’étranglement

Parallélisation des écritures, parallélisation des réponsesHandles persistants permettant de gérer des indisponibilités intermittentes du réseauSupport des liens symboliques (Symlink)

Server Message Block 2.0Evolutions fonctionnelles

12

SMB V2 et V 2.1Amélioration des performances

Opérations liées aux fichiers plus rapides et plus efficaces

SMB2 regroupe de multiples commandes au sein d’une seule trame ce qui permet une réduction des temps d’attente et de la bande passante consommée lors des opérations liées aux fichiers et aux répertoires (énumération)

Amélioration du traitement de la sécurité des paquets

Pré Windows 7 ?

?

?

O

O

O

Windows 7?

?

?O

O

O

Write Request?

Write Response

O

Open Dir

Query Dir

Query Volume

Close Dir

ORéponse

ORéponse

ORéponse

OResponseDepuis cache client SMB2

Open Dir

Query Dir

Query Volume

Close Dir

ORéponse

Query Dir

Query Volume

Pré Windows 7

Windows 7

13

SMB V2 et V 2.1Deux scenarios clé

Les environnements distribués avec des temps de latence importants, typiquement supérieurs à 100 msLe Datacenter aux bandes passantes importantes: 10Gb

14

Performances Robocopy Multi-thread

Avec 128 threads, Robocopy est de 3 à 22 fois plus rapide que Explorer sur des liens WAN avec une latence importanteSyntax: ROBOCOPY /MIR /MT:128 /LOG:NUL

1 2 4 8 16 1280%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100B:200

64KB:200

256KB:200

1MB:50

Nombre de threads

% te

mps

com

paré

à u

n dr

ag &

dro

p Ex

plor

er

Légendefichiers taille:nombre

15

Fichiers hors-ligneBascule vers un mode "Principalement Offline"

L’utilisation de la redirection des dossiers est grandement optimisée avec Windows Vista avec des modes online & offlinePas complètement transparent aux utilisateurs situés derrière des liens réseau avec une latence importante et un faible débit

Synchronisation bi-directionnelle en tache de fond à intervalles fixesSynchronisation transparente aux utilisateursIntervalle de synchronisation définissable

Expérience utilisateur plus intégréeCohérence des données accrueUtilisation optimisée de l’utilisation du réseau pour les sites et utilisateurs distants

Situation antérieure Windows 7

Bénéfices

16

Cache transparent

Les temps de réponse pour des lectures de fichiers venant d’être ouverts sont trop importants

L’ouverture d’un fichier venant d’être lu prend autant de temps que la première ouvertureLa consommation de bande passante est identique quelque soit la fréquence d’ouverture

Les fichiers accédés sur des partages SMB sont automatiquement mis en cacheLes lectures suivantes du fichier sont réalisés depuis le cache localLa stratégie de mise en cache est configurable via stratégies de groupe Transparent à l’utilisateur

Optimisation de la consommation de bande passante des liens WANTemps de réponse très proche de ceux de lectures locales pour les utilisateurs des liens WAN

Situation antérieure Windows 7

Bénéfices

17

Agenda

Introduction




18

Performances des réseaux WANBranchCache

Mise en cache des données accédées via HTTP(S) & SMBTemps de réponse améliorés pour les fichiers stockés dans le cacheLibération de bande passante pour d’autres usages

L’accès aux applications et données au travers de liens WAN est lentLes temps de réponse trop importants impact la productivitéL’amélioration des performances est onéreuse et difficile à implémenter

Situation antérieure Windows Server 2008 R2 / 7

19

BranchCache™

ObjectifsOptimisation des réseaux d’agenceRéduction de l’utilisation de la bande passanteAmélioration de l’expérience utilisateur

Mode de fonctionnementMécanisme de cache de contenu dans l’agence2 types d’implémentations

Mode hébergéMode distribué

Type de contenu mis en cache : HTTP(S) et SMB

BranchCache est transparent pour les applications côté client et côte serveur utilisant ses protocoles

20

BranchCacheMise en œuvre

IISServeur de fichiers

Administration viastratégies de groupe

Installation du composant optionnel “Branch Cache” sur un serveur de fichiers ou web Windows Server 2008 R2

Utilisation des stratégies de groupe pour activer BranchCache sur les clients Windows 7

HostedCache

De manière optionnelle, installation d’un cache hébergé dans les sites distants. Configuration du serveur à utiliser par les clients via GPO

21

Get

GetID

Get

Data

BranchCacheFonctionnement du mode Cache Distribué

Get

IDData

Data

22

Get

GetID

Put

Data

BranchCacheFonctionnement du mode Cache Hébergé

Get

DataID

Search

Get

Sear

ch

Request

Advertize

ID

ID

ID

Data

ID

Data

Disponibilité permanente du cache dans le site distantNouveau rôle de Windows Server 2008 R2Utilisable en environnement avec de multiples sous-réseaux IP

23

DemoBranchCache en action

24

Cache hébergé vs Cache distribué

Recommandé pour les agences de petite taille

Sans serveur d’infrastructure

Facilité de déploiementActivation sur les clients grâce aux stratégies de groupe

La disponibilité en cache diminue si les clients se déconnectent trop souvent

Utilisation privilégiée de postes fixes

Recommandé les grandes agences de grande taille

Avec serveur d’infrastructure

Cache hébergé de manière unique: utilisation du serveur existant dans l’agenceDisponibilité élevée du cacheMise en cache à l'échelle de l’agence

Entreprise

Cache distribué Cache hébergé

25

Déploiement - Cache distribué

Identifier l’agence• Un site Active Directory• Une plage d’adresse IP• Un ensemble d’ordinateurs clients spécifiques

Choisir le mode de déploiement• Stratégie de groupe• netsh

Déployer vers les clients!• Stratégie de groupe: utilisation des fichiers

natifs ADMX• netsh: exécution de netsh branchcache set

service mode=distributed sur tous les clients concernés

26

Déploiement - Cache hébergé

Configurer le cache hébergé• Installer la fonctionnalité BranchCache sur un

serveur R2• Installer un certificat (authentification serveur )

pour SSL• Executer netsh branchcache set service mode

=hostedserver sur le serveur de cache hébergé

Identifier l’agence

Choisir le mode de déploiement

Déployer vers les clients• Stratégie de groupe: utilisation des fichiers

natifs ADMX• netsh: exécution de netsh branchcache set

service hostedclient location=<> sur tous les clients

27

BranchCacheUne architecture extensible

IE

HTTP (WEBIO/HTTP.SYS)

BranchCache

WMP

SMB (CSC/SRV)

SharePointExplorer

Office

Applications tierces

SCCM WSUS

BITS

28

http.sys

IIS

BranchCache

wininet

Open URL

“Branch Cache Capable”

Data

Data

Data

H1 H2 H4 H5Hashlist

HashlistHashlist

Hashlist Data

Data

H3

BranchCache

IE

Get data

BranchCacheArchitecture détaillée avec HTTP

29

BranchCacheArchitecture détaillée avec SMB

SMB ServerDriver

SMB Hash Generation

Service HashGen Utility

Generate or update hash

Generate or update hashApplication

CSC Driver SMB Client Driver

Hashlist

CSC Service

DataHashlist

Request Hashes

ReadFile

Data

Prefetch File Data

DataAccess hashes

Savehashes

Request Hashes

Hashlist

BranchCache

CSCCache

30

Sécurité: vue d’ensemble

Le serveur authentifie le client et effectue des vérifications d'autorisation

Le serveur récupère les métadonnées pour la donnée

requêtée et envoie uniquement les métadonnées sur le même

canal (http, https, smb…)

Le client utilise la structure d'information du contenu pour calculer:

-l’Id du segment (public)-la clé de chiffrement (privé)

Le client broadcast sur le réseau local l’ID du segment pour trouver un poste avec les données

Le client demandeur télécharge la donnée d’un client ou d’un serveur de cache hébergé et la décrypte avec la clé de chiffrement

Les données dans le cache sont stockées en clair, mais peuvent être chiffrées avec BitLocker / EFS

Les clients ou le serveur servant le contenu reçoivent le broadcast et déchiffrent le segment

31

BranchCacheAdministration/Configuration

Les stratégies de groupe et NetSH permettentD’activer / désactiver le mode de cache coopératifD’activer / désactiver le mode de cache hébergéDéfinir la taille du cacheDéfinir l’emplacement du cache hébergéVider le contenu du cacheCréer et répliquer une clé partagée utilisable avec un cluster de serveurs…

32

Agenda

Introduction




33

Distributed File System (DFS)Fonctionnalités

M: \\Serveur1\Marketing

O: \\Serveur3\Ventes

N: \\Serveur2\Prod

M: \\Société

\Marketing

\Prod

\Ventes

M:

N:

O:

DFS-N permet de créer un espace de noms virtuel dé-corrélé de l’espace physique de stockage et fournit un service de localisation

DFS-R permet d’assurer une disponibilité optimale des données via ses fonctions de réplication

34

Utilisateur enagence “Toulouse”

Utilisateur enagence “Lille”

Serveur enagence “Toulouse”

Serveur enagence “Lille”

Espace de noms DFS

2

2

1

1

Serveur duDatacenter

“Paris”

Réplication DFS

3

X

Distributed File System (DFS)Scenario d’utilisation - Publication

35

Utilisateur enagence “Lille”

Serveur de collectedans le Datacenter

Espace de noms DFS

Réplication DFS


1

2

3

4Application

de sauvegarde

Applicationde sauvegarde

Distributed File System (DFS)Scenario d’utilisation - Consolidation

X

36

Espace de noms DFS

2

4

1

3

Serveur duDatacenter

“Paris”

Réplication DFS

Distributed File System (DFS)Scenario d’utilisation - Mobilité

Serveur enagence “Toulouse”


37

Distributed File System Replication (DFS-R) est un moteur de réplication multi-maitresDisponible depuis Windows Server 2003 R2Permet de maintenir synchronisés des dossiers stockés sur plusieurs serveurs

Réplication de groupes de dossiers définis par leur chemin d’accès

Distributed File System (DFS-R)Principes de fonctionnement

38

Distributed File System (DFS)Interface d’administration

39

E:E:\

DATA1E:\DATA2

F: F:\DATA1F:\DATA2

Groupe deréplication

DFSR DB

DFSR DB

F:

E:

F:

E:

Dossiers répliqués

Connexionsinbound/outbound

Distributed File System (DFS-R)Configuration

Connexionsinbound/outbound

40

Utilisation du journal NTFS pour détecter les modifications intervenues au niveau du système de fichiersUtilisation de Remote Differential Compression (RDC) de façon à ne répliquer que les modifications au sein des fichiersUtilisation d’une base de données Jet pour stocker les metadonnées et l’état de réplicationUtilisation des RPC pour les communications entre serveurs

Distributed File System (DFS-R)Fonctionnement détaillé

41

Distributed File System (DFS-R)Remote Differential Compression

Nouvel algorithme de réplication permettant de ne transférer que des deltas

Fichiers modifiésDétection des insertions, suppressions, et réarrangements de données au sein des fichiers

Nouveaux fichiersDétection et réutilisation des morceaux d’objets sur la machine destinatriceSimilarité / Cross file replication

Algorithme génériqueApplicable à tout type de fichier et tout type de protocole de communication

42

Fichier d’origine Fichier mis à jour

SHA21 … SHA25

Nouveaux morceaux 3, 4

Fichier modifié

The quick fox jumped

over the lazy brown dog.

the fox jumping over him.

“The brown dog was”

“so lazy that he …”

copie

SHA21

SHA22

SHA23

SHA24

SHA25

SHA11

SHA12

SHA13

SHA14

Request file The quick fox

jumped


The dog wasso lazy that he

didn’t notice




The brown dog was


so lazy that he didn’t notice



The brown dog was


so lazy that he didn’t notice

Les fichiers d’origine et mis à jour sont divisés en morceaux de longueur variable en fonction du contenuUne fonction de prise d’empreinte est invoquée sur une vue glissante du contenu du fichierLes modifications apportées au sein d’un morceau du fichier peuvent générer une division de celui-ci, mais n’ont pas d’impact sur les limites des autres morceaux du fichier

Un condensé (SHA) est calculé pour chaque morceau, côté serveur et clientLe nombre de dits utilisé dans le condensé peut varier en fonction de la taille du fichier et d’une signature globale du fichierLe serveur transmet la liste des condensés au client.Pour les fichiers volumineux l’algorithme est utilisé de manière récursive

Le client assemble le fichier modifié enCopiant des morceaux existants du fichier d’origine dans le cas ou le condensé SHA du fichier d’origine correspond à celui du fichier mis à jour côté serveur.

[récursif]

Remote Differential CompressionFonctionnement

Demandant les morceaux manquants/modifiés au serveur

L’ensemble des communications est compressé via zlib

43

Distributed File System (DFS-R)Evolutions apportées par Windows Server 2008Amélioration des performances de synchronisation initialeUtilisation optimisée de la bande passante

RPC asynchrones, I/O asynchrones et non bufferiséesAugmentation du nombre d’opérations de downloads concurrentes à 16

Protection contre le retour en ligne d’un serveur déconnecté sur une longue durée et désynchroniséReporting sur la propagation des modificationsRéplication immédiateUtilisation pour la réplication de SYSVOL

Réplication unidirectionnelle avec les RODC

44

Réplication DFS-R en lecture seuleScenario type: publication de données qui ne doivent pas pouvoir être modifiéesToute modification locale est bloquée par le service DFS-RTout mise à jour est refusée dans un groupe de réplication si le partenaire est en lecture seuleMembres en lecture seule: Windows Server 2008 R2Autres membres: Windows Server 2003 R2 ou plus

Mise en œuvre en cluster WSFCRéplication depuis un cluster de fichiersPour les nœuds du cluster: Windows Server 2008 R2Autres membres: Windows Server 2003 R2 ou plus

Distributed File System (DFS-R)Evolutions apportées par Windows Server 2008 R2

48

DFS-R vs BranchCacheCas d’usage

Réplication de l’intégralité des données sur le site distant

Présence des données indépendante des accèsDisponibilité permanente des données (pas d’obsolescence)Présence d’un serveur sur le site distant obligatoirePetit délais de réplication des données récemment modifiées

Tolérance aux indisponibilités du WANDisponibilité permanente des fichiers dans les sites avec un serveur

Réplication en tache de fond sans pénalité lors de l’accès aux données

Données accessibles via SMB 1, SMB 2.x, NFSPostes clients potentiels Windows, Mac, LinuxServeurs potentiels 2003 R2, 2008, 2008 R2

Cache des données accédées récemment disponibles sur le site distant

Cache flexible, donnée accédée = donnée cachéeGestion de l’obsolescence des données accédées (LRU)Cache Distribué sans serveur pour petits sitesClients récupèrent toujours la version la plus récente

Pas de tolérance aux indisponibilités du WAN

Serveur central utilisé pour l’authentification & l’obtention de hashes

Mécanisme intervenant lors de l’accès aux données

Fonctionnement avec protocoles SMB 2.1 et HTTPPostes clients obligatoirement Windows 7Serveurs obligatoirement Windows Server 2008 R2

Entreprise

DFS-R BranchCache

Réplication planifiée et différentielle

Accès à la demande et différentiel

49

Agenda

Introduction




50

MSDN et TechNet : l’essentiel des ressources techniques à portée de clic

http://technet.com http://msdn.com

Portail administration et infrastructure pour informaticiens

Portail de ressources technique pour développeurs

Documents

2 Panorama des technologies d'optimisation WAN SMB v2, BranchCache, DFS-R Jérôme Mombelli / Christophe Dubos Architectes Infrastructure Microsoft