stockage-reseau

7/25/2019 stockage-reseau

1/25

Stockage RseauLe stockage s'chappe du systme

pour devenir une fonction rseauPhilippe Latu / Universit Toulouse III - Paul Sabatier / www.inetdoc.net

Philippe.latu(at)inetdoc.net


2/25

2

Introduction

Les enjeux

Besoins en progression constante Migration DAS vers (SAN | NAS) Htrognit et Interoprabilit Continuit de service

Les termes Manageability Availability Scalability

Les acronymes DAS : Direct Aached Storage SAN : Storage Area Network NAS : Network Aached Storage


3/25

3

Introduction

Rseau IP frontalHte hte

Application systme de fichiersClient ServeurNFS / CIFSNAS

Rseau de stockage dorsalHte stockage

Systme de fichiers priphriqueApplication priphriqueVirtual FS / Ext4 / NTFSSAS / SATA / SCSI / PATASAN

Diffrences entre modes d'accs : fichier ou bloc

hd


4/25

4

Direct Aached Storage - DAS

Caractristiques

volutions SCSI SAS PATA SATA FC (ANSI) FCOE

Limitations Distance entre systme et priphriques Nombre de disques par chssis Partage de priphriques entre systmes Dimensionnement serveur vs. Capacit de stockage Retour sur investissement (ROI)

Linux kernel SCSI subsystem

N kA hdS NAS


5/25

5

Network Aached Storage - NAS

Caractristiques

Hte connect au rseau IP

Accs en mode fichier

volutions Systmes de fichiers rseau NFS ou CIFS

Systme de fichiers partageable entre serveurs Liens redondants possibles

Limitations en performances Rseau

Systme de fichiers Systme d'exploitation

User applicationVFS

NFS client

XDR RPCclient

TCP/IPNetworkdevice

CacheNFS server

XDR RPCserver

TCP/IP

Networkdevice

Storagedevice

VFSLocal

filesystem

EthernetSwitch Fabric

St A Nt k SAN


6/25

6

Storage Area Network - SAN

Caractristiques

Hte connect un commutateur

Accs en mode bloc

volutions Fiber Channel over Ethernet (FCoE)

Sous-systme partageable entre serveurs Liens redondants possibles

Limitations en performances Cot du port de commutateur

Choix d'interfaces (HBA/FC) limit

Fiber Channel

Switch Fabric

HBA :Host Bus Adapter

C i DAS/NAS/SAN


7/25

7

Comparaison DAS/NAS/SAN

Caractristiques systme

DAS NAS SANAccs Mode bloc Mode fichier Mode bloc

Connexion Srie SASParallle - SCSI

Ethernet Fiber Channel

Performances

d'accs

Trs bonnes Moins bonnes Trs bonnes

Limite desperformances

Sous-systme SCSIdu noyau

Systme de fichiersNFS / CIFS

Commutation FiberChannel

Augmentation decapacit

Arrt du systmeobligatoire

Trs facile Complexe suivantl'architecture

volutivit etContinuitd'exploitation

Faible Moyenne leve



8/25

8


Caractristiques rseau

Accs mode bloc

SAS

SAN

FCP

Systme de fichiersrseau NFS / CIFS

NAS

Application

TCP

Accs modefichier

IPEthernet

Interface rseau

Systme de fichiers local

DAS

Application

Gestionnaire de volume

Sous-systme SCSI

Sous-systme SCSI

Accs mode bloc

Systme de fichiers local

Application

Gestionnaire de volume

Sous-systme SCSI

SAN

Interface rseauEthernetIPTCP

Systme de fichiersrseau NFS / CIFS

InternetSmallComputerSystemInterface iSCSI


9/25

9

Internet Small Computer System Interface - iSCSI

Caractristiques

Accs en mode bloc sur lien Ethernet

volutions Algorithmes TCP adapts (HTCP) Balance de charge multi-liens (LACP)

Limitations Performances rseau Conflits entre fonctions TCP accs mode bloc

Termes Initiators: HBAs ou NICs ct serveurs (matres) Targets / LUNs: HBAs ou NICs ct stockage (esclaves)

TOE: TCP Offload Engine

NIC : NetworkInterface Card EthernetSwitch Fabric

Storagedevice

VFSLocalfilesystem

NIC : Network

Interface Card

FiberChanneloverEthernetFCoE


10/25

10

Fiber Channel over Ethernet - FCoE

Caractristiques

Accs en mode bloc sur rseau IP

volutions Commutation unifie

LAN + SAN

Interfaces 10Gbps unifies rseau + stockage

Limitations Spcifications trop rcentes Absence de retour d'exprience Cot des commutateurs

10Gbps NIC

Fiber Channel+ EthernetSwitch Fabric

10Gbps NIC

Exploitation&stockage


11/25

11

Exploitation & stockage

Contraintes

Reprise de service en cas de panne Catastrophes naturelles Erreurs humaines

Sauvegarde Oprations de maintenance

Pannes et dfauts matriels Accs multi-liens

Redondance Balance de charge

Qalit de service (oS) Rplication Disponibilit Sauvegarde

Tolranceauxpannesentreunitsdestockage


12/25

12

Tolrance aux pannes entre units de stockage

Redundant Array of Independent Disks(RAID)

Deux types d'implmentation Logicielle sous-systme device manager du noyau Linux Matrielle carte contrleur avec un systme propre firmware

NiveauRAID

Description Nombreminimum de

disques

Capacit utile(nombre de disques)

0 Striping/ Concatnation 2 N

1 Miroir 2 N/2

1 + 0 Miroir puisStriping/Concatnation

4 N/2

5 Stripesavec parit distribueet E/S alatoires

3 N - 1

6 Stripesavec deux calculs deparit diffrents distribuset E/S alatoires

4 N - 2

Accsredondantauxunitsdestockage


13/25

13

Accs redondant aux units de stockage

Entres/Sorties redondantes -Multipath I/O

Tolrance aux pannes dynamique Failover / Recovery Optimisation du cot d'administration

Choix entre deux modes Actif / Passif

Tolrance aux pannes Dtection d'erreur automatique

Actif / Actif Augmentation de performances

Augmentation des dbits

Rplicationdesvolumesdestockage


14/25

14

Rplication des volumes de stockage

Deux modles distincts

Niveau systme ou noyau Synchrone ou asynchrone Pilotage au niveau serveur

LVM | cron | rsync

Niveau sous-systme

Synchrone ou asynchrone Pilotage au niveau contrleur

Mirroring

Performances rseau imposes

Distances limites

11

2

11

2

Sauvegarde&stockage


15/25

15

Sauvegarde & stockage

Types de sauvegarde

Complte

Volume ou systme de fichiers complet Temps et consommation de bande passante trs importants

Incrmentale Diffrence depuis la dernire sauvegarde Temps et consommation de bande passante peu importants

Diffrentielle Diffrence depuis la dernire sauvegarde complte Temps et consommation de bande passante moins importants

Hors ligne

Fentre de blocage des critures impose Impact important sur l'architecture des services En ligne

Contrle d'intgrit difficile Conflits potentiels entre services et sauvegarde

Gestiondevolume


16/25

16

Gestion de volume

Types d'oprations

Ajout/Retrait d'units de disques Maintenance avec utilisation temporaire de disques

Augmentation/Diminution de la capacit de stockage Transferts entre volumes logiques sur un mme systme

Redimensionnement dynamique Extension d'un systme de fichiers en ligne

Dplacements de donnes entre units de disque Prparation l'extraction d'units de disque

Snapshots Copie instantane de l'tat d'un volume logique

Rplication Copie entre volumes logiques

Gestion de volume


17/25

17

Device mapper

Cartographie des requtes sur les

units de disque Redirection Mise en aente Chiffrement

Gestion de lien Gestionnaire de priphriques enmode bloc Ajout/Retrait d'units en mode bloc au

dessus de priphriques de stockagephysiques

lvm2

dm-core

libdm

targettargettarget

low-level device

UserspaceKernelspace

dmsetup

Gestion de volume


18/25

18

Logical Volume Manager

Gestionnaire de priphrique mode bloc au niveau systme Partitions d'units de disque Units SAS/SATA/PATA LUNs iSCSI Rseau FCoE

Vue systme homogne N Priphriques physiques vus comme un priphrique logique

Analogie entre volume et partition Formatage et cration d'un systme de fichiers Partition d'change (swap) Accs directs depuis un gestionnaire de bases de donnes

Changements dynamiques de configuration

Gestion de volume


19/25

19

Linux LVM2

Espace noyau Device mapper modules

Espace utilisateur Paquet lvm2

Stripingen option

VG

LV

LV

LV

pvcreate

vgcreate

lvcreat

e

/var / /usr

VG

LV

LV

PVPVPVPVPVPV

Exemples de manipulations pratiques


20/25

20

p p p q

Rplication synchrone

RAID1 logiciel entre DAS et SAN Une unit de disque locale Une unit de disque iSCSI RAID1 entre les deux units

Rplication asynchrone

SnapshotLVM entre DAS et SAN Une unit de disque locale Une unit de disque iSCSI Snapshotspriodiques entre les deux units

VG



21/25

21

p p p q

Rplication synchrone phase 0

Serveur + Stockage DAS Une unit logique iSCSI

(target) par client Client + Stockage DAS deux units physiquespar poste



22/25

22


Serveur + Stockage DAS

Une unit logique iSCSI(target) par client

Client + Stockage DAS deux units physiquespar poste

une unit logique iSCSI

(initiator)



23/25

23


Client + Stockage DAS une unit physique parposte

une unit logique

RAID1

Unit RAID1

Unit RAID1

RAID1 avec DAS + SAN=

Rplication synchrone



24/25

24

Rplication asynchrone phase 3

Unit RAID1

Snapshot LVM

Unit RAID1

Snapshot LVM

Snapshot LVMentre unitsDAS et RAID1

=

Rplication

Ressources


25/25

25

Travaux pratiques Introduction au rseau de stockage iSCSI

hp://www.linux-france.org/prj/inetdoc/cours/admin.reseau.iscsi/ Technologies

NAS :hp://fr.wikipedia.org/wiki/Stockage_en_rseau_NAS SAN :hp://fr.wikipedia.org/wiki/Storage_Area_Network FcoE :hp://fr.wikipedia.org/wiki/FCoE iSCSI :hp://fr.wikipedia.org/wiki/ISCSI LVM : hp://fr.wikipedia.org/wiki/Gestion_par_volumes_logiques

Documentation

LVM :hp://tldp.org/HOWTO/LVM-HOWTO/ Wiki :hp://sources.redhat.com/lvm2/wiki/
http://fr.wikipedia.org/wiki/Stockage_en_r%C3%A9seau_NAShttp://fr.wikipedia.org/wiki/Storage_Area_Networkhttp://fr.wikipedia.org/wiki/FCoEhttp://fr.wikipedia.org/wiki/ISCSIhttp://tldp.org/HOWTO/LVM-HOWTO/http://sources.redhat.com/lvm2/wiki/http://sources.redhat.com/lvm2/wiki/http://tldp.org/HOWTO/LVM-HOWTO/http://fr.wikipedia.org/wiki/ISCSIhttp://fr.wikipedia.org/wiki/FCoEhttp://fr.wikipedia.org/wiki/Storage_Area_Networkhttp://fr.wikipedia.org/wiki/Stockage_en_r%C3%A9seau_NAS

Documents

stockage-reseau