JRES 2007 Solution de stockage répartie sur les centres de

1

Solution NAS – JRES 2007 – L. Mirtain – JL. Szpyrka 1

JRES 2007 Solution de stockage

répartie sur les centres de recherche INRIA, à base de serveurs de fichiers de type

« NAS »DateLaurent Mirtain, Jean-Luc Szpyrka – Novembre 2007 – v1.3.2

2


JRES 2007 : Solution NAS de l’INRIA

• Genèse du projet

• Description de la solution NAS

• Plan de reprise d’activité (PRA)

• Modes d’utilisation de nos NAS

• Bilan et perspectives

• Questions

3








• Questions

4


LORIANancy

INRIA Rhône-AlpesGrenoble

INRIASophia Antipolis

IRISARennes

FUTURSBordeaux

Metz

FUTURSLille

Lannion

Marseille

Lyon

Montpellier

FUTURS OrsaySaclayCachanNantes

Besançon

StrasbourgINRIA

RocquencourtParis

Données répartiessur ~600 machines

(serveurs et stations)

Données réparties sur ~ 100 machines


Données centralisées sur 1 serveur NAS

et ~10 serveurs

Données réparties sur ~ 20 machines


Données réparties ~200 machines


2004 : État des lieux• Inventaire des solutions

de stockage et de sauvegarde de l’INRIA.

5


Conclusions de l’étude• Constat : des objectifs communs

➢ Centraliser les données importantes➢ Simplifier la sauvegarde et réduire la durée de restauration des

données critiques➢ Établir un plan de reprise d’activité

• Propositions➢ Trouver une solution mutualisée➢ Utilisant la technologie de serveurs NAS

• Création d’un groupe de travail pour valider une solution et proposer une organisation

6








• Questions

7


La solution• A base de serveurs NAS répartis sur chaque site

• Complétée par une librairie de bandes raccordée à un serveur NAS central, sur lequel sont répliquées les données des NAS de site

• Acquisition via une procédure d’appel d’offres– Marché notifié en décembre 2005, mise en service de janvier à février

2006– Comprend la fourniture de l’ensemble des matériels et les prestations de

services

• Le prestataire de ce marché est Stordata avec du matériel NetApp et StorageTek

8


Répartition

LORIANancy

INRIA Rhône-AlpesGrenoble

INRIASophia Antipolis

IRISARennes

FUTURSBordeaux

Metz

FUTURSLille

Lannion

Marseille

Lyon

Montpellier

FUTURS OrsaySaclayCachanNantes

Besançon

StrasbourgINRIA

RocquencourtParis

FAS3020

FAS3020

FAS3020 FAS940

R200

STK L1400

FAS270FAS250

FAS270

FAS3020c

9


Détail des configurations

Site Modèle, capacité brute (type de disques)Grenoble - FAS 3020, 16 TB (FC)Lille - FAS 270, 6 TB (FC)Metz - FAS 250, 144 GB (FC)

Nancy

- FAS 940, 4 TB (FC)- Nearstore R200 56 TB (ATA)- Librairie de bandes StorageTek L1400 de 300 Slots avec3 lecteurs SDLT 600

Orsay - FAS 250, 1TB (FC)Rennes - FAS 3020 cluster, 18 TB (FC) + 14 TB (SATA)Rocquencourt - FAS 3020 20 TB (FC)Sophia - FAS 3020 17 TB (SATA)

Capacité brute de 152 TB

10


Caractéristiques matérielles• Garantir une haute disponibilité et permettre l'évolutivité

➢ Redondance des composants matériels ➢ Technologie RAID double parité (DP) autorisant la panne simultanée

de deux disques sans perte de données➢ Possibilité de faire cohabiter dans le même filer des groupes RAID

Fibre Channel et SATA➢ Facilités d’extension de la volumétrie par ajout de tiroirs de disques➢ Possibilité de configuration en cluster

11


Caractéristiques logicielles des équipements• Concept d’Appliance

➢ Système d’exploitation spécialisé (Data ONTAP®) – Administrable via des commandes en ligne et une interface Web– Support natif des protocoles NFS, CIFS, NIS, Active Directory, LDAP,

Kerberos, iSCSI, Fibre Channel, IPSec, NTP...– Mécanisme de reboot « rapide » (moins de 2 minutes)

➢ Système de fichiers journalisé « Write Anywhere File Layout » (WAFL®) couplé à une mémoire cache NVRAM (protégée par batterie) pour optimiser les I/O

– Possibilité de redimensionner les volumes à chaud– Mécanisme de quotas– Support des modes de sécurité CIFS, NFS ou mixte– Mécanisme intégré de sauvegarde sur disques permettant la

restauration par l’utilisateur ➢ Possibilité de répliquer des volumes vers un autre filer

12


Mécanisme de sauvegarde• Utilise un mécanisme de copie instantanée appelé « snapshot »

(logiciel Snapshot®)➢ Duplique uniquement les blocs d’inodes, pas les blocs de données

– Peu de place (réserver ~20% du volume)– Peu d’I/O : rapidité et faible perturbation

• Snapshots accessibles en lecture aux utilisateurs

13


Mécanisme de réplication• Le logiciel SnapMirror® permet de répliquer les volumes de filer à

filer au travers du réseau LAN ou WAN.1. initialisation par recopie complète (à la création du miroir)2. puis, synchronisation incrémentale, par recopie de snapshots

14


Mécanisme de virtualisation• Le logiciel MultiStore® permet de « découper » un filer en plusieurs

filers virtuels (appelés vfiler) avec leurs propres ressources (configuration, volumes, interfaces réseau, domaines de sécurité, exports...)

15








• Questions

16


PRA : en théorie... • Son objet

➢ Permettre un accès aux données sur le NAS central en cas de panne prolongée du filer de site

➢ Reconstruire les volumes du filer de site une fois que celui-ci est réparé ou en cas d’erreur humaine

➢ Restituer les données à partir des sauvegardes sur bandes en cas d’une corruption de données sur le filer de site et sur le NAS de réplication

17


PRA : utilisation de plusieurs ressources

Filer centralFiler central

RéplicationRéplication

SauvegardeSauvegardesur bandessur bandes

ÉquipeÉquiped’exploitationd’exploitation

HotlineHotline

VirtualisationVirtualisation

Accès distantAccès distant

18


filer

@IP1

vfiler

@IPv1Réplication

Sophia Nancy

PRA : procédure de basculement sur le filer de secours

//@nas/partage

@nas => @IP1@nas => @IPv1

Réplication

19


PRA...tique : réplication & sauvegarde• Réplication

➢ Plus de 37 flux de réplication (un flux par volume répliqué) déclenchés de manière échelonnée toutes les heures

➢ Taille totale des volumes répliqués : ~13 TB➢ Taille cumulée par réplication horaire : ~10 GB

– Soit un flux de transfert continu d’environ 20 Mbits/sec– Volume transféré par heure : ~0,07% du volume global– Volume transféré par jour : ~ 1,8% du volume global

• Sauvegarde sur bandes➢ Via le logiciel Networker, en mode NDMP➢ Une sauvegarde totale par semaine

20


PRA...tique : reconstruction & accès distant• Reconstruction de filer

➢ Nos raccordements Renater sont à 200 Mbits/sec : soit un maximum de 2 TB par 24 heures

➢ Nos volumétries NAS sont élevées : plusieurs jours pour reconstruire en entier un NAS

• Accès distant➢ Temps de réponse NFS/CIFS entre 10 et 20 fois plus lent qu’en

mode local (copie, parcours d’une arborescence...)➢ Les temps de latence de nos liaisons WAN (entre 8 et 28 ms) sont

pénalisants pour les protocoles NFS et CIFS

21


PRA...tique : quelques déboires• Des incidents inattendus

➢ Deux bogues logiciels ont provoqué une interruption de service– Enregistrés officiellement chez NetApp (BugID 245282 et 248621)

• Dans un cas, l’interruption a duré 8 heures.

• Dans l’autre, quelques minutes.➢ Le filer étant en configuration cluster, il a suffit de basculer tous les

volumes sur le deuxième filer, encore opérationnel.

22


PRA : le bilan• Le PRA n’est pas utilisable comme nous l’envisagions initialement

➢ Impossibilité de travailler en accès distant➢ Reconstruction d’un filer par le réseau trop longue

• Par contre➢ Il fournit une solution de reprise sur sinistre➢ Il permet d’utiliser une solution de sauvegarde centralisée

• Nous devons faire évoluer notre solution➢ Utilisation, lorsque nécessaire, d’une solution de réplication locale

– permettre une reconstruction rapide et une utilisation en mode secours➢ Mise en place, si besoin, de NAS en configuration cluster

– Augmenter le niveau de disponibilité

23








• Questions

24


Service de fichiers utilisateurs• Un NAS est avant tout un serveur de fichiers

➢ Ce mode d’utilisation concerne l’essentiel des données hébergées sur nos filers :

– homedirs utilisateurs– profils itinérants– espaces partagés par les équipes de recherche ou les services de

support– données d’archivage ou temporaires

➢ Il représente environ 60% de la volumétrie globale de nos serveurs

25


Service applicatif en NFS • Compte-tenu du niveau de disponibilité et de performance de nos

NAS, de la sauvegarde intégrée et du PRA, nous avons tout intérêt à héberger sur nos NAS, nos données applicatives importantes

– Construction d’un cluster heartbeat avec volume partagé en NFS

LAN

NAS- fichiers et données du service applicatif

Cluster de 2 Serveurs

fichiers de l’OS

NFS NFS

fichiers de l’OS

26


Service applicatif en iSCSI • Si l’application ne supporte pas l’utilisation d’un volume NFS, en

terme de fonctionnement ou de performance, il est alors possible d’utiliser nos filers en mode bloc

➢ protocole iSCSI (SAN IP) ou FCP (SAN Fibre Channel)

NAS

LAN

- LUN serveur

Serveur - fichiers de l’OS

iSCSI

27


Optimiser la configuration réseau • Liens GbE, agrégats, auto négociation de bout en bout, jumbo

frames, isolement du trafic data sur un VLAN « stockage » dédié

28


Déploiement de services : NetApp Library • Les guides techniques de NetApp Library fournissent des

recommandations pour mettre en œuvre et optimiser le fonctionnement du service avec un filer

➢ Côté NAS– Architecture haute disponibilité– Répartition des données applicatives sur les volumes– Ajustement des paramètres systèmes

➢ Côté serveur applicatif– Options de montage NFS– Ajustement des paramètres du noyau

➢ Coté application– Ajustement des paramètres de configuration– Déclenchement des snapshots

29


Panorama des services déployés • Apache : accès NFS

– attention aux fichiers de lock, suivre les recommandations de apache.org

• Oracle Calendar (base 10g) : accès NFS– RAS, suivre les recommandations de NetApp Library

• MySQL : accès NFS– attention au moteur de stockage

• Sauvegarde sur disques : iSCSI– Utilisation des initiateurs iSCSI standard de Linux ou Windows

• En prévision➢ Images virtuelles de serveurs➢ IMAP

30


NFSv4 • Déployé sur deux sites

• Les plus ➢ accès sécurisé➢ mécanisme de disponibilité des données hors connexion

• NFSv4 a besoin d’un service d’authentification Kerberos, couplé à une base utilisateurs (ici, un annuaire LDAP)

• Implique la mise en place d’une relation d'approbation entre les domaines Kerberos Windows et Linux

• NetApp considère ce service comme encore expérimental

31


Comparaison SCSI/iSCSI/NFSv3

2GB 4GB 8GB 16GB0

50

100

150

200

dd: écriture en MB/s

SCSI

ISCSINFS

2GB 4GB 8GB 16GB0

20

40

60

80

100

120

140

dd: lecture en MB/s

SCSI

ISCSINFS

Networker DBO : débit en MB/s NFS NFS optimisé iSCSI

Sauvegarde (3 en //) 40 47 58

Restauration 45 57 44

Disque local NAS (NFS)0

100

200

300

400

500

600

700

800

900

1000

1100

alter-table

big-tables

connect

create

insert

select

Rés

ulta

t en

seco

ndes

Fig. 1

Fig. 2

Fig. 3

Fig. 4

32








• Questions

33


Bilan...• Sur 12 mois

➢ Déploiement de 7 serveurs NAS➢ D’une solution de sauvegarde centrale➢ Des réplications entre NAS et d’une procédure de PRA➢ Volume de données utilisé sur nos serveurs NAS multiplié par cinq

• Ce projet a permis de renouveler les solutions de stockage et de construire une solution mutualisée

➢ Évolutive : supporte l’augmentation de volumétrie et le rajout de serveurs NAS sans casser l’existant

➢ Permet de construire des services applicatifs sécurisés

• Mise en place d’une équipe d’exploitation multi localisée➢ Gain d’exploitation procuré par l’accès aux snapshots par l’utilisateur

34


... et perspectives• PRA à améliorer

➢ Accès au filer de secours➢ Reconstruction de volumes

• Évolutions prévues ➢ Répondre aux besoins d’extensions en filers et volumétrie ➢ Prendre en compte la haute disponibilité, avec des solutions de

cluster NAS sur les sites

Bilan très positif mais encore du travail

35








• Questions

36

Solution NAS – JRES 2007 – L. Mirtain – JL Szpyrka 36

Annexe (quelques transparents pour les questions)

37


Mécanisme de sauvegarde (2)• Ces caractéristiques nous permettent de multiplier les sauvegardes

38


Modes de sécurité• Pour changer les permissions

Unix sur un espace partagé en mode de sécurité Unix depuis un client Windows.

➢ Outil « SecureShare » fourni par NetApp (plugin), déployé sur les postes Windows

• Pour changer les permissions sur un espace partagé en mode de sécurité Windows depuis un client Unix.

➢ Fonctionnalités des clients Samba

SecureShare

39


Mécanisme de sauvegarde (3)• La restauration des fichiers accessible aux utilisateurs !

Windowsvisualiser/restaurer/copier les différentes sauvegardes d’un fichier/répertoire via le menu « Propriétés > Versions Précédentes »

40


Mécanisme de sauvegarde (4) • Unix

Accès via le répertoire .snapshot (en lecture seule)

Restauration avec cp

Attention : inodes identiques !

pb avec commandes diff, cmp...

Astuce : diff – fichier < .snapshot/..../fichier

41


Base de données Oracle 10g • Oracle sur NFS ?

➢ NetApp certifie la compatibilité de ses filers avec les principaux SGBD du marché (Oracle, Sybase, Microsoft SQL Server, MySQL Enterprise Edition...)

• Exemples de recommandations :➢ Séparer sur différents volumes, les fichiers de données, les fichiers

journaux➢ Des options de montage NFS spécifiques➢ Des procédures de sauvegardes

• Notre utilisation actuelle : base Oracle 10g pour le logiciel Oracle Calendar (Oracle Collaboration Suite)

• Notre service Oracle hébergé sur NAS fonctionne bien jusqu’à ce jour

42


Base de données MySQL • MySQL sur NFS ?

➢ NetApp certifie MySQL Enterprise avec ses solutions NAS➢ MySQL dissuade d’utiliser NFS (problèmes potentiels liés aux verrous

(lock) NFS des fichiers)

Disque local NAS (NFS)0

100

200

300

400

500

600

700

800

900

1000

1100

alter-table

big-tables

connect

create

insert

select

Rés

ulta

t en

seco

ndes

• Notre configuration : base MySQL pour un serveur Web (moteur non transactionnel MyISAM)

• Tests concluants avec sql-bench (robustesse et performances)

• Notre service Mysql hébergé sur NAS donne toute satisfaction jusqu’à ce jour

43


Sauvegarde sur disques • Utilisé en iSCSI pour de la sauvegarde sur disques (Networker

DBO)➢ Depuis un serveur Linux RHEL v4➢ Et un serveur Windows 2003 Server

• Sur les recommandations de Dell➢ Pas de carte matérielle iSCSI (HBA) spécifique, mais une deuxième

carte dual port GbE ;➢ Utilisation des initiateurs iSCSI standard de ces OS.

• Les recommandations de NetApp➢ Configuration/optimisation du driver iscsi côté client et côté NAS➢ Pour Linux : partitionner (fdisk) le LUN en alignant sa géométrie avec

celle des blocs de 4096 bytes de WAFL (performances)

44


ISCSI (3) • Comparaison SCSI/iSCSI/NFS

5 10 20 50 100 200 500 700 1000

05

1015202530354045505560657075

Ecriture (dd)

SCSIiSCSINFS

Taille en MB

Dur

ée e

n se

c

5 10 20 50 100 200 500 700 10000

2,55

7,510

12,515

17,520

22,525

27,530

32,535

37,540

42,5

Lecture (dd)

SCSIiSCSINFS

Taille en MB

Dur

ée e

n se

c

45



5 10 20 50 100 200 500 700 10000

200

400

600

800

1000

1200

1400

1600

1800

2000

tiobench : débit en lecture

SCSIiSCSINFS

Taille en MB

Mbi

ts/s

ec

1 5 10 20 50 100 200 500 700 10000

10

20

30

40

50

60

70

80

90

100

tiobench : débit en écriture

SCSIiSCSINFS

Taille en MBM

bits

/sec

46



file_delete_par_sec

file_creation_par_sec

file_delete_par_sec

file_creation_par_sec

transaction_par_sec

mb_write_per_sec

mb_read_per_sec

file_read_par_sec

0 1000 2000 3000 4000 5000

182,37

0,3834

4,3428

370,37

2083,33

2081,5

184,37

186

984,8

1,0543

11,9427

2000

4166,67

4163

995,6

1004,4

289,65

0,2365

2,6787

588,24

806,45

805,74

292,82

295,41

Test Postmark

SCSIiSCSINFS

Documents

JRES 2007 Solution de stockage répartie sur les centres de