Clusters de stockage : GlusterFS - · PDF fileRAIN Inﬁniband Traducteurs GlusterFS Exemples Clusters de stockage : GlusterFS David Delavennat Centre de Génétique Moléculaire Rencontres

RAIN Infiniband Traducteurs GlusterFS Exemples

Clusters de stockage : GlusterFS

David Delavennat

Centre de Génétique Moléculaire

Rencontres Mathrice, Octobre 2007

Mathrice 2007 - IHP 1 / 44


Plan

1 RAIN

2 Infiniband

3 Traducteurs

4 GlusterFS

5 Exemples



Plan

1 RAINDéfinitionDescription

2 Infiniband

3 Traducteurs

4 GlusterFS

5 Exemples



Redondant Array of Inexpensive Node

DéfinitionL’architecture RAIN (Reliable|Redundant|Random Array ofInexpensive|Independant Nodes) est au départ un sujet derecherche partant d’une vraie réflexion d’informatique théoriquepour s’appliquer aux applications critiques des entreprises. Leschercheurs voulaient développer un modèle informatiquedistribué pour le stockage à base de composants standards.Le sujet a été étudié aux états-unis par CalTech (l’Institut deTechnologie de Californie), le laboratoire JPL (Jet Propulsion)de la NASA et par le DARPA (Defense Advanced ResearchProjects Agency, département de la défense).




DescriptionDistribution entre les noeuds assurée par desassemblages dits Maximum Distance Separable ArrayCodes permettant de calculer une répartition des donnéeset d’assurer le recouvrement en cas de défaillance d’unélément de la chaîne.Auto-reconfiguration en cas de panne d’un constituant,d’un ajout ou d’un retrait d’un noeud du cluster.Aucune limite du nombre de noeuds.




Description

La couche RAIN fournit un mécanisme d’équilibre decharge au sein du cluster pour les requêtes entrantes etsa philosophie de redondance permet d’accepter plusieursdéfaillances de plusieurs éléments de la configuration :noeud, interface ou lien réseau, switch, stockage ou noeudcomplet.Côté configuration, il peut être envisagé de déportercertains noeuds et de mixer des liens LAN et WAN pourrigidifier le cluster.




DescriptionGestion de fichiers, pas de disques.Evolutivité multi-dimensionnelle :performance, capacité, redondanceDonnée éclatée/répliquée/distribuéeentre plusieurs entités.Redondance assurée avec unefinesse importante contrairement àune approche massive type RAID,coûteuse en reconstruction, quifonctionne au niveau volume ou lun.




DescriptionRépartition des fragments defichiers sur plusieurs unitéspermettant d’aggréger la bandepassante, de contrôler et limiter letemps de traitement.Petit et gros fichiers ne seront pasdivisé dans le même nombre defragments.Les datas ne peuvent plus vivreavec les meta-datas comme lessystèmes de fichiers de conception"ancienne" le faisaient.




Schéma



Plan

1 RAIN

2 InfinibandArchitectureDébitsPoints Techniques

3 Traducteurs

4 GlusterFS

5 Exemples



Infiniband

Architecture



Infiniband

Architecture



Infiniband

Débits20Go/s point à point60Go/s commutateurs à commutateurs120Go/s en prévision

NOTE : Fiber-Channel tourne à 10Go/s maximum



Infiniband

Points TechniquesInfiniband n’est pas concu autour des standardsEthernet/IPutilise la notion de Remote Direct Memory Accessles cartes infiniband accèdent directement à la mémoiredes noeuds distantsaccès en lecture comme en ecriture



Infiniband

Pile logicielle

verbs : commandes élémentaires envoyées à la carteinfiniband (bibliothèque ibverbs)Direct Access Programming Library : interface de plushaut niveau. kDAPL en espace noyau, uDAPL en espaceutilisateurSocket Direct Protocol : émulation de socket sur InfinibandSCSI RDMA Protocol : accès distant par infiniband à desdisques SCSIIPoIB : IP sur Infiniband



Plan

1 RAIN

2 Infiniband

3 TraducteursHurdFuse

4 GlusterFS

5 Exemples



Traducteurs

GenèseDéveloppement du noyau Hurd par la FSF à partir de 1990Paradigme objetLe Virtual File System unix offre un système de nommagedéterministe au travers de sa structure arborescente.Programme associé à un noeud/fichier du VFS.Comparable à un trigger de base de donnée.

Rappel : sous unix un répertoire est un fichier.



Traducteurs

Les classes de traducteur HurdTrivFS→ ne s’attache qu’a un seul noeudNetFS→ s’attache à un noeud de type répertoire et créeune arborescenceDiskFS→ semblable à NetFS mais spécifiquement conçupour un usage avec une unité physique



Traducteurs

Traducteur HurdIl effectue une action en réaction à un évènement(ouverture, écriture, modification des droits...) lié au noeudauquel il est associéLa pile TCP/IP, l’exécution de binaire ou le système defichier ext2 fonctionne au travers de traducteursMode actif : association entre le traducteur et le noeudVFS jusqu’au prochain redémarrageMode passif : ∼ démon/service



Traducteur

Filesystem in UserlandAPI simplePortable (pas besoin de patch noyau)La bibliothèque et le module noyau de FUSEcommuniquent au travers du fichier spécial /dev/fuse.Interface entre le paradigme unix et le paradigme hurd



Fuse

Exemple



Plan

1 RAIN

2 Infiniband

3 Traducteurs

4 GlusterFSArchitectureTraducteurs

5 Exemples



GlusterFS

Architecture



GlusterFS

Architecture



Traducteur de stockage

PosixGlusterFS s’appuie sur un système de fichier traditionnel(Ext3 ou XFS)Le traducteur POSIX fait le lien entre le serveur GlusterFSet le système de fichier sous-jacent

1 volume posix12 type storage / pos ix3 opt ion d i r e c t o r y / home / expor t4 end−volume



Traducteurs d’agrégat

Automatic-File-Replicatorréplication de fichiers en fonction d’un motifla réplication est faite dans l’ordre de déclaration dessous-volumesle système de fichier sous-jacent doit supporter lesattributs étendus

1 volume a f r2 type c l u s t e r / a f r3 subvolumes br i ck1 b r i ck2 b r i ck3 b r i ck44 opt ion r e p l i c a t e ∗ . html : 2 , ∗ . db : 1 ,∗ : 35 # ∗ . html => br ick1 , b r i ck26 # ∗ . db => b r i ck17 # l e res te => br ick1 , br ick2 , b r i ck38 # r i e n sur b r i ck49 end−volume




Unifyunifie plusieurs bricks en un seul volumela distribution des fichiers se fait selon l’ordonnanceurchoisit

1 volume u n i f y2 type c l u s t e r / u n i f y3 subvolumes br i ck1 b r i ck2 b r i ck3 b r i ck4 b r i ck5

b r i ck6 b r i ck7 b r i ck84 # ne d o i t pas ê t re un ’ subvolumes ’5 opt ion namespace br i ck−ns6 # ordonnanceur round−rob in7 opt ion scheduler r r8 end−volume




Stripedécoupe les fichiers en block de taille block-size et lesrépartit sur les sous-volumes en fonction d’un motifle système de fichier sous-jacent doit supporter lesattributs étendus

1 volume s t r i p e2 type c l u s t e r / s t r i p e3 subvolumes br i ck1 b r i ck2 b r i ck3 b r i ck44 opt ion block−s ize ∗ av i :10MB,∗mpg,∗ dat :100MB5 # ∗ av i => decoupé en block de 10Mo,6 # ∗dat => decoupé en block de 100Mo7 # ∗mpg => découpé en block de 128Ko ( défaut )8 end−volume



Traducteurs d’ordonnancement

Adaptive Least Usage

C’est l’ordonnanceur le plus puissant disponible. Il s’adaptedynamiquement aux différentes caractéritiques spécifiées.

disk-usageread-usagewrite-usageopen-files-usagedisk-speed-usage→ peu utile, cette valeur étant constante




Adaptive Least Usage

1 volume b r i c k s2 type c l u s t e r / u n i f y3 subvolumes br i ck1 b r i ck2 b r i ck3 b r i ck44 opt ion scheduler a lu # use the ALU scheduler5 opt ion a lu . l i m i t s . min−f ree−d isk 5%6 opt ion a lu . l i m i t s . max−open− f i l e s 100007 opt ion a lu . order disk−usage8 opt ion a lu . d isk−usage . ent ry−t h resho ld 2GB9 # 2048−60=198810 opt ion a lu . d isk−usage . e x i t−t h resho ld 60MB11 opt ion a lu . s ta t−r e f r esh . i n t e r v a l 10sec12 opt ion a lu . s ta t−r e f r esh .num− f i l e −create 1013 end−volume




Non-Uniform Filesystem Schedulerutilisé en environnement HPCdonne une priorité d’accès au système de fichier local parrapport à celui des autres noeuds

1 volume posix1 # stockage l o c a l au noeud2 type storage / pos ix3 opt ion d i r e c t o r y / home / expor t4 end−volume5 volume b r i c k s6 type c l u s t e r / u n i f y7 subvolumes posix1 b r i ck2 b r i ck3 b r i ck48 opt ion scheduler nufa9 opt ion nufa . l oca l−volume−name posix110 opt ion nufa . l i m i t s . min−f ree−d isk 5%11 end−volume




Random

1 volume b r i c k s2 type c l u s t e r / u n i f y3 subvolumes br i ck1 b r i ck2 b r i ck3 b r i ck44 opt ion scheduler random5 opt ion random . l i m i t s . min−f ree−d isk 5%6 end−volume




Round-Robin

1 volume b r i c k s2 type c l u s t e r / u n i f y3 subvolumes br i ck1 b r i ck2 b r i ck3 b r i ck44 opt ion scheduler r r5 opt ion r r . l i m i t s . min−f ree−d isk 5%6 opt ion r r . re f resh− i n t e r v a l 107 end−volume



Traducteurs d’export

Serveur

1 volume server2 type p ro toco l / server3 opt ion t ranspo r t−type tcp / server4 # opt ion t ranspo r t−type ib−sdp / server5 # opt ion t ranspo r t−type ib−verbs / server6 # opt ion ib−verbs−work−request−recv−s ize 10485767 # opt ion ib−verbs−work−request−recv−count 168 # opt ion ib−verbs−work−request−send−s ize 10485769 # opt ion ib−verbs−work−request−send−count 1610 # opt ion bind−address 192.168.1.1011 # opt ion l i s t e n−po r t 699612 # opt ion c l i e n t−volume−f i lename / e tc / c l i e n t . vo l13 subvolumes br i ck1 b r i ck214 opt ion auth . i p . b r i ck1 . a l low 192.168.∗15 opt ion auth . i p . b r i ck2 . a l low 192.168.∗16 end−volume



Traducteurs d’export

Client

1 volume c l i e n t 12 type p ro toco l / c l i e n t3 opt ion t ranspo r t−type tcp / c l i e n t4 # opt ion t ranspo r t−type ib−sdp / c l i e n t5 # opt ion t ranspo r t−type ib−verbs / c l i e n t6 # opt ion ib−verbs−work−request−recv−s ize 10485767 # opt ion ib−verbs−work−request−recv−count 168 # opt ion ib−verbs−work−request−send−s ize 10485769 # opt ion ib−verbs−work−request−send−count 1610 opt ion remote−host 192.168.1.1011 opt ion remote−po r t 699612 opt ion t ranspo r t−t imeout 3013 opt ion remote−subvolume b r i c k14 end−volume



Traducteurs divers

Posix-lockssupport des verrous POSIX (verrou fcntl) indépendammentdu stockage sous jacent.s’utilise coté serveur en surcouche du traducteur destockage POSIX.fournit des verrous de type ’consultatif’ (advisory) et’obligatoire’ (mandatory)

1 volume locks2 type fea tu res / posix−l ocks3 subvolumes b r i c k4 end−volume



Traducteurs divers

Trash

1 volume t rash2 type fea tu res / t rash3 opt ion t rash−d i r / . t rashcan4 subvolumes b r i c k5 end−volume



Traducteurs de performance

Read-Aheadpré-charge une séquence de blocks selon des prédictionsde besoin→ accélère les lectures consécutivesaggrège les entrées/sorties afin de réduire la chargeréseau et la charge disque

NOTE : Ce traducteur marche bien avec le transport infiniband.Sans read-ahead on peut saturer des interfaces GigaEthernet.

1 volume readahead2 type performance / read−ahead3 opt ion page−s ize 128kB # 256Ko par d é f a u l t4 opt ion page−count 16 # 165 opt ion force−atime−update o f f # o f f6 subvolumes <x>7 end−volume




Write-BehindEn général les opérations d’écriture sont plus lentes que lesopérations de lecture. write-behind aggrège les opérationsd’écriture en arrière plan de manière non bloquante.aggregate-size définie la taille de block à aggréger avantécriture. Différentes valeurs sont à tester afin de trouver la tailleoptimale en fonction de l’environnement (mémoire, transport,charge).

1 volume wr i tebeh ind2 type performance / wr i te−behind3 opt ion aggregate−s ize 1MB # 0bytes par défaut4 opt ion f lush−behind on # o f f5 subvolumes <x>6 end−volume




Threaded-IOoptimise l’usage des ressources lors des lectures/écrituresasynchrones.le CPU, la mémoire, et le réseau ne sont pas solicitéslorsque le serveur est bloqué sur des opérations DMAdisques.les temps de blocage pour achèvement de certainesopérations sont utilisés pour gérer de nouvelles requettes.

1 volume io th reads2 type performance / io−threads3 opt ion thread−count 4 # 1 par défaut4 opt ion cache−s ize 32MB # 64MB5 subvolumes <x>6 end−volume




IO-Cache

1 volume io−cache2 type performance / io−cache3 opt ion cache−s ize 64MB # défaut 32Mo4 opt ion page−s ize 1MB # 128Ko5 opt ion p r i o r i t y ∗ . h : 3 , ∗ . html : 2 ,∗ : 1 # ∗ :06 opt ion force−r eva l i da t e−t imeout 2 # 17 subvolumes <x>8 end−volume




Stat Pre-fetchrécupère les informations de tous les fichiers du répertoireen une seule opérationaméliore les temps de réponse des commandesinteractives

1 volume s ta t−performance2 type performance / s ta t−pre fe tch3 opt ion cache−seconds 1 # Timeout .4 subvolumes <x>5 end−volume



Plan

1 RAIN

2 Infiniband

3 Traducteurs

4 GlusterFS

5 ExemplesHaute Disponnibilité ?



Exemples

Clustered Modedeux briques configurées en mode cluster AFRchaque brique mirror l’autre

cf fichiers de config...


Documents

Clusters de stockage : GlusterFS - · PDF fileRAIN Inﬁniband Traducteurs GlusterFS Exemples Clusters de stockage : GlusterFS David Delavennat Centre de Génétique Moléculaire Rencontres