1/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Systèmes de fichiers distribués : comparaison deGlusterFS, MooseFS et Ceph avec déploiement sur

la grille de calcul Grid’5000.

JF. Garcia, F. Lévigne,M. Douheret, V. Claudel

30 mars 2011

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

1/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Table des Matières

1 Introduction

2 NFS

3 GlusterFS

4 MooseFS

5 Ceph

6 Comparaison

7 Conclusion

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

2/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation du sujetLe Grid’5000

Présentation du sujet

Comparaison de systèmes de fichiers distribués :Système de fichiers (FS) : façon de stocker, organiser desinformations dans des fichiers sur une mémoire secondaire(CD-ROM, disque dur,. . .)Système de fichiers distribué :

éclaté sur plusieurs serveursdisponible depuis plusieurs clients

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

3/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation du sujetLe Grid’5000

Le Grid’5000

Infrastructure distribuée dédiée à la recherche11 sites, dont 9 en France

Figure: Les sites français du Grid’5000

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

4/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation du sujetLe Grid’5000

Travailler sur le Grid’5000

Connexion au « frontend » par SSHRéservation de nœuds, pour un certain tempsDéploiement d’image (OS)

Astuce :Possibilité d’effectuer une réservation à l’avance, suivit parl’exécution d’un script

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

5/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de NFSAspect techniqueMise en place

Présentation de NFS

Network File SystemDéveloppé par Sun Microsystem en 1984Partager des données par le réseauMéthode standard de partage entre machines Unix

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

6/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de NFSAspect techniqueMise en place

Aspect technique

NFS et le protocole non connecté UDPDepuis la version 3, possibilité d’utiliser TCPVersions NFS définies dans différentes RFCEnsemble du protocole repensé pour NFSv4 :

meilleur gestion de la sécuritémeilleur gestion de la montée en chargesystème de maintenance simplifiésupport des protocoles TCP (par défaut) et RDMA

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

7/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de NFSAspect techniqueMise en place

Mise en place

Installation des paquets nfs-common et nfs-kernel-serverImplémentation d’un fichier exports dans /etcMontage du partage sur les clients à l’aide de « mount »

Pour NFSv4 :Des options supplémentaires sont à définir dans /etc/exports et letype de protocole doit être spécifié lors du montage sur les clients.

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

8/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de GlusterFSMise en placeDifficultés rencontrées

Présentation de GlusterFS

Licence GPLv3Se base sur FUSE (Filesystem in UserSpacE)Capacité pouvant atteindre plusieurs petabytes (1000 To)Structure simple, deux éléments logiciels : serveur et clientSupporte plusieurs protocoles de communications (TCP/IP,InfiniBand)

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

9/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de GlusterFSMise en placeDifficultés rencontrées

Mise en place

Un serveur maitre : paquet glusterfs-serverx serveurs « normaux »x clients : glusterfs-client

Note :Les serveurs doivent avoir un répertoire dédié au partage

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

10/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de GlusterFSMise en placeDifficultés rencontrées

Mise en place (2)

A partir du serveur maitre :génération des fichiers de configurations (commande prévue)envoie de fichiers aux serveurs, et aux clients

Démarrage des serveursMontage du volume par les clients

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

11/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de GlusterFSMise en placeDifficultés rencontrées

Difficultés rencontrées

Droit d’écriture des clientsUtilisation d’InfiniBand

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

12/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de MooseFSArchitectureFonctionnalitésProcessus de lectureProcessus d’écriture

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

13/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de MooseFSArchitectureFonctionnalitésProcessus de lectureProcessus d’écriture

Présentation de MooseFS

MooseFS (Moose File System) est un système de fichiers répartis àtolérance de panne, développé par Gemius SA.

Licence GPLv3.Disponible pour Linux, FreeBSD, OpenSolaris et MacOS X.Respect de la norme Posix et l’utilisation de Fuse en espaceclient.Sa simplicité d’administration, de mise en œuvre etd’utilisation.Poubelle par défaut.scalable

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

14/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de MooseFSArchitectureFonctionnalitésProcessus de lectureProcessus d’écriture

Architecture

MooseFS est constitué de trois types de serveurs :Le Master ServeurLe Metalogger ServeurLe Chunck Serveur

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

15/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de MooseFSArchitectureFonctionnalitésProcessus de lectureProcessus d’écriture

Fonctionnalités

Tolérance aux pannesLe système est répartiRépartition de chargeSécurité

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

16/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de MooseFSArchitectureFonctionnalitésProcessus de lectureProcessus d’écriture

Processus de lecture sur une infrastructure MooseFSJF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

17/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Présentation de MooseFSArchitectureFonctionnalitésProcessus de lectureProcessus d’écriture

Processus d’écriture sur une infrastructure MooseFSJF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

18/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Présentation de Ceph

Licence LGPLCréé par Sage Weill en 2007Destiné aux très grands clustersBut principal :

compatible POSIXcomplètement distribué sans point de défaillance

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

19/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Caractéristiques

RobustesseÉvolutivité transparenteDéconseillé en production

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

20/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Fonctionnement

Trois types distincts de démons :Moniteur de clusterServeurs de métadonnéesServeurs de données

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

21/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Moniteur

ConfigurationÉtat du clusterGestion des clients

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

22/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Serveurs de métadonnées

Cache cohérent et distribuéPlusieurs serveurs = équilibrage de charge

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

23/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Serveurs de données

Découpage des donnéesRéplication = tolérance aux pannes

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

24/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Echanges de données

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

25/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

PrésentationCaractéristiqueFonctionnementDifficultés

Difficultés rencontrées

Documentation minimalisteFichier authentification

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

26/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

BenchmarkGraphiquesTableau comparatif

Benchmark

Actions simultanées sur plusieurs clients :Écriture de petits fichiersÉcriture de gros fichiersLecture de petits fichiersLecture de gros fichiers

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

27/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

BenchmarkGraphiquesTableau comparatif

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

28/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

BenchmarkGraphiquesTableau comparatif

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

29/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

BenchmarkGraphiquesTableau comparatif

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

30/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

BenchmarkGraphiquesTableau comparatif

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

31/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

BenchmarkGraphiquesTableau comparatif

Tableau comparatif

Gluster Moose Ceph NFSFacilité de mise en place ++ + + ++Fiabilité ++ ++ - ++Sécurité, disponibilité des données + ++ ++ - -Évolutivité + ++ ++ - -Économe en taille disque ++ - - ++

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

32/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Difficultés rencontréesTravail accompliExpérience enrichissante

Difficultés rencontrées

Prise en main du Grid’5000Partage du clusterErreurs ponctuelles lors de déploiementsScripts de déploiements, benchmark : automatisation totale

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

33/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Difficultés rencontréesTravail accompliExpérience enrichissante

Travail accompli

Mise en place de systèmes de fichiers distribuésCréation de scripts de déploiements, et de benchmarkComparaison de ces systèmes

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués

34/34

IntroductionNFS

GlusterFSMooseFS

CephComparaisonConclusion

Difficultés rencontréesTravail accompliExpérience enrichissante

Expérience enrichissante

Travail sur un clusterNiveau de technique importantDocumentations en anglais

JF. Garcia, F. Lévigne, M. Douheret, V. Claudel Systèmes de fichiers distribués