Upload
buitu
View
212
Download
0
Embed Size (px)
Citation preview
EXPÉRIENCE HNAS AVEC UN CLUSTER DE CALCUL
Dr Tru HUYNH
Responsable Informatique – DBSC/BIS
INSTITUT PASTEUR
RETOUR D’EXPÉRIENCE HNAS
SOLUTION POUR UN CLUSTER DE CALCUL DANS L’UNITÉ DE
BIO-INFORMATIQUE STRUCTURALE À L'INSTITUT PASTEUR
Institut Pasteur
‒ Son Identité, les chiffres, ses missions, …
Contexte et Acteurs du projet
‒ Environnement IT
Le Projet et l’Architecture
‒ Expression du besoin
‒ Gestion au quotidien
‒ Axes d’amélioration
Accompagnement par FPS
‒ Partenaire-Intégrateur de solutions HDS
INSTITUT PASTEUR
CARTE D’IDENTITÉ
Naissance le 14 novembre 1881
Souscription internationale à l’initiative
de Louis Pasteur
Au cœur d’un réseau international de
32 instituts sur les cinq continents
Vietnam: 1891
…
Laos:2012
STATUS ET MISSIONS DE L’INSTITUT PASTEUR
« Notre institut sera à la fois
un dispensaire pour le
traitement de la rage, un
centre de recherche pour les
maladies infectieuses et un
centre d’enseignement. »
Louis Pasteur
L’Institut Pasteur est une fondation
privée à but non lucratif, reconnue
d’utilité publique.
QUI SOMMES NOUS ?
5 Intervenant • Titre de la présentation jj/mm/aaaa
L’INSTITUT PASTEUR À PARIS
Un campus de 5,5 hectares
(Paris 15ème)
Environ 2400 collaborateurs
‒ 1 877 salariés (IP)
‒ 464 salariés d’organismes extérieurs
‒ 60 nationalités
‒ 63 stagiaires
Structure de financement
SANTÉ PUBLIQUE
15 Centres nationaux de référence (sur 47 en France)
A la fois des unités de recherche et des observatoires
microbiologiques pour la surveillance des maladies infectieuses
(grippe, salmonelles, méningites, papillomavirus, rage…) pour le
compte du Ministère de la Santé.
Centre médical
un centre de vaccinations internationales (80 600 actes)
un centre de consultations médicales spécialisées:
allergies, médecine tropicale, maladies du voyage…
(21 000 consultations)
un centre antirabique (2 129 consultations)
ENSEIGNEMENT ET FORMATION
500 élèves
plus de 60 nationalité
220 doctorants
L’Institut Pasteur a toujours été
précurseur dans l’enseignement de
nouvelles disciplines scientifiques.
1889 : premier cours de
« microbie technique » au
monde
2002 : analyse du génome
2003 : École Pasteurienne
d’Infectiologie
2007 : École de santé publique
Pasteur/CNAM
INSTITUT PASTEUR: LA RECHERCHE
10 prix Nobel
14 plates-formes technologiques
10 départements de recherche
(130 entités de recherche)
‒ département de Biologie cellulaire et infection
‒ département de Biologie du développement et cellules souches
‒ département de Biologie structurale et chimie
‒ département de Microbiologie
‒ département de Parasitologie et mycologie
‒ département de Virologie
‒ département Génomes et génétique
‒ département Immunologie et des responsables
‒ département Infection et épidémiologie
‒ département Neuroscience
DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE
Comprendre
les détails atomiques des processus fondamentaux de la vie (p.e. transport moléculaire)
les mécanismes des maladies (hôte-pathogène, interactions, régulation et métabolisme, désordre génétiques, cancer,…)
l’organisation des machineries moléculaires
en relation avec le contexte cellulaire
Déduire
agents thérapeutiques: design et synthèse de vaccins
outils de diagnostique moléculaires
Michael Levitt, Prix Nobel chimie 2013:
“Molecules work because of their structure. And cells work because of where
things are placed inside. The only way to interfere is to first learn their three-
dimensional structure. If you wanted to change a city, but had no idea of where
the buildings are, you would have no idea where to start”
DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE
En quelques chiffres
5 plateformes technologiques
8 unités de recherche
2 groupes «à 5 ans »
140 personnes (39 scientifiques permanents, 20 thésards, 22 post-docs, 26 ingénieurs, 3 CAT, 22 techniciens et 4 agents de laboratoire)
Particularité: une informatique dédiée et non centralisée/campus servie par des ressources (matérielles, humaines) internes au département/unités.
BISKIT http://biskit.pasteur.fr
ARIA http://aria.pasteur.fr
UNITÉ DE BIOINFORMATIQUE STRUCTURALE 1/2
Thèmes de recherche:
Comprendre les relations Structure-dynamique-fonction
des molécules biologiques
Développer des méthodes en bio informatique
structurale (détermination de structures, drug design)
UNITÉ DE BIOINFORMATIQUE STRUCTURALE 2/2
Chiffres:
7 chercheurs permanents
5 post docs, 4 thésards
1 ingénieur, 1 secrétaire et 1 CAT
Moyens informatiques
1 poste à temp plein (matériel/logiciel)
Cluster de calcul dédié: 600 cœurs
$HOME avec snapshots et réplication
QUI SUIS-JE
Ingénieur Chimiste ESPCI 1995
Docteur « Chimie informatique et Théorique » 2000
UPMC/ Financement CEA/Saclay.
Ingénieur système et réseaux depuis le début du labo
CentOS
Adepte du « Do It Yourself »
NAS linux XFS puis Solaris10 ZFS/ snapshots et
réplication 10s TO
Cluster de calcul: 600 coeurs
Limites du DIY -> comparaison HNAS et solutions
locales
LE PROJET BAYCELLS
BESOINS:
Démarrage en mars 2012
Cadre Infrastructure :
‒ NFSv3, liens 10GbE et Snapshot+Réplication quotidienne
‒ Disaster Recovery
‒ Cluster initial de 40 serveurs, 640 coeurs
Organisation spécifique
‒ 2 Système de Fichiers et 2 Politiques de performances
‒ Snapshot
‒ Evolutivité sur 1 client
‒ Performance verrouillage des fichiers/accès simultanés
LES CHOIX
DBSC - DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE
Intégrateur FPS www.fps.fr
‒ Intégrateur spécialisé
‒ Partenaire Hitachi
Solution HNAS
‒ Mise en production en Juin 2013
‒ HNAS 3090-G2
‒ HUS 130 et HUS 110
Hitachi NAS
3080
Pa
rta
ge
PRESENTATION DE FPS FRANCE
ELEMENTS CLES DE PRESENTATION DE FPS FRANCE
Fondée en 1992
Intégrateur de solutions de stockage et de
sauvegarde depuis 1995
Une équipe de 27 personnes à forte connotation
technique
CA 2013 > 12 M€ (croissance continue depuis la
création)
0
2
4
6
8
10
12
14
93 94 95 96 97 98 99 00 01 02 03 04 05 06 07 08 09 10 11 12 13
ST CA M€
MONTPENSIER
Finance
Paris
PLUS de 250 références privées et publiques
PRESENTATION DE FPS FRANCE
DOMAINES DE COMPETENCES
FPS France est intégrateur de:
De solutions de stockage (NAS/SAN),
De virtualisation de stockage
D’infrastructure de production (serveurs/stockage/réseau)
De virtualisation de serveurs et postes de travail
De solutions de sauvegarde et d’archivage,
D’architecture de PRA /PCA / PCI
Les valeurs de FPS France:
Pertinence technologique (le meilleur
produit au bon moment)
Compétence technique ( expérience,
formation, passion) et moyens associés
Rigueur intellectuelle et respect des
engagements
UTILISATION AU QUOTIDIEN
BIS: UNITÉ DE BIOINFORMATIQUE STRUCTURALE
HNAS 3090-G2 (FC 4 Gbps) sur HUS130 (FC 8 Gbps)
‒ Volumétrie
‒ Quota
‒ Réplication
‒ Mode CLI - SSH
‒ Rapport
‒ Meilleures performances 1 client (Linux spew 200Go)
‒ RTR: 2 829 671.23 KiB/s. IOPS: 1381.68
‒ WTR: 2 279 577.32 KiB/s. IOPS: 1113.07
‒ Exemple autre information - fs_home
‒ Max file count: 6443098112
PERFORMANCES 1 CLIENT NFS/SPEW
spew -P -b 2m --write 200g /baycells/scratch/tru/2014-200g.spew
WTR: 1053282.10 KiB/s Transfer time: 00:03:19 IOPS: 514.30
spew -P -b 2m --read 200g /baycells/scratch/tru/2014-200g.spew
WTR: 322130.34 KiB/s Transfer time: 00:10:51 IOPS: 157.29
CLI: HNAS
ssh pour l'admin et clef ssh: pas de mot de passe à taper
EVSAdmin:$ help ssh-register-public-key Command: ssh-register-public-key
Description: Add SSH public key for user
User level: Supervisor
Needs: Admin Service
Native to:
Syntax: ssh-register-public-key [-u <user-name>] -f <file-name>
CLI: HNAS
EVSAdmin:$ df
ID Label Size Used Snapshots Avail FS Type
---- ---------- ------- ------------- ------------ ------------- --------------------
1024 fs_scratch 48.0 TB 23.8 TB (49%) 210 GB (0%) 24.3 TB (51%) 32 KB,WFS-2,128 DSBs
1025 fs_home 24.0 TB 788 GB (3%) 9.29 GB (0%) 23.2 TB (97%) 4 KB,WFS-2,128 DSBs
EVSAdmin:$ fs-user-quotas-visible
User quotas visible: On
EVSAdmin:$ snapshot-list --file-system fs_home
Date/Time Created Preserved Space Name
------------------------- ------- ---- ----------------------------------- ------
2014-01-09 20:30:01+01:00 By Rule 2.50 MB 2014-01-09_2030+0100.Horaire_home Usable
2014-01-09 19:30:00+01:00 By Rule 3.26 MB 2014-01-09_1930+0100.Horaire_home Usable
EVSAdmin:$ snapshot-create --file-system fs_home toto
EVSAdmin:$ snapshot-list --file-system fs_home toto Date/Time Created Preserved Space Name Status
------------------------- -------- -------------- ---- -------
2014-02-04 01:18:48+01:00 Manually 0B toto Usable
EVSAdmin:$ snapshot-delete --file-system fs_home toto
CLI: HNAS (CAS REEL)
Subject:EVSAdmin,2013-12-30 22:53:28+01:00: Quota critical
…
Hardware version: NAS Platform (M2SEKW1243092)
MAC ID: 0B-DD-72-38-62-71
…
Quota critical threshold was reached. Usage=90
GB(limit=100 GB).
Volume : fs_home
Target : User: root
HNAS CLI: MODIFICATION DE QUOTA EN CLI 1/2
[tru@sillage ~]$ ssh hnas
Linux EVSAdmin 2.6.32-bpo.5-amd64 #1 SMP Mon May 2 11:40:03 UTC 2011 x86_64
Last login: Fri May 31 09:19:25 2013 from sillage.bis.pasteur.fr
HDS NAS OS Console
MAC ID : 0B-DD-72-38-62-71
EVSAdmin:$ evssel 1
EVSAdmin:$ quota get --user root fs_home
Usage : 97.6 GB
Limit : 100 GB (Hard)
…
Critical : 90% (90 GB)
HNAS CLI: MODIFICATION DE QUOTA EN CLI 2/2
EVSAdmin:$ quota mod --user root \
--usage-limit 0T fs_home
EVSAdmin:$ quota get --user root fs_home
…
Usage : 97.6 GB
Limit : Unset
…
Critical : 90% (90 GB)
…
CLI: HNAS
ssh pour l'admin et clef ssh
gestion facile/scriptables des quotas et snapshots
debian inside
pas grand chose à faire :D (mise à jour java?)
EVSAdmin:$ uptime
Uptime: 249 days 9 hours 42 minutes
CONCLUSION ET EVOLUTIONS
Demain
‒ Cluster FS
‒ File Tiering
‒ Plus de performance en lecture
‒ HNAS NFS Read Caching
‒ Metadata Tier File System
Axes d’améliorations
‒ Monitoring
‒ Hitachi Command Suite
‒ Statistique par Client
‒ Tuning Manager
‒ Réplication HUS
‒ …
Aujourd’hui: une solution qui fonctionne et que l'on oublie
[X] quota et NFS (+quota visible via df pour utilisateur)
[X] snapshots
[X] réplication