Upload
lexuyen
View
216
Download
0
Embed Size (px)
Citation preview
Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
SuperComputing 2015 Bilan - 8 janv. 2016
Présentation de l'opération de communication SC'15
Retours sur le Technical Program et la partie Salon
Sommaire
Retour SC'15 08/01/2016 2
Le plus gros événement du genre autour du HPC, du réseau, du stockage et du traitement de données
1 fois par an 3e semaine de novembre Aux US
SuperComputing en quelques chiffres
Retour SC'15 08/01/2016 3
Salon 13 000 m2 d'exposition 350 exposants (issus de 24 pays) + 12 000 visiteurs
Conférence 4 829 inscrits au Technical Program
o Workshops o Tutoriaux o Posters o Challenges étudiants, etc.
55% des visiteurs sont des 'non profit research & development' 31% issus de départements académiques 12% de centres de calcul
Plus de 83% des participants parcourent plus de 800 km pour assister à SC
Profil des participants à SC'15 et leurs attentes
Retour SC'15 08/01/2016 4
Pourquoi ils participent à SC’15?
69% Attend Industry Exhibits 69% Network with colleagues/vendors 65% Keep up to date on industry trends/issues
52% Meet with vendors 49% Get technical information/specifications
49% See specific companies or products 29% Evaluate/compare products for purchase
Xavier Canehan – urbanisme, production Salon + workshops
Virginie Delebarre – communication Salon
Fabio Hernandez – recherche et LSST Salon + technical program + workshops
Frédéric Suter – recherche Salon + stand Inria
Gaëlle Shifrin – communication Salon
Loïc Tortay – stockage Salon + technical program + workshops
Equipe du CC sur place
Retour SC'15 08/01/2016 5
5e participation du CC comme exposant Vitrine du CC à un niveau international Point de rencontre
o Industriels : DDN o Partenaires académiques : NCSA
2e année Stand 'Computing au CNRS' En partenariat avec l'Idris et GENCI Proposer une vue d'ensemble du calcul au CNRS Resserrer les liens entre les deux centres
Stand 2015 (1/2)
Retour SC'15 08/01/2016 6
Partenaire industriel UNIVA
o 3e année o Lot du tirage au sort o Communication
French Tour 4e année (La plupart des) Autres stands français
o Inria, CEA, BULL ATOS, HPC Magazine, starts-up Levier de communication Soutien logistique Tirage au sort
Stand 2015 (2/2)
Retour SC'15 08/01/2016 7
Overview
Organization
Hardware and software infrastructures
Data center infrastructure
Scientific applications
Workload and software platforms
Focus LSST (CC) E-Biothon project (Idris) GENCI
Miscellaneous
Contenu du stand
Retour SC'15 08/01/2016 8
L'occasion de tester un peu de réalité virtuelle
Retour SC'15 08/01/2016 9
Oculus Rift Prêté par le Planétarium de Vaulx-en-Velin Embarquement pour 'Le Solar System Trip' Introduction à LSST
Google cardboards Nouveauté Oculus Rift du pauvre Vue immersive du télescope LSST Goodies
Deux temps forts : les tirages au sort du French Tour et d'UNIVA
Retour SC'15 08/01/2016 10
Objectif : faire du buzz à moindre frais
Avant Communiqués sur les sites IN2P3, INSU et GENCI Newsletter Teratec Twitter
Pendant Twitter
Après Newsletter 'IN2P3 Informatique' Retour en amphi
Communication
Retour SC'15 08/01/2016 11
12
Bilan de l'opération
Retour SC'15 08/01/2016
Plutôt une bonne édition Nombre de visiteurs difficile à évaluer (goodies à distribution restreinte) Stand régulièrement visité (hormis mercredi matin)
Bonne équipe avec profils variés
Stand Concept qui fonctionne Lieu de rencontre et discussions (notamment politiques) Liens avec l’Idris et GENCI renforcés
French Tour Moins de synergies S’essouffle un peu
A noter : conférence intéressante d’Alan Alda sur la communication scientifique
(https://soundcloud.com/usetacc/sc15-science-advocate-and-emmy-award-winning-actor-alan-alda-to-open-sc15)
Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Retour SuperComputing 2015 Fabio Hernandez
Ma première participation à SuperComputing Impressions générales ◦ Énorme conférence: 12.000+ participants, 350+ exposants ◦ Et pourtant, le réseau sans fil fonctionnait parfaitement ◦ Beaucoup d’activités simultanées: workshops, tutoriaux, exposition,
conférence, etc. ◦ Programme difficile à naviguer ◦ Intéressant pour rencontrer des personnes en position d’influencer les
décisions, dans un contexte professionnel mais plutôt décontracté ◦ Etre exposant vous positionne dans une catégorie supérieur vis-à-vis
de vos interlocuteurs Mes sujets ciblés ◦ Stockage de données ◦ Transfert de données longue distance ◦ Accélérateurs de calcul
Préambule
Retour SC15 2016-01-08 14
Network-aware data management workshop ◦ http://2015.ndm-meeting.org ◦ « Network integration with workload management: the PanDA
example » Ou comment le système d’ordonnancement global de ATLAS intègre
les informations sur l’accès aux données (localisation, disponibilité, vitesse d’accès) pour l’ordonnancement des travaux
◦ « Managing scientific data with named data networking » Extension possible des services fournis par le réseau afin de
cataloguer les objets persistants, de fournir des services d’accès en tenant compte de la charge et de la disponibilité
Fait partie du travail sur la nouvelle génération de l’architecture réseau, financé par NSF
Workshops
Retour SC15 2016-01-08 15
Parallel Data Storage Workshop ◦ participation partielle ◦ http://www.pdsw.org/index.shtml ◦ Ma conclusion: service de métadonnées des systèmes de fichiers en
réseau est le facteur limitant le passage à l’échelle de ce type de systèmes Compatibilité avec POSIX est une fonctionnalité pas forcément nécessaire
pour toutes les applications ◦ Beaucoup d’activité de la part des utilisateurs (centres HPC) et des
fournisseurs (constructeurs de matériel et développeurs de logiciel) autour du stockage objet pour contourner cette limitation Los Alamos, EMC, DDN, Hitachi, Scality, etc. ◦ Beaucoup d’activité aussi sur l’intégration des technologies mémoire
avec des caractéristiques différentes dans un continuum Mémoire cache interne à la CPU ⇄ RAM ⇄ burst buffers (NVMe) ⇄ SSDs ⇄
stockage objet en réseau
Workshops (suite)
Retour SC15 2016-01-08 16
Parallel Data Storage Workshop (suite) ◦ « DeltaFS: Exascale File Systems Scale Better Without
Dedicated Servers » ◦ « Taming the cloud object storage with MOS » ◦ « MarFS: a scalable near-POSIX metadata file system with
cloud based object backend »
Workshops (suite)
Retour SC15 2016-01-08 17
Présentation de Alan Alda sur la communication autour de sujets liés à la science
Présentation de M. Valero (Barcelona Supercomputing Center) sur l’évolution de la conception des machines HPC
Présentation de Alex Szalay (Johns Hopkins) sur l’application des architectures initialement conçues pour le traitement de données d’astronomie à d’autres sciences (séquençage)
Présentation sur la revue quadriennal des technologies pour l’énergie ◦ Ou comment la recherche exploitant HPC contribue à réduire la
consommation d’énergie d’origine fossile aux US Présentation sur l’impact dans la société des simulations très
détaillées de tremblements de terre
Conférence
Retour SC15 2016-01-08 18
Temps insuffisant pour explorer les nouveautés concernant les accélérateurs ◦ Xeon PHI vs NVIDIA GPU ◦ Les futures machines HPC du DOE seraient équipées
majoritairement de Xeon PHI et des hiérarchie de mémoire avec environ 1-2 GB par cœur de mémoire très rapide, plus rapide que la RAM actuelle
Divers
Retour SC15 2016-01-08 19
Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Retour SC'15 Loïc Tortay
Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Super Computing 2015
Workshops et contacts
Visite TACC Xavier Canehan
2016-01-08
Workshops ◦ E2SC: Energy Efficient Super Computing
◦ Data-Intensive Computing in the Clouds
◦ Energy Efficient HPC Working Group
Constructeurs ◦ Refroidissement
◦ Solutions émergentes
Contacts divers
Merci à Frédéric Suter d’assurer la présentation
Détails dans Atrium: mindmap et présentations suivies
Présentation du plus pertinent de
SC2015 – X. Canehan 2016-01-08 2
Changements depuis SC2014 ◦ Les interactions annoncées entre gros consommateurs et
fournisseurs d’énergie se sont concrétisées
◦ iTUE n’est plus mentionné
Nouveautés ◦ Importances des métriques
◦ Nouvelles API mesures de consommation
Workshops
SC2015 – X. Canehan 2016-01-08 3
Programme détaillé
IBM SyNAPSE TrueNorth NeuroSynaptic Processor ◦ Haute efficacité en reconnaissance de motif
Node Power Capping at Tsubame ◦ TiTech – Institut de Technology de Tokyo
◦ PUE 1.09, 2ème au Green 500
◦ Refroidissement : Immersion huile / Eau chaude / Free Cooling
◦ Machine à 1MW, limitée à 800kW en été
stratégies statiques vs dynamiques
Importance du monitoring
Workshop – Energy Efficient SuperComputing
SC2015 – X. Canehan 2016-01-08 4
Programme détaillé
An Astronomy Use Case ◦ Masse de données pour compter les étoiles : LSST, Snovae
◦ Utilisation Hadoop/Spark
◦ Comparaison BigData/JVM vs SuperCalculateur/C
Solving the Scalability Challenge ◦ Importance de savoir bien attendre
◦ La gestion des timouts
Workshop – Data Intensive Computing in the Clouds
SC2015 – X. Canehan 2016-01-08 5
JVM lentes mais sauvées par les autres bottlenecks Localisation des données > bande passante du SC
Analyzing LHC Data on 10K Cores with Lobster and
Work Queue ◦ Analyse CMS à l’Université de Notre Dame
◦ Utilisation opportuniste de cœurs disponibles
◦ Workflow via Cluster Lobster, distribution soft via Parrot/CVMFS
Workshop – Data Intensive Computing in the Clouds
SC2015 – X. Canehan 2016-01-08 6
Programme détaillé et présentations
HPC Energy Efficiency in 3 Japanese Supercomputing
Centers ◦ 140 MW à Tokyo en 2020
◦ Immersion à huile utilisée chez les plus gros du Green500
◦ Efforts constants Tsubame (Titech) et K Computer (Riken)
Energy Efficient HPC WG
SC2015 – X. Canehan 2016-01-08 7
Monitoring Modélisation Meilleur
rendement IT
Plus de science!
Hess : Simulation et interprétation de données
◦ Similitude avec notre histoire
EEHPCWG - Energy Efficiency Panel with Oil & Gas Industry Participants
SC2015 – X. Canehan 2016-01-08 8
Mainframe 1980
Air cooled servers 1990
Hot/Cold corridors
2000
• Retrait mainframe • Ajout allées chaudes • Distribution triphasée
Nouveau datacenter
2010
Efficacité énergétique
2015 : passent en colocation dans un DC externe Importance de conserver la maîtrise de l’infrastructure du Datacenter
CGG: Oil immersion with GRC ◦ Évolution de 2 DC, classique vers immersion huile
◦ 1000 GPU, 10k CPU sockets
◦ Avis extrêmement positif
◦ +20 bacs GRC
Même taux de panne air vs huile
« Oil is messy, but not that bad »
composants serveurs à 20° de moins dans l’huile
◦ Aucune estimation chiffrée, mais gains annoncés substantiels
sur un PUE de départ à 1.3-1.4
EEHPCWG – Oil & Gas Industry
SC2015 – X. Canehan 2016-01-08 9
Nouvelles API à suivre absolument
EEHPCWG – Controls and Monitoring
SC2015 – X. Canehan 2016-01-08 10
◦DMTF remplacera IPMI Redfish, supporté par tous les acteurs de l’industrie Moderne : REST/JSON/HTTPS
◦PowerAPI décrit et monitore la totalité du système encore restreint au supercomputer
ouverture possible aux plus petites machines en particulier sur les serveurs que nous utilisons
Refroidissement à bain d’huile universel
Solutions extrêmement ingénieuses huile / Chgt Phase
Le refroidissement à air a toujours le vent en poupe…
Climatisation
SC2015 – X. Canehan 2016-01-08 12
Contact pris avec Calyos Calytronics est une solution de direct Cooling : • à changement de phase sur le CPU • ajout de radiateur, échangeur ou dissipateur • dans un châssis C6000 Société Belge qui cherche des testeurs en France Travail commandé par Intel
Jérome Gaysse ◦ Met en rapport des industriels français pour créer du hardware
avec des technologies nationales
◦ Aimerait connaître le CC pour développer Stockage ou Calcul
Stockage: spécificités HTC, besoins du CC / LSST
Calcul: avoir notre avis sur des designs ou tests de matériel
DDN ◦ Baie SFA intégrant dans ses contrôleurs disques des
conteneurs dCache
Serveur et tiroir de disques unifiée dans 1 seule baie
Performances acceptable pour Triumph
Consommation intéressante
◦ Intérêt signalé pour CC/LSST
Contacts divers
SC2015 – X. Canehan 2016-01-08 13
La salle machine de TACC vaut celles du CC-IN2P3 Si on avait des supercalculateurs, verts ou pas, plus de monde et plus d’argent. A part ça, c’est pareil.
Toutes proportions gardées, nos salles sont
similaires ◦ 10 MW entrée, 15000ft² dont 10000ft² utiles (~930m²) ◦ Faux-plancher ventilé
◦ Corridors chauds pour les supercalculateurs, allées ordonnées ouvertes pour la salle généraliste
◦ InRow APC simple et double largueur pour les SC
◦ 8 CRAC Liebert + InRow APC pour le reste
◦ STAMPEDE : 6400 nœuds Dell, 40 kW par rack 48U, 40
nœuds par rack, 2MW à 4MW IT en pic
Visite du Texas Advanced Computing Center
SC2015 – X. Canehan 2016-01-08 14
Visite TACC
SC2015 – X. Canehan 2016-01-08 15
Dalles de ventilation fermées sauf urgences
75 miles de fibres InRow APC
Largeur Couloir 2 dalles
Visite TACC
SC2015 – X. Canehan 2016-01-08 16
Espaces vides entre racks
Départs 32A triphasé côté racks (PDM)
Départs 32A triphasé côté onduleurs dans la salle
Visite TACC
SC2015 – X. Canehan 2016-01-08 17
Serveurs Dell de même modèles que les nôtres, refroidis à huile directement dans la salle machine
Visite Tacc, idées pour le CC
SC2015 – X. Canehan 2016-01-08 18
Bacs de rangement libellés sur les étagères en salle
Sécurité compacte
InRow en placement libre selon les points chauds
•Vaste plan lisible au cœur de la salle •Coordonnées lignes/colonnes affichées aux murs •Etiquettes des racks en dur