Embed Size (px)
Citation preview
Le « MesoCentre de Calcul » du LMTCachan
Le contexte e LMTCachan (UMR 8535) est organisé en trois pôles de
recherche :L
• Mécanique et Matériaux• Structures et Systèmes• Génie Civil et Environnement
Il est composé d'une centaine de doctorants, d'une cinquantaine de Professeurs, Chercheurs et Enseignants et d'une vingtaine de personnels techniques et administratifs.Afin de répondre aux besoins toujours plus grands en performances et en capacité, le Centre de Calcul (homologué CATI) s'est équipé progressivement d'un cluster de calcul. Début 2011 le LMTCachan dispose d’une puissance de calcul de 6 Tflop/s ce qui le situe en 15ème position sur 26 parmi les mésocentres recensés par le « Groupe Calcul » du CNRS ; la puissance de ces méso centres allant de 0,5 Tflop/s à 45 Tflop/s pour une moyenne de 11 Tflop/s. Dans le cadre du projet Equipex MatMeca porté par l'ONERA, le centre de calcul du LMT sera en relation directe avec les centres de calculs de quatre autres laboratoires de l'ONERA, de l'École Polytechnique, de l'École Centrale de Paris et de l'École des Mines ParisTech. Ce projet doit aboutir à la mise en commun des ressources de ces différents
partenaires et la mise en place d'une grille de calculs à travers un réseau ultrarapide. Il doit aussi permettre à ces différents partenaires d'atteindre la barre des 800 cœurs par cluster ce qui porterait le nombre de cœurs sur la grille à environ 4000 cœurs. En relation avec les gros moyens mis à disposition par les centres de calcul nationaux au sein de GENCI (Grand Équipement National en Calcul Intensif), le développement des méso centres, mis en lumière par le « Groupe Calcul » en 2008, est fortement encouragé par GENCI luimême. En effet, si les grands équipements sont adaptés à la mise en production de codes déjà validés et optimisés, la possibilité de recourir à des machines facilement accessibles, avec un environnement humain de qualité, est un point fondamental pour permettre aux chercheurs de développer de nouvelles méthodes et de nouveaux codes de calcul▪
Face avant Cluster (allée froide)
Les enjeux a simulation sur ordinateur des modèles les plus avancés est aujourd’hui le
troisième pilier de la science au même titre que la théorie et l’expérimentation, et nécessite le recours aux nouvelles générations de supercalculateurs. Les percées permises par la simulation intensive ces dernières années encouragent cette approche qui permet de capitaliser les savoirs dans les modèles numériques et de tester ces savoirs. Conduire des simulations sur des problèmes de taille réduite pour valider les modèles ne suffit plus. Les progrès actuels et prévisibles en termes de puissance de calcul se heurtent cependant à une nouvelle barrière, celle de l’extensibilité numérique. Dans bien des problèmes le temps de calcul stagne ou même régresse à partir de l’utilisation de quelques centaines de cœurs (au mieux), faute de méthodes aptes à utiliser efficacement ces nouvelles générations de calculateur.
L
Ce centre est tout d'abord un outil de recherche dédié aux méthodologies de calcul multiéchelles permettant de dépasser cette barrière dans le domaine des matériaux et des structures.
Citons à ce propos un document de prospective américain (Report of the National Science Foundation Blue Ribbon Panel on SimulationBased Engineering Science 2006):
« The development of effective multiscale modeling techniques will require major breakthroughs in computational mathematics and new thinking on how to model natural events occurring at multiple scale. In recent years, a large and growing body of litterature in physics, chemistry, biology, and engineering has focused on various methods to fit together simulation models of two or more scales, and this has led to the development of various multilevel modeling approaches. To date, however, progress on multiscale modeling has been agonizingly slow. Only a series of major breakthroughs will help us establish a general mathematical and computational framework for handling multiscale events and reveal to us the commonalities and limitations of existing methods ».
De plus, il est reconnu que les modélisations et calculs multiéchelles et parallèles sont un domaine délicat pour une utilisation efficace des calculateurs parallèles (Les Cahiers de l’ANR n°32010 : le calcul intensif : technologie clé pour le futur). Les difficultés spécifiques proviennent d’une part des actions à grandes distances, se prêtant donc très mal à un traitement parallèle par une méthode de décomposition de domaine, d’autant plus que ces interactions évoluent énormément en fonction de l’état des structures (fissuration, plasticité …). Elles proviennent également de la très grande hétérogénéité des modèles issus des applications industrielles▪
Le Centre de Calcul
Thématiques et personnels associés ne cinquantaine de personnes travaillent directement dans les domaines de modélisation, de simulation et de traitements parallèles, de problèmes liés à la mécanique des matériaux
et des structures (7 ITA, 6 PU, 10 MDC ou assimilés, 25 Thésards et 5 Chercheurs Associés).ULe personnel travaillant sur ces thématiques est appuyé par une équipe technique composée de :
• Philippe Rougeot (Ingénieur de Recherche) responsable du Centre de Calcul• Philippe Sanchez (Ingénieur d'Études) responsable adjoint• Pierre Lucotte (Assistant Ingénieur) administrateur du Centre de Calcul• Arnaud Cruzel (Assistant Ingénieur) administrateur du Cluster
et qui s'appuie elle même fortement sur une cellule de développement logiciel encadrée par Hugo Leclerc (Ingénieur de Recherche CNRS) collaborant avec Raphaël Pasquier (Assistant Ingénieur).Les thématiques principales traitées tant d'un point de vue théorique que pratique sont :
• La prévision de la réponse des structures composites aux échelles micro et méso. • La modélisation et le calcul de l’amortissement des structures et en particulier des
liaisons complexes.• La validation des modèles de l’ingénieur et la prise en compte des méconnaissances la
réponse stochastique et la prévision des marges• Les problèmes multiphysiques de toute nature des matériaux pour les structures• La vérification garantie des calculs non linéaires sur architecture parallèle• Méthodologie d'identification et de validation de modèles de l'ingénieur, notamment
basée sur la photomécanique dans le cadre de l'imagerie 3D.L'ambition est également de préfigurer les centres de calcul des bureaux d’études de demain et d’être à même de préparer des dossiers de demande de simulations exceptionnelles auprès de centres du type IDRIS par exemple notamment avec nos principaux interlocuteurs industriels dans le cadre des programmes de recherche ambitieux et de long terme sur le mode du partenariat INNO’Campus liant l’ENS Cachan à EADS Innovation Works ou d’un partenariat du même type en préparation avec EDF▪
Corelli
Composite
Validation
Genie Civil
Le cluster es problématiques très variées du domaine des matériaux et
des structures font que le laboratoire a donc opté pour une solution « standard » c'estàdire basée autant que possible sur des technologies non propriétaires (OS Linux/Debian et logiciels libres), sur des architectures matérielles classiques qui sont les mêmes que celles utilisées pour la plupart des serveurs actuellement présents sur le marché (processeur Intel). Ceci permet aux administrateurs du Centre de Calcul une maîtrise de l'environnement et des services, de leur mise en place jusqu'à leur utilisation finale. Cette solution est issue d'une réflexion menée en partenariat avec la société Alinéos qui gère également le suivi du Cluster.
L
La durée et la complexité des calculs demandent fiabilité et disponibilité. C'est pourquoi les services critiques sont redondés. Le choix d'une technologie standard permet donc de maîtriser, et d'apporter les modifications nécessaires au maintien et à l'amélioration de la qualité de service et de l'efficacité de la redondance.
Le réseau étant un point très important dans le domaine du calcul scientifique et en particulier dans celui de la parallélisation, le choix s'est arrêté sur une technologie là aussi « classique » basée sur Ethernet 1000Base/T qui répond de façon large aux besoins du laboratoire en termes de calcul▶
Vue de la face avant d'une baie (switchs kvm, nœuds graphiques, nœuds de calcul)
Configuration générale
La configuration globale du cluster est caractérisée par une mémoire totale de 2,2To, 536 cœurs de calculs et un espace disque global de 33To.
De façon plus précise, le cluster du LMTCachan est doté de la configuration suivante :
• 48 nœuds de calcul représentant 464 cœurs • 8 nœuds graphiques représentant 64 cœurs, avec une carte graphique Nvidia GTX 260
(768 Mo de mémoire GRAM) • 2 frontaux redondés • 2 serveurs de fichiers redondés avec connexion 2 x Fiber Channel 4 Gbit/s • 1 baie RAID, 2 interfaces Dual Fiber Channel, 16 disques de 2 To, l'espace étant divisé en
2 containers de 12 To de données + 2 disques de parité (RAID6) • 7 Switchs Ethernet 48 ports Giga, dont un de secours, pour 3 réseaux distincts
administration, calcul, données • Les nœuds de calcul disposent de 3
interfaces et sont connectés aux réseaux admin, calcul et données
• Les nœuds graphiques ont une interface supplémentaire connectée au réseau des stations du CdC pour une connexion directe via ssh
• Les frontaux sont connectés aux réseaux CdC, administration et données
• Les serveurs de fichiers sont connectés aux réseaux d'administration et de données. La connexion au réseau de données est
réalisée par agrégation de 4 ports Ethernet Gigabit pour atteindre la vitesse du Fiber Channel reliant la baie RAID et les serveurs de stockage avec un débit de 4Go/s▶
Vue face arrière du cluster (allée chaude)
Intérêts de la configuration Plusieurs types de nœuds spécialisés, partitionnant le cluster de manière naturelle en
deux sousensembles à vocation distincte :
◦ Des nœuds dédiés au calcul de production, gérés par un système de file d'attente PBS.
◦ Des nœuds dits graphiques pour les tâches interactives de développement et de post traitement. Ces nœuds équipés de cartes Nvidia compatibles CUDA fournissent les librairies et les outils nécessaires pour l'utilisation de cette technologie permettent aux chercheurs d'effectuer des calculs hyper parallélisés sur GPU (applications en calcul de structures, en traitement d'image volumiques et corrélation d'images).
Plusieurs réseaux spécialisés
Afin améliorer les performances, différents réseaux ont été mis en place permettant d'éviter que les tâches d'administration et les accès aux fichiers distants entre les différents nœuds et serveurs n'interfèrent avec les échanges de données générés par des calculs parallélisés.
◦ Le réseau administration, pour les connexions "rsh" et "ssh" et pour le trafic NFS des zones "usrtmp" via les points de montages "nutmp" on utilise ce réseau quand on définit la machine distante dans la classe d'adresses 192.168.1.xx ou par un nom comme "nodexxx"
◦ Le réseau calcul destiné aux transactions inter processus pour les applications parallèles à mémoire distribuée (MPI : Message Passing Interface). On utilise ce réseau quand on définit une machine distante dans la classe d'adresses 192.168.2.xx ou par un nom comme "cnodexxx" (on ajoute la lettre c devant le nom du nœud)
◦ Le réseau de données, on utilise ce réseau de manière transparente via les montages NFS des containers de la Baie RAID
Un espace de stockage plus important et à accès plus rapide non sauvegardé
◦ Presque 24 To sur la baie, accessibles via un réseau dédié ◦ 12.4 To de zones temporaires locales, /usrtmp partagées en réseau par les montages
automatiques via /nutmp ◦ 6.6 To de zones temporaires locales uniquement, /tmpscratch
Une redondance des services avec heartbeat pour une haute disponibilité
◦ Les frontaux pour les partages des /homes et des principaux services du cluster◦ Les serveurs de stockage pour l'accès à la Baie Raid▶
Face arrière de deux baies (3 réseaux : Admin, Data, Calcul)
L'environnement
La salle du cluster contient une allée chaude et une allée froide séparées par une cloison et six baies contenant les nœuds
Le maintien de la température est assuré par deux armoires à climatisation d'une puissance de 91,6 Kw Frigo. Ces armoires sont pilotées via le protocole snmp afin de s'assurer de leur bon fonctionnement et du maintien d'une température adéquate. La température est aussi surveillée au travers d'une sonde de température réseau constituant un deuxième niveau de sécurité et enfin au travers des sondes de température internes des nœuds assurant un troisième niveau de sécurité.
L'onduleur sécurisant l'installation est situé dans une pièce climatisée, est de conception modulaire permettant d'augmenter la puissance grâce à l'ajout de modules supplémentaires, il fournit 125 kW (+ 25 kW supplémentaire pour le démarrage)▪
▪ ▪ ▪ ▪ ▪
Salle onduleur
