Upload
severine-bouvier
View
107
Download
0
Embed Size (px)
Citation preview
Page 1http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP : Calcul en Midi-PyrénéesPremiers résultats scientifiques avec lenouveau supercalculateur de CALMIP
Pierrette BARBARESCO (UPS)Responsable Système CALMIP
Boris DINTRANS (CNRS)Responsable Scientifique CALMIP
Alain MILON (VP CS UPS)Président du Comité d'Orientation CALMIP
Nicolas RENON (UPS)Responsable Calcul Scientifique CALMIP
Page 2http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Le Groupement Scientifique CALMIP : Historique
Fondé en 1994 par 17 Laboratoires de Recherche Publics en Région Midi-Pyrénées et soutien des 5 établissements interuniversitaires de l'époque via le CICT
Aujourd'hui : 5+1 établissements universitaires toulousains = PRES
Université Paul Sabatier (Toulouse 3)
Institut National Polytechnique de Toulouse (INPT)
Institut National des Sciences Appliquées (INSA)
Université des Sciences Sociales (Toulouse 1)
Université du Mirail, Lettres, Langues et Arts (Toulouse 2)
Institut Supérieur de l'Aéronautique et de l'Espace (Supaero + ENSICA)
Missions CALMIP : Promotion du calcul scientifique haute performance
Formation calcul parallèle, optimisation code
Echanges d’expérience (Journées Thématiques) Mise à disposition d’un environnement en calcul scientifique performant
Acquisition d’un système de calcul mutualisé
Plus performant qu'un simple « cluster labo »
« Facilement » exploitable par les chercheurs
Stable
Organisation de l’exploitation et du support aux utilisateurs
Page 3http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
#223 @ TOP500
2010 : 3ème renouvellement machine
1999 2004 2007 2010
Magellan64 procs / 72 Go
Soleil168 procs / 136 Go
Soleil2512 procs / 512 Go
Hyperion2912 procs / 14 To
40 Gflop
400 Gflop1500 Gflop
33 000 Gflop
x10
x22
Renouv. #1 Renouv. #2 Renouv. #3
x900 / 10 ans- PC 2010 : 40 Gflop / 4Go- loi Moore : x5 / 4 ans
x3,75
Page 4http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP 2010 = 1er mésocentre de calcul en France
Mésocentre Mésocentre
Centres nationauxCentres nationaux
Centres EuropéensCentres Européens
o CINES o IDRISo CCRT (CEA)
o CIMENTo CALMIPo CRIHANo …
Puissance de Calcul
Positionnement CALMIPPositionnement CALMIP Mésocentre de production
multi-thématiques (+10 champs disciplinaires)
GENCI
Gouvernance régionale
/Universitaire 10 TF
100 TF
1000 TF
x10
x10
PRACE
Page 5http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Le Groupement Scientifique CALMIP : Organisation
C.I.C.T C.I.C.T
PilotageAttribution des ressourcesAnimation scientifique
Support aux utilisateursSupport projets de RechercheExploitation du supercalculateur
6 Vice-Présidents des CS des établissements du PRES Directeur du C.I.C.T.Président du Comité de Programmes3 représentants utilisateurs du calcul intensif5 personnalités qualifiées :
•MENRT•Région•CNRS•GENCI•CERFACS
Industriels via pôles de compétitivité
10 experts scientifiques issus des laboratoires10+ thématiques scientifiques
1 Ingénieur calcul scientifique2 Ingénieurs système
Bureau CALMIP Bureau CALMIP
Président Comité de ProgrammesDirection CICTResponsables CALMIP CICT
Montage dossier
Comité de Programmes Comité de Programmes Comité d'Orientation Comité d'Orientation
Page 6http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Gouvernance CALMIP : comment ça marche en pratique ?
2 appels d’offre annuels(printemps / automne)
2 appels d’offre annuels(printemps / automne)
Comité de Programmes Comité de Programmes
Chercheurs laboratoiresChercheurs laboratoires
Comité de Programmes Comité de Programmes
Allocation d’heures gratuites Allocation d’heures gratuites
Rapport d'activité du projetRapport d'activité du projet
Rapport annuel CALMIPRapport annuel CALMIP
Projet Scientifique(interface web)
Projet Scientifique(interface web)
Évaluation scientifiqueet technique
Évaluation scientifiqueet technique
Session Formation Session Formation
Projet Test 500h Projet Test 500h
Page 7http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Ouverture aux entreprises : le programme PRAI
Idées forces PRAI : Programme Régional d’Actions Innovatrices
Accès à des ressources de calcul de haut niveau pour les entreprises
Synergies avec la recherche publique locale
Cibles : PME-PMI via un tarif bonifié
Disponibilité actuelle :
15 % du système de calcul dédié aux entreprises
2010 : 3 000 000 heures CPU
Tarification à l’heure de calcul consommée :
30 000h achetées en 2010
Page 8http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP en 2010 : un supercalculateur qui «décolle»
Année 2005 2006 2007 2008 2009 2010
Heures demandées 760 000 1 200 000 1 800 000 2 345 000 2 520 000 10 550 000
Heures machine 400 000 800 000 800 000 1 600 000 1 600 000 17 000 000
Taux de satisfaction 52% 66% 44% 68% 64% 161%
+50% +30% +7% +318%+58%
Evolution demandes temps
2005 2006 2007 2008 2009 2010
0
2000000
4000000
6000000
8000000
10000000
12000000
Demandes Session1
Demandes Session2
Total demandes
2005 2006 2007 2008 2009 2010
0
20
40
60
80
100
120
140
160
Evolution nombre projets
Projets Session1
Projets Session2
Total Projets
Evolution nombre projets
Page 9http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP : un supercalculateur au service des labos
Répartition labos 2010
30 labos 10 550 000h 143 projets 200 chercheursPRES+EPST
(CNRS+INRA+...)
Répartition des thématiques 2010
Page 10http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP Projet #1 : Neptune_CFD (P0111 / 3 000 000h,Simonin / Neau / Laviéville, IMFT)
Page 11http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP Projet #2 : fragmentation des populations de poissons (P1003 / 12 000h, Paz / Loot / Blanchet, EdB)
Non fragmentée Fragmentée
Ne correspondent pas à la fragmentation1500 - 9000
ans1500 - 6300
ans2000 - 9000
ans3000 - 4000
ans
Mag
nitu
de d
es c
hang
emen
ts
Correspondent aux colonisations post-
glaciaires!!
1500 - 9000 ans
1500 - 6300 ans
2000 - 9000 ans
3000 - 4000 ans
Page 12http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP et la formation au calcul intensif
Formation CALMIP en 2010 : 80 personnes
3 sessions de deux jours pour la prise en main d'Hyperion
1 session visualisation
1 session GPU (calcul sur cartes graphiques) 2011 : formation commune UPS / CNRS
Session de deux jours mêlant théorie et pratique
Objectif de 3 sessions / an
30 participants à chaque fois
Intervenants locaux
Arrivée d'Hyperion :
Passage 256 processeurs → 2912 processeurs
Faiblement parallèle → massivement parallèle
Besoin urgent d'une formation adéquate
Page 13http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Plan Exposé :
• Technique– Maîtrise du Processus de renouvellement– Solution Performante et Innovante
Page 14http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP : Processus de renouvellement
Projet CPER 2007-2013 : Troisième génération de supercalculateur
Enjeux : qualité, quantité, proximité et adhésion
Qualité
Système performant pour « tirer les applications vers le haut »
Système stable et facilement utilisable : production scientifique
Système généraliste multi-thématiques
Environnement: efficacité/consommation électrique, mode de refroidissement, …
Quantité
Pallier la pénurie de ressources et anticiper les besoins
Proximité
Support de qualité: aide aux utilisateurs dans la transition, formations, portage de codes
Adhésion de la communauté
Faire participer les utilisateurs à ce choix.
Page 15http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Processus itératif en 4 phases
1 groupe de dialogue
1 groupe de tests de performance
Objectif : Ouverture production début 2010
CALMIP : Processus de renouvellement
Groupe dialogue :
Mission
Sélectionner et auditionner les candidats : 6 retenus
Rédiger le programme fonctionnel: fin du processus itératif
Composition
Jean-Pierre Silvain, Directeur du CICT
Dominique Astruc, Président Comité de Programme IMFT
Pierrette Barbaresco, Directrice technique du CICT
Nicolas Renon, Ingénieur en Calcul Scientifique CALMIP
Michel Dayde, Expert Informatique IRIT
Thierry Monteil, Expert Informatique LAAS
Qualité/QuantitéQualité/Quantité
Procédure de renouvellement : Dialogue Compétitif
Page 16http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Groupe de tests de performance
Composition
Pierrette Barbaresco, Directrice technique du CICT
Nicolas Renon, Ingénieur en Calcul Scientifique CALMIP
Chimie Quantique : C. Lepetit (LCC), R. Poteau (LPCNO), L. Maron (LPCNO), F. Jolibois (LPCNO)
Physico-chimie de la matière : H. Tang (CEMES), I. Gerber (LPCNO)
Dynamique Moléculaire : J. Czaplicki (IPBS), P. Arnaud (LCC) et I. Andre (LISBP)
Astrophysique : B. Dintrans (LATT, OBS-MIP)
Mécanique des Fluides : A. Pedrono (IMFT) H. Neau (IMFT)
Physique Théorique et Quantique: S. Capponi (LPT-IRSAMC) ; A. Scemama, T. Bouabca (LCPQ–IRSAMC)
Génomique : E. Courcelles (LIPM)
Algorithmique : I. Touche (LGC)
CALMIP : Processus de renouvellement
AdhésionAdhésion
Mission
Préparer les tests de performance : 11 tests
Valider fonctionnement et résultats : phase dédiée du dialogue compétitif
Procédure de renouvellement : Groupe de tests de performance
Page 17http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP : Processus de renouvellement
Juillet 2008 : Lancement de la Procédure
Novembre 2008 - Mai 2009 :
4 phases du dialogue (dont phase de tests de performance)
6 candidats
Juillet 2009 : bilan et synthèse des deux groupes
Septembre 2009 : Notification
Novembre 2009 - Janvier 2010 :
Installation et tests du système
Février 2010 : Mise en Production
Premières sessions de formation
Ouverture utilisateurs
Juillet 2010 : Enrichissement de la solution
Installation ALTIX UV SGI®
Calendrier
Maîtrise du CalendrierMaîtrise du Calendrier
Page 18http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
CALMIP : Processus de renouvellement
Dialogue compétitif :
Bénéficier des dernières avancées technologiques : itérations
Journée de test chez les candidats:
« Principe de réalité »
Evaluer la qualité du support applicatif et système proposé
Participation des utilisateurs :
Valider la réponse aux besoins
Adhésion/Appropriation
Bilan Processus renouvellement
Un processus de choix complexe pour une mise en production rapide et réussie
Un processus de choix complexe pour une mise en production rapide et réussie
Page 19http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Plan Exposé :
• Technique– Maîtrise du Processus de renouvellement– HYPERION : Solution Performante et Innovante
Page 20http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
3ieme génération Système de calcul CALMIP : HYPERION
Massivement Parallèle : Altix ICE SGI®
352 nœuds de calcul
8 processeurs et 36 Gb ram /nœud du calcul
2816 processeurs
Massivement Parallèle : Altix ICE SGI®
352 nœuds de calcul
8 processeurs et 36 Gb ram /nœud du calcul
2816 processeurs
Espace Fichier : 250 To Espace Fichier : 250 To
Mémoire Partagé : Altix UV SGI® Mémoire Partagé : Altix UV SGI®
Refroidissemen
t par eau
Refroidissemen
t par eau
Visualisation à Distance Visualisation à Distance
Page 21http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
HYPERION : Performance de la solution
Exemple de code utilisateur : MésoNH
Code de climatologie (GIEC / Changement Climatique)
Code développé/maintenu au Laboratoire d’Aérologie (UMR 5560 UPS/CNRS) et au CNRM-GAME (URA 1357 CNRS/Météo-France)
Code MASSIVEMENT Parallèle
Exemple de code utilisateur : MésoNH
Code de climatologie (GIEC / Changement Climatique)
Code développé/maintenu au Laboratoire d’Aérologie (UMR 5560 UPS/CNRS) et au CNRM-GAME (URA 1357 CNRS/Météo-France)
Code MASSIVEMENT Parallèle
Page 22http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Performance Code MesoNH sur HYPERION
10000
Performance meilleure
Performance meilleure
HYPERION meilleur tempsHYPERION meilleur temps
nbre proc. x 5
nbre proc. x 5
Page 23http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Problématique technique difficile :
Certains codes sont Massivement Parallèles :
exemple : MesoNH, Neptune, Pencil, etc…
d’autres codes beaucoup moins…
il FAUT néanmoins tirer les performances vers le haut
Problématique technique difficile :
Certains codes sont Massivement Parallèles :
exemple : MesoNH, Neptune, Pencil, etc…
d’autres codes beaucoup moins…
il FAUT néanmoins tirer les performances vers le haut
HYPERION : Enrichissement de la solution
Réponse : Solution technologique Innovante
choix CALMIP : Altix UV SGI®
choix reconnu par la communauté du Calcul Haute Performance :
ORAP : Organisation Associative du Parallélisme (structure de collaboration : CEA, CNRS et INRIA)
Focus spécial sur CALMIP dans le bulletin ORAP Avril 2010
GENCI Grands Equipements Nationaux en Calcul Intensif :
AO EquipEX : Projet EQUIP@MESO
CALMIP sélectionné comme partenaire GENCI sur le projet EQUIP@MESO
Réponse : Solution technologique Innovante
choix CALMIP : Altix UV SGI®
choix reconnu par la communauté du Calcul Haute Performance :
ORAP : Organisation Associative du Parallélisme (structure de collaboration : CEA, CNRS et INRIA)
Focus spécial sur CALMIP dans le bulletin ORAP Avril 2010
GENCI Grands Equipements Nationaux en Calcul Intensif :
AO EquipEX : Projet EQUIP@MESO
CALMIP sélectionné comme partenaire GENCI sur le projet EQUIP@MESO
Page 24http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
HYPERION
Hardware
96 cores
1 To RAM = 1000 Go RAM
NHM EX 6 cores, 2,667GHz, 18 Mo cache, 45 nm
Intégration transparente dans le système
Hardware
96 cores
1 To RAM = 1000 Go RAM
NHM EX 6 cores, 2,667GHz, 18 Mo cache, 45 nm
Intégration transparente dans le système
Altix UV SGI® : Innovation Technologique
Page 25http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Diagonalisation Matrice réussie : 6 jours de calculs sur 96 cores et 150 go RAM sur Altix UV ® Diagonalisation Matrice réussie : 6 jours de calculs sur 96 cores et 150 go RAM sur Altix UV ®
Altix UV : VU par les utilisateurs
Physique Théorique
Sylvain Capponi (Prof. UPS, membre Junior IUF, LPT-IRSAMC UPS-CNRS)
Projet CALMIP p0677 : Physique N-corps
Physique Théorique
Sylvain Capponi (Prof. UPS, membre Junior IUF, LPT-IRSAMC UPS-CNRS)
Projet CALMIP p0677 : Physique N-corps
Page 26http://www.calmip.cict.fr/
Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010
Hyperion : rupture pour le calcul intensif en Midi-Pyrénées
33 TF & 3000 processeurs
Réponse aux besoins exponentiels des chercheurs
Adéquation avec GENCI x30 (2007-2010)
Fondation solide pour l'HPC européen
Tier-0PRACE
Tier-1IDRIS/CCRT/
CINESTier-2
CALMIP
CALMIP 2 / Montaudran : renouvellement #4 fin 2013
HPC compétitif : renouvellement complet tous les 4 ans
Projet plateforme numérique à Montaudran (Espace Clément Ader)
CALMIP est un acteur central de ce projet :
• unique service inter-universitaire dans le domaine du calcul intensif depuis 1994 : savoir-faire reconnu au service des chercheurs
• expertise technique & gouvernance éprouvées par les 3 renouvellements en 10 ans
• bon timing au regard de la dynamique actuelle (1er mésocentre France)
MERCI AUX FINANCEURS... ET BONS CALCULS SUR HYPERION !