09/01/2002 - DRRT, Région Rhône-Alpes Laurent Desbat, Université Joseph Fourier, Grenoble

Méso-informatique et calcul distribué à haute performance

Projet du CPER

CIMENTCalcul Intensif Modélisation

Expérimentation Numérique et Technologique

09/01/2002 - DRRT, Région Rhône-AlpesLaurent Desbat, Université Joseph Fourier, Grenoble

http://ujf-grenoble.fr/CIMENT

Plan

• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales

– Coordination– Collaborations scientifiques et techniques– Formations

• Bilan scientifique des différents projets• Perspectives

Contexte général calcul à Grenoble

• Utilisation des centres de calculs nationaux– IDRIS, CINES

• Partenariats régionaux– Avec le CEA : financement 2000-2006 (Région -

CEA) 7MF

• Développement de projets « calcul » mésoscopiques au sein des universités de Grenoble

Équipement pour le calcul du projet CIMENT

• Projets– Observatoire, MIRAGE, Grappe de PC, Chimie calculatoire (CECIC), BioIMAGe,

PhyNum– Formation transversale au niveau des écoles doctorales

• Financement – Appel à projet national de Guy René Perrin, Nov 98 (2MF) + COMI CNRS– CPER 2000/2006 : 15MF

• MENRT, INRIA, Région, Métro,Ville de Grenoble

– Compléments CNRS, IMAG, INPG, INRIA, etc.

Financement dans le cadre du CPER(en MF)

Projets 2001 2002 2004 2005-2006Grappe de PC 3,7

Chimie calculatoire 1,5Physique numérique 1,5

BIoIMAGe 0,8 1Soutien à la formation 0,4

JouvencesSCCIOG 2MIRAGE 1,5

Autres Jouvences 2,6Total 8,9 6,1

MENRT,INRIA, Région, Métro,Ville de Grenoble

+ co-financement CNRS/projet et soutien en terme de poste d’ingénieur

Financement dans le cadre du CPER(en Euros)

MENRT,INRIA, Région, Métro,Ville de Grenoble

+ co-financement CNRS/projet et soutien en terme de poste d’ingénieur

Projets 2001 2002 2004 2005-2006Grappe de PC 564061

Chimie calculatoire 228674Physique numérique 228674

BIoIMAGe 121959 152449Soutien à la formation 60980

JouvencesSCCIOG 304898MIRAGE 228674

Autres Jouvences 396367Total 1356796 929939

Plan

• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales

– Coordination– Collaborations scientifiques et techniques– Formations

• Bilan scientifique des différents projets• Perspectives

Coordination du projet • Comité de pilotage du projet : définit les grandes orientations

• Conseil Scientifique annuel

• Mise en place d’un séminaire trimestriel (2000)

• Structuration des projets par regroupements de projets : – “ Couplage modélisation hydrologique et météorologique ” inclus dans MIRAGE. – Génétique, bio-informatique et imagerie médicale (BIoIMAGe). – Création du CECIC : Centre d ’Expérimentation du Calcul Intensif en Chimie.– Le projet PhyNum pourrait s’associer au SCCIOG.

• + Participation à la journée CINES-IDRIS de l’automne 1999 et 2000, CEA (Visualisation, journées Petaflops)

• Recrutement d’un Ingénieur de Recherche UJF pour le projet MIRAGE : Laurence Viry + AFIP CNRS pour un AI (TIMC-BioIMAGe) + Profil d’IE (administration de cluster)

• Accès prioritaire aux réseaux rapides au niveau du campus

CIMENT Campus Cœur Giga/Eth100 (Evolution Q1-2002)Bâtiment OBS Bâtiment IRIGM

Mirage Mécanique

Mirage LMC

Mirage Biologie

Sortie Campus Imag

Secu-UJF

Ethernet 100Ethernet 1000Memory ChannelEthernet 1000 (projet)

FermeOsug

LPG

Pôle Santé

Jacques.Eudes@ujf-grenoble.fr Centre de Ressources Informatiques de Proximité - UJF

Le réseau métropolitain GrenobloisMetroNet phase 1 -> Q4-2000/Q3-2002

Vers LyonParis (NIO2 RENATER)

NRD

622 Mb vers Lyon,Puis 2,5Gb vers Paris

Plaque métro

60 Mb

Campus100 Mb

Inria100 Mb

Viallet

100 Mb

CEA

100 Mb

CNRS

Technologie IP / Ethernet 100 commuté

Technologie IP / ATM

Jacques.Eudes@ujf-grenoble.fr Centre de Ressources Informatiques de Proximité - UJF

Le réseau métropolitain GrenobloisMetroNet phase 2 à compter de Q4-2002

Vers Lyon, Paris

NRD

622 Mb

Plaque métro

100 Mb

Campus1000 Mb

Inria1000 Mb

Viallet

1000 Mb

CNRS

1000 Mb

CEA

Technologie IP / Ethernet 1000 commuté

Jacques.Eudes@ujf-grenoble.fr Centre de Ressources Informatiques de Proximité - UJF

Collaborations Scientifiques• Thèses

– Parallélisation d'un code de calcul en océanographie, Thèse de Grégory Mounié (2000) co-encadrée par Eric Blayo (LMC [MIRAGE]) et Denis Trystram (ID grappe de PC)

– Algorithmes d'ordonnancements optimaux en temps et en mémoire : Etude de cas sur des problèmes en mécanique quantique. Thèse de N. Maillard (Nov. 2001), co-encadrée par P. Valiron (LAOG) et J-L. Roch (ID).

– une thèse co-encadrée depuis 2 ans par le LGIT et le LPM2C : Renaud Hennino (Phynum - Obs)

• Collaborations inter-projets– Simulations de la propagationdes ondes sismiques dans la croûte terrestre (B. Van

Tiggelen (LPMMC), M. Campillo (LGIT))

– Analyse génétique et localisation spatiale: Stéphanie Manel et Françoise Berthoud (BioIMAGe et PhyNum)

– MIRAGE et ID : équilibrage dynamique de la charge dans le raffinement adaptatif de maillage et évaluations de perf. sur cluster

– Méthodes mixtes MM/MQ ( T. Gautier (ID), A. Imberty (CERMAV), A. Milet (LEDSS))

Collaborations Techniques• Partage des expertises

– Séminaires, liste de diffusion, ingénieurs (bureau partagé au LMC), rapprochement du projet PhyNum de celui de l’Observatoire. Ex :

» Portage de l'interface de programmation parallele Athapascan, developpee au laboratoire ID, sur les machines SMP de l'Observatoire.

» Participation croisée à des commissions techniques d’appel d’offre pour gappes (ID-BioIMAGe)

» collaboration technique entre Françoise Berthout (phynum) et Françoise Roch (obs) : une journée par semaine depuis 1 an.

» Validation du code de dynamique moléculaire Takakaw (ID) dans une architecture SMP (CECIC)

• Expérimentation du calcul hétérogène – projet Data Grid (participation de ID, expérimentation de globus)

– Chimie quantique sur un serveur et une grappe de PC (Obs.)

Formation doctorale

– Un projet de formation au Calcul Haute Performance transversale aux écoles doctorales (premier cours HIER !)

– deux modules accompagnés de TP (janvier 2002) • Introduction au calcul réparti

– Introduction au parallélisme et au calcul intensif. Formation à l’optimisation de code, à MPI et à OPEN MP. Utilisation de bibliothèques de calcul scientifique (ScaLaPack, …)

• Modélisation numérique et calcul intensif – Différents problèmes apportés par les communautés utilisatrices, leur

modélisation et leur résolution sur une grappe de PC, formeront les TP (MIRAGE, BioIMAGe, PhyNum,…)

– Accueil des cours et des TP au sein de l’UFR IMA

Plan

• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales

– Coordination

– Collaborations scientifiques et techniques

– Formations

• Bilan technique et scientifique des différents projets• Perspectives

Observatoire de Grenoble P.Valiron et F. Roch

LAOG, LGIT, SGEP du LIS• Projet : calcul intensif en astrophysique et géophysique. • Solution retenue : IBM (SMP 16 procs 375MHz, 16Go, 24Gflops crête et 2

Quadri-Pro, SMP, 4 Go). Solution centralisée. • Financement : 500kF COMI CNRS +165kF quadriennal UJF ; 600kF

Ministère (CIMENT) + 495 KF quadriennal UJF (soutien du ministère quadriennal 400kF/an)

• État d’avancement : fin de mise en place juillet 2000 (coût 1,76MF)• Projets scientifiques (une vingtaine de chercheurs, une vingtaine de

thésards) : évolution stellaire, disque proto-planétaire, astrochimie quantique : dynamiques microphysique, simulation numérique MHD et hautes énergies, propagation des ondes sismiques, reconstruction en sismologie, champs magnétique terrestre, modélisation de

l’ionosphère dans les zones polaires, Interactions cinétiques soleil/terre, ...

Résolution des équations de Maxwell en 2D

Simulations de propagation d’ondes électromagnétiques

à travers un noyau de comète.

Alexandre Piot

Modèle de comète

Plate forme Mirage E. Blayo, L.Viry

LMC, LEGI, LTHE, LGGE, LEA • Projet : modélisation et calcul pour l’environnement et climat.

• Solution retenue : 7 DS20 (bi-pro alpha EV67, 7x2,5Go, Memory 7 DS20 (bi-pro alpha EV67, 7x2,5Go, Memory Channel) et 3x100Go DD ; LSF et TotalView. Solution répartie sur 3 Channel) et 3x100Go DD ; LSF et TotalView. Solution répartie sur 3 sites.sites.

• État d’avancement : En exploitation depuis janvier 2000 (1,5MF)

• FinancementFinancement : 1,75MF : 1,75MF [ 600kF MENRT, 650kF COMI CNRS, 100kF BQR INPG, 60kF CNES, 200kF des laboratoires ] + 200kF INRIA, soutien du ministère (quadriennal 60kF/an)

• Projets scientifiques (une quarantaine de chercheurs, une quinzaine de thésards) : modélisation des calottes polaires, couplage glace-atmosphère, Modélisation océanique, assimilation de données océaniques, modélisation interface sol-végétation atmosphère, hydrologie en zone montagneuse.

Simulation de la circulation océanique dans la baie de Los Angeles

pour la prévision locale

Calcul parallèle du modèle ROMS (UCLA) -

L. Debreu et E. Blayo (LMC-IMAG)

P. Marchesiello et J. Mc Williams (UCLA).

Température de surface

Trois tailles de maille18km6km2km

Vitesse de l’eau en surfaceRégion calculée

Région visualisée

Pôle de chimie calculatoireS.Perez et P.Vatton

LEDSS, CERMAV, Cristallographie, LEOPR, DPM

• Projet : création du CECIC : Centre d ’Expérimentation du Calcul Intensif en Chimie

• Solution : Une machine IBM SP (3 quadri Pro Power III 3x8Go) + une machine SGI 0200 quadri pro,4Go (logiciels de modélisation moléculaire)

• Avancement : démarrage : 01/11/01.• Financement : 1,5MF dans le cadre du CPER + 0,5MF CNRS +

462kF sur fonds propres labo• Projets scientifiques (une dizaine de thésards) : Chimie quantique,

Mécanique/Dynamique Moléculaires, Etat condensé, Recherches des Conformations Bio-Actives, Bases de données

GT Accepteur-OH + XDP-sucre

Mn++

Accepteur-O-sucre + XDP

Etude du mécanisme catalytique d’une N-acétylglucosaminyltransférase dontle site actif comprend in ion Mn2+:

Collaboration : Anne Imberty (CERMAV) - Anne Milet (LEDSS)

Première étude, par simulation numérique du mécanisme d ’action d ’une glycosyltransférese (Au moins 500 gènes (0.5 - 1% du génome humain traduit ) participeraient à l ’expression structurale et fonctionnelle d ’oligosaccharides)

Système modèle :

Gaussian 98: DFT B3LYP5 électrons célibataires54 atomes, dont Mn++.

Optimisation d’une géomètrie4 jours CPU, 4 processeursespace disque 150 Mo.

Demande environ 25 optimisations géométriques !

En prévision: MM / QM

Grappe de PCD.Trystram, P. Augerat

ID, SIRAC et ReMaP (ENS L)• Projet : expérimentation des systèmes et du calcul distribué sur

une grappe de PC.

• Solution envisagée : 100 PC (bi-pro, 1Go) disposant d’un réseau rapide de technologie myrinet. Solution massivement distribuée.

• État d’avancement : expérimentation locale le i-cluster (225 PIII en réseau ethernet : no=385 du TOP 500/81,6Gflops). Un appel d’offre infructueux en cours de réactualisation. Simplification vers une solution grappe très intégrée

• Financement : 5MF (0,8MF MENRT, 0,3MF ENSL + CPER : 2,5MF INRIA et 1,2MF Région)

• Projets scientifiques (une dizaine de thésards) : outils d’exploitation et méthodes de programmation (projet RNTL : CLIC Bull, Mandrake,UJF distribution linux pour cluster incluant MPI/OPEN MP,…, athapascan).

0

10

20

30

40

50

60

70

80

90

0 50 100 150 200 250

Linpack 81,6 Gflops = rang 385 au TOP 500 (mi-2001)

Nombre de noeuds

Gflops

• Projet : Imagerie et modélisation biomécanique médicales Biologie informatique et analyse génétique spatialisée.

• Solution : modifiée au printemps 2001 pour migrer d ’une solution à base d ’alpha vers une grappe de PC

• Avancement : Grappe de 24 Bi-pro Athlon 1800+, 3Go, Ethernet 100 (x2)+1000.

• Financement : deux tranches CPER 800kF 2001, 1MF 2002(?) • Projets scientifiques (une vingtaine de chercheurs, une quinzaine de thésards) :

reconstruction rapide en imagerie 3D, atténuation et diffusion en imagerie nucléaire (quantification), IRMfonctionnelle 3D, modélisation biomécanique d ’organes, Equations de Maxwell pour la modélisation de neurones, pôle bio-informatique (étude des structures génétiques spatiales, identification de matrices d ’interaction génique, modélisation du génome,…)

Projet BIOIMAGE L. Desbat G. Bourrel

TIMC-IMAG UMR 5525, INSERM 438, RMN Bioclinique, Laboratoire de Biologie des Populations d'Altitude

Collaboration TIMC-IMAG ; LETI/CEA ID-IMAG-INRIASchéma de compression de calcul en tomographie dynamique

Composentes Composentes fréquentiellesfréquentielles

DecompositionDecompositionindirecteindirecte

Rétro-Rétro-projectionprojection

SynthèseSynthèse

53

Résultats• Compression de calcul 3 à 5 fois plus

rapides sur des images 512x512x32 en séquentiel que FBP

• Parallélisation sur le i-cluster : résultats récents Temps de reconstruction d'un volume 256x256x32

0

10

20

30

40

50

60

70

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Nombre de processeurs

Tem

ps C

PU (s

)

Projet PHYNUMA. Pasturel et F. Berthoud

IPMC (LPM2C, CRTBT, LEPES, SPECTRO, Louis Néel)

• Solution envisagée : centralisée, 16 à 32 proc, 16 à 32 Go mais évolution possible vers une grappe de PC

• Avancement : 2002, couplage envisagé avec l’Observatoire.• Financement : Dans le cadre du CPER (1,5MF 2002)• Projet scientifiques (une dizaine de chercheurs, une quinzaine de thésards)

– Simulations de la propagation des ondes sismiques dans la croûte terrestre- Etude de la diffusion multiple de la lumière en milieu complexe- Supraconductivité dans des systèmes de dimension réduite- Transport thermique dans un conducteur mésoscopique- Manipulation des états quantiques dans des nanocircuits supraconducteurs- Elasticité de la croissance cristalline et auto-organisation de nanostructures- Structures d'équilibre et dynamique réactionnelle de surfaces- Thermodynamique et Transition de Phases.- ...

Bilan scientifique

• Une communauté d’une centaine de chercheurs et d’environ 70 thésards

• Contribue à une centaine de publications par an dans des revues à comité de lecture et des conférences internationales

• Perspectives riches dans chacune des disciplines avec des enjeux sociétaux, économiques importants

Plan

• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales

– Coordination– Collaborations scientifiques et techniques– Formations

• Bilan scientifique des différents projets• Perspectives

Perspectives techniques et formation• Maturation des grappes de PC (matériel et

logiciel) => solutions économiques du calcul intensif => Plus grande diffusion

• Renforcement des actions transversales– Projet d’administration centralisée de grappes de PC

distribuées (Philippe Augerat)

• Nécessité de former les étudiants et les chercheurs aux techniques de calcul intensif – Formation doctorale– Formation permanente + collaboration avec les

centres de calcul nationaux

Perspectives scientifiques• Projet ACI GRID (janvier 2002)

– Grilles des projets CIMENT– Essor des techniques de Monte Carlo en Physique

Numérique, imagerie nucléaire, etc.

• Développement de méthodes et outils d’administration de l’informatique distribuée (administration de grappes, caches WEB) + bio-info (reconstruction d'arbres de phylogénie).

• Propres à chacune des disciplines (environnement, climat et développement durable, Biologie, Biochimie et Bioinformatique, etc…)

FIN