18-21 septembre 2006Journées Informatiques IN2P3/DAPNIA 1

Le projet de développements logiciels du DAPNIALe projet de développements logiciels du DAPNIApour la simulation et la visualisation despour la simulation et la visualisation des

plasmas astrophysiquesplasmas astrophysiques

V. Gautard, J.-P. Le Fèvre, D. Pomarède, B. ThoorisLaboratoire d’Ingénierie Logicielle des Applications Scientifiques

CEA/DAPNIA/LILAS - Saclay

JIID 2006 2D. Pomarède, CEA/DAPNIA/LILAS

•Les simulations numériques au DAPNIA

– Les enjeux scientifiques et les codes du SAp

– Moyens de calculs

•Le projet de développements logiciels

– Gestion des données

– Visualisation

•Perspectives

JIID 2006 3D. Pomarède, CEA/DAPNIA/LILAS

Les simulations numériques au DAPNIA•La simulation des plasmas astrophysiques, aux cotés des

projets de détecteurs spatiaux et d’observatoires terrestres, est l’un des trois piliers sur lequel se fonde le programme scientifique du Service d’Astrophysique du DAPNIA

•L’objectif scientifique est la compréhension de la formation des structures observées dans l’Univers :

Structure et distribution des amas de galaxies à partir des conditions initiales du Big Bang

Dynamique des nuages moléculaires où se forment les étoiles

Magnétohydrodynamique stellaire

Formation des systèmes protoplanétaires

JIID 2006 4D. Pomarède, CEA/DAPNIA/LILAS

Les codes du SAp•Quatre codes de simulations numériques sont développés à Saclay

ou dans le cadre de collaborations internationales :– RAMSES (R. Teyssier)

• étude multi-échelles de la formation des structures de l’univers• solution de l’interaction de la Matière Noire avec le gaz baryonique• hydrodynamique et systèmes à N-corps, gravitation, MHD

– HERACLES (E. Audit et al)• formation et dynamique des nuages moléculaires• Hydrodynamique radiative

– ASH (A.S. Brun, collaboration avec J. Toomre et al.)• Magnétohydrodynamique du Soleil

– FARGO (F. Masset)• études des forces de marées disque-planètes• Hydrodynamique 2D & 3D

•Ces codes partagent des caractéristiques communes– F90 ou C, parallélisés avec la librairie MPI– Emploi de solveurs d’équation type Riemann ou Godunov– Maillage spatio-temporel sur des grilles cartésiennes fixes

(HERACLES, ASH) ou a résolution adaptative (RAMSES, FARGO)

Illustration de la technique de maillage adaptatif (AMR) de RAMSES

level 2

level 3

level 5

level 9

level 14

La résolution du maillage est améliorée dynamiquement quand des gradients importants sont observés sur la distribution de variables telles que la densité de matière

level 11

Niveaux 9 à 14 de l’AMR.Le raffinement ultime est atteint au niveau 14 qui correspond à 4.1107 cellules

Illustration de la technique de maillage adaptatif (AMR) de RAMSES

La résolution finale équivalente atteinte est de 213 =8192 cellules dans chaque direction, soit au total 81923=5.5 1011 cellules

Avec cette résolution, des mécanismes physiques à des échelles trés différentes sont traités : depuis l’interaction gravitationelle à grande échelle (matière noire) jusqu’à la formation d’étoiles dans les galaxies

Densité de la Matière Noire

Illustration de la technique de maillage adaptatif (AMR) de RAMSES

Densité du plasma baryonique

Température du plasma baryonique

Age et distribution des étoiles

Référence : “The History of the Baryon Budget – Cosmic Logistics in a Hierarchical Universe”, Y. Rasera & R. Teyssier, astro-ph/0505473 (23 May 2005)

JIID 2006 8D. Pomarède, CEA/DAPNIA/LILAS

Les moyens de calculs

•Les codes de simulations sont parallélisés, conçus pour être exécutés sur des mainframes performants

•Ressources du CEA : – CCRT (CEA Bruyères-le-Châtel) :

• NickelChrome HP/OSF1 225 quadri-processors alpha nodes (2250 GFlops au total)

• Tantale HP/Linux 138 quadri-processors AMD Opteron

•Ressources du “Projet Horizon” pour la Cosmologie– IDRIS (CNRS Orsay)

• Ensemble de 1024 processors Power4 répartis sur plusieurs clusters

– MareNostrum (Barcelona Supercomputing Center)• 2406 dual 64-bit processor nodes @ 2.2GHz, ~42 TeraFlops peak

– Part of the DEISA « Extreme Computing Initiative »• DEISA=Distributed European Infrastructure for

Supercomputing Applications• Requirement 8 To RAM, 4096 processors

Les moyens de calculs : rappel sur le Top500

CNRS/IDRIS out (281eme en 2005, 11eme en 1996)

ISC ConferenceDresde juin 2006

Note : CC-IN2P3 linux = 639 proc, 3500 GFlops

(GFlops)BlueGene130000 processeursRecherche (biologiemoléculaire, …)

ColumbiaUtilisée par nos concurrents US(Cosmologie,…)

CEA/Defense

MareNostrumUtilisée pour lesProds RAMSES

CEA/Defense

JIID 2006 10D. Pomarède, CEA/DAPNIA/LILAS

Le projet de développements logiciels•Depuis septembre 2005, les développements software sont organisés dans le cadre

d’un projet d’ingénierie indépendant. L’objectif est de partager les expertises et de fournir des modules de type “core software” utilisables par les différents codes. Cela inclut la gestion des données, le post-traitement, la visualisation, l’optimisation du parallélisme, le développement d’algorithmes numériques novateurs.

RAMSESA

SH

HE

RA

CL

ES

FARGO

CORE SOFTWAREMODULESI/O, Graphics,

Algorithms

JIID 2006 11D. Pomarède, CEA/DAPNIA/LILAS

•1er axe de développements : format des données de sortie des codes

– choix du format HDF5 (Hierarchical Data Format) développé par le NCSA (National Center for Supercomputing Applications, USA)

– free, open source, portable, F90/C/C++/Java interfaces– la librairie est optimisée pour lire et écrire efficacement sur des

systèmes de calcul parallèle, pas de limite de taille– Deux objets de base : datasets (tableaux) et groupes (structures)– Grouping & linking mechanisms, browsing/navigation efficace dans la hierarchie

– Nombreuses applications– 1er jalon : migration d’HERACLES, avril 2006

Gestion des données

Visualization and browsing of HDF5 files in IDL

JIID 2006 13D. Pomarède, CEA/DAPNIA/LILAS

Gestion des données

•2eme axe de développements : les bases de données Le Projet ODALISC (Opacity Database for Astrophysics,

Lasers experiments and Inertial Fusion Science): mise en place d’une base de données d’opacités et d’équations d’état pour les communautés d’Astrophysique et des interactions plasma/laser

• collaboration avec le CELIA Bordeaux (Centre Lasers Intenses et Applications)

• MySQL• Web-service TOMCAT• Installée au DAPNIA (cds.datagrid.cea.fr)• Fichiers HDF5 (mise à disposition d’une interface de haut-

niveau pour les utilisateurs)• visualisation IDL• β release opérationel depuis mai 2006

JIID 2006 15D. Pomarède, CEA/DAPNIA/LILAS

Gestion des données

•2eme axe de développements : les bases de données L’Observatoire Virtuel HORIZON

• Effort de la communauté mondiale des astrophysiciens pour stocker et partager les observations via des Virtual Observatories

– Exemples : EURO-VO, IVOA, SkyView VO (NASA)• Cela vaut également pour les données simulées• Les productions massives du code RAMSES seront

gérées par un tel VO– Collaboration avec l’Observatoire de Lyon (INSU)– Mesomachine au DAPNIA

JIID 2006 16D. Pomarède, CEA/DAPNIA/LILAS

Visualisation : SDvision

•Developpement d’une interface graphique dans le cadre d’IDL

•Basée sur les Objets Graphiques des derniers releases (6+) de la plateforme

SDvision

the Saclay/DAPNIA Visualization Interfacethe Saclay/DAPNIA Visualization Interface

•Visualisation 3D interactive et immersive, accélération graphique•Scènes composites avec différents objets : iso-surfaces, projections

volumiques, image slices, nuages de points, vecteurs, streamlines•Input : RAMSES, HERACLES, ASH. Champs 3D scalaire & vecteur

sur grilles cartésiennes ou complexes (AMR), particules

Projections volumiques

HERACLES (density)volume of size 15 pc

grid 12003

ASH mag field Bphiseen from the pole

RAMSESbaryon densitysize 100 Mpc

ASH (Bphi)Blue negativeRed positive

Iso-surfaces

RAMSES(baryon density)

HERACLES (density)volume of size 15 pc

grid 12003

Illustration des capacités d’immersion dans les simulations

Données RAMSESLe point de vue est à l’intérieur du volumeFocale ~ grand angleVisualisation simultanée de la distribution de la densité de matière baryonique, du champ de vélocité hydrodynamique baryonique, et du nuage de particules de Matière Noire

La scene est composée de : 1 nuage de particules

halos très dense 3 iso-surfaces de la densité baryonique :

grise = haute-densité, (semi-transparente) jaune = moyenne rouge = basse

1 image semi-transparente de la densité baryonique sur une tranche 2 sources d’illumination

frontale ambiante

Les limites du volume

La scene est composée de : 1 projection volumique de la densité baryonique 1 image semi-transparente de la densité baryonique

La scène est composée de : 1 projection volumique de la densité baryonique 1 nuage de particules

halos très dense1 image semi-transparente de la densité baryonique

La scène est composée de : 1 nuage de particules

halos très dense 1 collection de lignes de courant du champ de vélocité hydrodynamique 1 image semi-transparente de la densité baryonique

La scène est composée de : 1 nuage de particules

halos très dense 1 collection de lignes de courant du champ de vélocité hydrodynamique 1 image semi-transparente de la densité baryonique

JIID 2006 28D. Pomarède, CEA/DAPNIA/LILAS

Perspectives

•Gestion des données :– évaluation comparée des performances de HDF5– migration des autres codes sur ce format– nouvelles fonctionnalités pour ODALISC– release du VO HORIZON

•Visualisation :– nouvelles fonctionnalités– visualisation des données de FARGO (systèmes protoplanétaires)– optimisation du management de la mémoire pour accéder à des jeux de

données plus importants (zoom spatial et zoom en résolution synchronisés)– parallélisme (fastDL/mpiDL solutions d’ITT)

•Développements d’algorithmes– RAMSES : optimisation des algorithmes pour améliorer l’équilibrage de

charge– HERACLES : algorithmes multi-grille pour améliorer la résolution

•Divers :– page web, Wiki– management des codes (Subversion)

JIID 2006 29D. Pomarède, CEA/DAPNIA/LILAS

Publications, conférences, Web

•Page web du Projet http://www-dapnia.cea.fr/Projets/SNOOPY

•Présentations à des conférences : “Numerical Simulations of Astrophysical Plasmas: status and perspectives of the

Saclay/DAPNIA software project”, E. Audit, D. Pomarède, R. Teyssier, B. Thooris, Proceedings of the First CalSpace-IGPP International Conference on Numerical Modeling of Space Plasma Flows, ASTRONUM2006, Palm Springs CA, USA, March 27-30, 2006, to appear in the Astronomical Society of the Pacific Conference Series.

“Visualization of large astrophysical simulations datasets”, D. Pomarède, E. Audit, R. Teyssier, B. Thooris, Proceedings of the 2006 Conference on Computational Physics, CCP2006, Gyeongju, Republic of Korea, August 29 – Sept 1, 2006.

“Numerical Simulations of Astrophysical Plasmas”, D. Pomarède, B. Thooris, E. Audit, R. Teyssier, Proceedings of the Sixth IASTED Conference on Modeling, Simulation, and Optimization, MSO2006, Gaborone, Botswana, September 11-13, 2006, Acta Press.

•A venir : « Accessing the database of the HORIZON project », J.-P. Le Fèvre, H. Wozniak, J.

Devriendt, R. Teyssier, Astronomical Data Analysis Software & Systems Conference ADASS XVI, Tucson AZ, USA, October 15-18, 2006.

Organisation de la Conférence ASTRONUM2007  « International Conference on Numerical Modeling of Space Plasma Flows » à Paris en juin 2007

Session spéciale « Data Handling and Visualization »