L’assimilation de données dans le contexte du calcul intensif et du calcul massivement parallèle au CERFACS.

Sophie Ricci , Global Change Team

Journée HPC Total, 25 Mars 2008

Assimilation de données

1- Les collaborations

EDFNeutroniquePrévision saisonnièreMécanique

CNESOcéanographieChimie atmosphérique

Météo-FranceOcéanographieChimie atmosphériqueHydrologie (SHAPI-SPC)

Partenaires CERFACS

ALGOMinimiseurs performantsMéthodes d’assimilation

OUTILS LOGICIELSCouplages de codes (PALM, OASIS- PRISM)

Equipes CERFACS

GLOBCOcéanographie, Hydrologie, Prévision saisonnière, Neutronique

PAEChimie atmosphérique

Moyens de calcul

PartenariatsNEC SX8R (Météo-France)IBM p575 (ECMWF)NEC SX6 (Earth Simulator)

CERFACSIBM BlueGene (5.7 peak Tflops)IBM Blade Center(2.2 peak Tflops)

Compétences Méthodes d’assimilation (variationnelle, Kalman)Méthodes avancées(4D-Var, Ensembles)Algorithmie opérationnelle

ProjetsFP’6 (ENSEMBLES), FP’7 (MACC),MERCATOR(GMMC),EDF(ARTEMIS), CNES(TOSCA),CNRS(LEFE)ANR (ADONIS, NEMOVAR)

Production et expertise

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Océanographie

Neutronique

A. Weaver,

I. Mirouze,

S. Ricci

B. Bouriquet,

S. Ricci,

S. Massart

D. Cariolle,

S. Massart,

A. Piacentini

Chimie atmosphérique

J. Munoz,

S. Massart,

S. Ricci,

B. Bouriquet

Hydrologie

2- Les domaines d’application de l’assimilation de données au CERFACS

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Equipe Cerfacs/Mercator

: observations

: ébauche

: état estimé

temps

3- Le principe de l’assimilation de données

Modèle MOpérateur d’observation H

Physique

Matrice B : ébaucheMatrice R : observationMatrice Q : modèle

Modélisation erreurs

PréconditionneursMinimiseursCalcul matriciel

Librairie de calcul

3D/4D-VAR(psas/fgat)Filtre KALMANEnsembles

Méthodes

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Identification du vecteur de contrôle sur lequel doit porter la correction

Stratégie d’assimilation:-choix de la méthode d’assimilation-choix de la plateforme de calcul-choix d’un algorithme d’implémentation

4- Des calculs coûteux, des besoins considérables

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Intégration de modèles physiques à haute résolution: • Modèle d’océan (NEMO: 2º, 1/2 º, 1/4 º, 1/12º) • Modèle de chimie atmosphérique (MOCAGE: 2 º à 1/2 º)complexes:• Neutronique (statique, dynamique)

Calculs algébriques ou analytiques:• Inversion de matrices• Minimisation de fonction coût complexes

Taille du système:• Taille du vecteur d’état (~106 pour NEMO 2 º )• Taille du vecteur de contrôle

Coûts directement liés à la méthode d’assimilation• Intégration des modèles adjoints • Réalisation d’ensembles• Propagation des matrices d’erreurs• Prise en compte des diagnostiques d’erreurs

Besoin de calculateurs puissants (massivement parallèles) à grande capacité de stockage

5- L’assimilation dans le contexte du groupe Mercator

SGi –Altix 4700

1,23 peak Tflops

96 nœuds (processeurs dual core Itanium2)

192 cœurs de calcul

960 Go RAM

NEC-SX8R (Meteo-France)

Groupement d'Intérêt Public dont la mission est de mettre en œuvre un système permettant de décrire à tout instant l'état de l'océan.L'assimilation de données d'observation dans un modèle permet ainsi la description et la prévision de l'océan jusqu'à 14 jours.

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Intégration sur 1 semaine du modèle direct NEMO(1/12 º) avec modèle de glacejpi=4322, jpj=3059, jpk=502h20 elapsed (136h CPU) sur NEC – 8 nœuds de 8 procs

Analyse (1/4 º) avec modes d’erreur au 1/6º (1 mode = 775 mégas)20 minutes sur 158 procs SGI

Inside

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

6- Le système couplé océan-atmosphère avec assimilation

IBM Blue Gene1024 nœuds de calcul soit 2048 cœurs Power PC440

Modèle océan NEMOavec glace de mer1/2º, 31 niveaux verticaux10 ans en 3 joursSurcoût de 150 % par rapport à NEC :

Modèle atmosphérique ARPEGEavec modèle de glacetl159 (1º), 31 niveaux verticaux10 ans en 3 jours

Couplage par OASIS NEMOVAR

Chaine

d’assimilation

variationnelle

1 nœud: 2 cœurs Power PC440 700 Mhz512 MO de mémoire par processeur

Système d’assimilation océanique

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

7- La chaine d’assimilation variationelle océanique NEMOVAR

Optimisation de la chaine d’assimilation variationelleautour du code océan NEMO :Distribution MPP efficace des

observations

Chaine d’assimilation avancée performante (opérationnel prévu par ECMWF)

8- Expériences d’ensembles avec la chaine d’assimilation océanique

Réalisation d’un ensemble avec la chaine d’assimilation variationnelle océanique 3D-FGAT sur IBM p575 (ECMWF) (Thèse N. Daget)• Estimation statistique des covariances d’erreur d’ébauche et d’observation• Génération d’un jeu de conditions initiales océaniques pour le projet de prévision saisonnière ENSEMBLES.10 ans en 15 jours (temps elapsed) soit 100 jours temps CPU + 1,1 To de stockage

IBM p575 (ECMWF)2240 cœurs Power PC440 a 1.9 GHz7.6 GFlops par processeur

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Prévision à t Analyse Prévision à t+1

Observations + δ1

P1

Prévision à t Analyse Prévision à t+1

Observations + δ2

P2

Prévision à t Analyse Prévision à t+1

Observations + δ3

P3

Traitement statistique et/ou

Initialisation modèle

9- D’autres approches ensemblistes en assimilation de données au CERFACS

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

IBM Blue Gene1024 nœuds de calcul soit 2048 cœurs Power PC440

Modèle océanique simplifié Shallow waterMise en place d’un Filtre de Kalman d’ensemble sur Blue Gene CERFACS (stage à venir)

Réalisation d’une chaine d’assimilation autour du code neutronique EDF-N3CV2• Calage de paramètres physiques• Reconstitution de champs d’activité

Les méthodes d’ensembles pourront être envisagées (estimation erreurs B, R)

Inside

NEC SX8R (Météo-France)

Réalisation d’un ensemble avec la chaine d’assimilation de chimie atmosphérique avec le modèle MOCAGE (S. Massart)Perturbations des jeux d’observations assimilées1 jour en 30 minutes + 160 Go de stockage pour 5 mois Inside

10- Gestion du parallélisme via le logiciel PALM

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Palm est un logiciel destiné à coupler des unités de calcul (élémentaires ou complexes)• Couplage de modèle (océan-atmosphère, combustion-rayonnement)• Echanges de données• Calculs intermédiaires sur les données• Interpolation entre maillages• Redistribution des structures de données

Couplage dynamique: ressources informatiques, mémoire et nombre de processeurs du calculateur gérées par PALM.Parallélisme:Interne au niveau d’une unité de calcul De tache au niveau de la distribution des unités

Une application en assimilation de données peut être conçue via PALM comme un couplage dynamique d'un modèle et de quelques unités de traitement des observations et des statistiques d'erreur,

plus des traitements algébriques.

Gestion efficace et modulaire d’une chaine de calcul complexe type assimilation de données

Interface graphique PrePalmBoite à outils d’algèbreMonitorage en cours d’exécutionAnalyse des performances

Différentes tactiques de couplage Équilibrage des charges sur le calculateur

Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

Vers l’utilisation croissante des moyens de calcul intensif massivement parallèle au CERFACS pour l’assimilation de données

Augmentation des ressources de calcul du CERFACS• Acquisition de l’IBM Blue Gene Novembre 2007• Partenariat avec d’autres organismes équipés de gros calculateurs (Météo-France, ECMWF, PRACE…)

Intensification des besoins pour des applications coûteuses• Augmentation de la résolution des modèles • Méthodes avancées (4D-Var, ensembles)

Expertise en assimilation de données au CERFACS• Océanographie• Hydrologie• Chimie atmosphérique• NeutroniqueBon nombre de ces applications implique l’utilisation de ressources en calcul intensif massivement parallèle et d’un espace de stockage important

Un environnement de calcul favorable pour des applications coûteuses en assimilation de données