45
LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Embed Size (px)

Citation preview

Page 1: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

LA MAQUETTE ADOMOCA

A. Piacentini, S. Massart et al.

Atelier ADOMOCA – Paris13-14 novembre 2006

Page 2: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

LA NOUVELLE QUI TUE

Moins 1 heure “check-in avec nouvelles normes de sécurité”

Moins 1 heure “la première fois que je vais à l’aéroport de Turin en voiture”

Moins 30 minutes “lavage, rasage, caféinage, explications avec le chat”

Reveil à 3h45. Reveillez-moi avant de me poser des questions!

Page 3: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Historique

Présentation de la version 2

Comment obtenir la maquette

Les travaux en cours pour la version 3

Perspectives d’évolution ultérieure

PLAN

Page 4: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006
Page 5: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Historique

Le 3DFGAT pour Asset (S. Massart)

Mocage V1.0.0(V.H. Peuch)

DéveloppementsPour MOCAGE //(H. Le Berre)

Nouvel op. obs.(NOVELTIS)

Unification avecMOCAGE Climat(CNRM)

Maquette V1(juillet 2005)

Maquette V2(novembre 2006)

Nouveau B(S.Massart)

Maquette V3(plus tard…)

Page 6: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

La maquette est basée sur le modèle global 2º x 2º de

chimie transport MOCAGE (avec 3 schémas chimiques

différents et deux résolutions verticales) et sur la méthode

variationnelle dite 3D-FGAT (3D VAR with First Guess at

Appropriate Time) implémentée grâce au coupleur

dynamique PALM.

Les cas test concernent la journée du 1 juillet 2003 avec

assimilation de profils satellitaires d'ozone, de type MIPAS.

MAQUETTE V1 - Rappel

Page 7: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

MOCAGE est un code de chimie transport modulaire :choix du schéma chimique. Trois possibilités dans la maquette :

Le schéma CARIOLLE  v2.1 : schéma linéaire avec une seule espèce (ozone stratosphérique).

Le schéma REPROBUS : 38 espèces transportées et 16 espèces à courte durée de vie adapté à la stratosphère.

Le schéma RACMOBUS : associe à REPROBUS le schéma RACM troposphérique. Avec 89 espèces transportées et 29 à courte durée de vie.

Page 8: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Deux configurations pour chaque schéma :

Domaine global - grille horizontale régulière  2º x 2º  (180 x 90 mailles) - 47 niveaux hybrides sigma sur la verticale. Forçages dynamiques issus de Arpège à 41 niveaux (interpolation verticale en pression de type exponentiel) ou forçages issus du modèle IFS du CEPMMT.

Domaine global - grille horizontale régulière 2º x 2º  (180 x 90 mailles) - 60 niveaux hybrides sigma sur la verticale. Forçages dynamiques issus du modèle IFS du CEPMMT à 60 niveaux (interpolation verticale en pression de type demi-somme)

Page 9: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Environnements de compilation et de production : trois plates-formes représentatives :

le Fujitsu VPP 5000 de Météo - France

PC linux avec compilateur Portland Group pgf90 ou compilateur gratuit g95 et  LAM MPI pour le message passing

Cray  XD1 du CERFACS avec compilateur Portland Group pgf90 et mpich pour le message passing

Page 10: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006
Page 11: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Travail préliminaire (au CERFACS) pour la parallélisation de MOCAGE

Déclaration avec IMPLICIT NONE de toutes les variables

Allocation dynamique de la mémoire (avec modules f90)

Optimisation de l'utilisation mémoire dans le modèle direct et dans la chaîne d'assimilation

Parallélisation avec MPI des routines de chimie (la parallélisation avec OpenMP est plus efficace sur certaines machines passage, un jour, à PALM_MP)

Domaines imbriqués pour le modèle direct

MAQUETTE V2 – La voilà

Page 12: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Utilisation mémoire modèle direct : schéma REPROBUS 60 niv.

V2

V1

Page 13: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Utilisation mémoire 3D-FGAT : schéma CARIOLLE 60 niv.V0 vs. V2 vs. modèle direct

3D V1

3D V2

DIR V2

Page 14: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Calcul automatique de la taille du buffer

Sauvegarde du restart (la c.i. à laquelle ajouter l’incrément)sur disque (moins de mémoire) ou via buffer (plus rapide)

Sélection des paramètres à exporter dans les fichierspalm_user_param.[f90|h]

PrePALM_RESEARCH version 2.2.4

PrePALM Constants User constants editor

Page 15: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006
Page 16: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006
Page 17: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006
Page 18: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Quelques autres broutilles et optimisations

Par exemple :

vorticité potentielle en sortie dans le Netcdf

retouches scripts ferret e.g. plot 1D en coord verticale log(p)

Autres portages

Opteron

IBM (délicat)

Page 19: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Maquette accessible sous mot de passe à partir du site de la base ether http://ether.ipsl.jussieu.fr

Pour le mot de passe et les instructions, [email protected] ou [email protected]

Page 20: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

MOCAGE_2_0_0.tgz sources de MOCAGE et routines d'assimilation

MOCAGE_DATA_47NIV.tgz fichiers d'entrée (pour le 1 juillet 2003) pour 47 niveaux sur la verticale (forçages d'Arpège)

MOCAGE_DATA_60NIV.tgz fichiers d'entrée (pour le 1 juillet 2003) pour 60 niveaux sur la verticale (forçages de l'ECMWF)

MOCAGE_EXT_LIBS.tgz sources et instructions pour les librairies FA/LFI et GRIBEX

MOCAGE_VISU.tgz scripts python pour le changement de coordonnées verticales et "go-files" ferret pour la visualisation des fichiers NetCDF. Contient aussi quelques exemples de résultats.

prepalm.tcl la version 2.2.4 de PrePALM_RESEARCH

Page 21: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Travaux en cours pour la Version 3

Diffusion horizontale spectrale

Corrélation verticale gaussienne

Opérateur d’observation NOVELTIS

Pilotage modèle direct et traitement des observations

Propagation des incréments en vue du 4D-INC

Minimiseur CONGRAD

Page 22: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Les nouvelles variances/covariances

Rappel : multiplication matrice var/cov erreur ébauche * vecteur remplacée par la solution d’une équation de diffusion sur la sphère.

Dans les versions V1 et V2, solution par différences finies.Formulation anisotrope (tenseur de directions).Condition de stabilité du schéma temporel : instabilité aux pôles, assimilation entre 80 degrés sud et 80 nord.Code auto-adjoint.Diffusion verticale non implémentée.

Dans la version V3, passage en spectral.Solution rapide. Assimilation sur toute la sphère.Formulation isotrope.Quelques problèmes d’auto-adjonction à l’étude.Corrélation verticale gaussienne (optimisation des calcul des exponentiels.

Page 23: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Les nouvelles variances/covariances

Page 24: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Les nouveaux opérateurs d’observation

Pluriel : operateurs direct, linéaire tangent, adjoint.

Versions V1 et V2 : MADONA = opérateur de sélection et d’interpolation (hor. bicubique, vert. cubique, temp. linéaire) dérivé du schéma semi-lagrangien.Coïncide avec l’opérateur linéaire tangent.Opérateur adjoint par adjonction du code direct.

Version V3 : opérateur NOVELTIS matriciel.Direct : construction d’une matrice creuse d’interpolation + multiplication * vecteur d’état.Linéaire tangent : multiplication même mat. * vecteur δx.Adjoint : multiplication mat. transposée * vecteur r.

Page 25: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Opérateur généraliste :pour le moment “palmé” pour le cas des profils sans averaging kernel, mais il peut prendre en compte l’averaging kernel.Il peut, donc, être utilisé pour des colonnes totales ou des quantités intégrées. (Nouveau format des fichiers d’obs).

Interpolation horizontale bilinéaire, verticale linéaire et linéaire en temps aussi.Écart en précision par rapport à MADONA, mais gain en rapidité dans le direct. Pour le linéaire tangent et l’adjoint le gain en temps est encore plus sensible car la matrice n’est plus à recalculer. (Prix = un peu de stockage en plus).

Les nouveaux opérateurs d’observation

Page 26: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Les nouveaux opérateurs d’observation

Page 27: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Les nouveaux opérateurs d’observation

Données indépendantes de vérification :Le fichier HDAT contient les données à assimiler, traitées par l’opérateur NOVELTIS. Écarts dans les fichiers HPALM.Le fichier HOBS contient les données de vérification, traitées par l’opérateur MADONA. Écarts dans les fichiers HDIAG.

Appel des opérateurs d’observation quand tous les champs sont à jour, après un pas d’une heure de dynamique et 4 pas de 15 minutes de chimie.

Remarque : le stem des interpolations linéaires est plus petit que celui des cubiques. Dans δxa = BHT(…)-1d, la distribution de la correction aux points voisins de l’observation sera différente.

Page 28: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Points affectés par l’assimilation B diagonal, H = MADONA

Page 29: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Points affectés par l’assimilation B diagonal, H = NOVELTIS

Page 30: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Points affectés par l’assimilation B diagonal, H = MADONA, détail

Page 31: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Points affectés par l’assimilation B diagonal, H = NOVELTIS, détail

Page 32: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Points affectés par l’assimilation B horizontal, H = NOVELTIS, détail

Page 33: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Pilotage du modèle et du traitement des observations

Dans la V1 et la V2, l’unité MODEL correspond à un pas de temps de chimie du modèle. Elle est lancée 12 fois sur une fenêtre de 3 heures, 24 fois quand on redémarre après insertion de l’incrément au début de la fenêtre

Rappel : l’allocation de ressources dans PALM_RESEARCH

Page 34: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Pilotage du modèle et du traitement des observations

Dans la V3 et la V2, l’unité MODEL correspond à une intégration continue du modèle entre un temps de départ et un temps de fin.

L’unité reçoit l’indication des temps initial et final entre lesquels elle doit fournir des vecteurs états à la branche des observations.

La branche des observations gère une boucle sur les slots d’observations entre le temps initial et le temps final.

N.B. pour les plus attentifs : c’est la raison pour laquelle H direct semble être plus coûteux en temps elapsed. La branche active H pour le premier slot, pendant que le modèle fait le rééquilibrage et ensuite intègre la première heure. Ce temps d’attente apparaît dans l’elapsed, mais H est sur un Palm_Get

Page 35: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

V2 V3Branch_one

Page 36: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

V2 V3Branch_obs

Page 37: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006
Page 38: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Propagation des incréments en vue du 4D-INC

Dans la formulation du 3D-VAR, l’incrément d’analyse calculé n’as pas un temps associé. Il est calculé pour la fenêtre d’assimilation courante et l’instant auquel le rajouter est un choix lié au rééquilibrage.

Dans la formulation 4D-INC, l’incrément d’analyse calculé est une correction de la condition initiale pour la fenêtre d’assimilation. Il est propagé aux instants suivants par le modèle linéaire tangent, et les r sont ramenés au temps t0 par le modèle adjoint.

Il est possible de reformuler le 3D-FGAT que nous utilisons avec le même formalisme que le 4D-INC en choisissant MLT = Id et MADJ = Σ

On aura ainsi la même structure et les mêmes interfaces pour 3D et 4D.

Page 39: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Propagation des incréments en vue du 4D-INC

Page 40: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Minimiseur CONGRAD

Problème de minimisation théoriquement quadratique : gradient conjugué plus efficace que quasi-Newton

Page 41: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Minimiseur CONGRAD

Mais, dans la pratique, de petits problèmes d’adjonction peuvent rendre le problème non quadratique.

Page 42: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Minimiseur CONGRAD

De plus, la version actuelle du code est gourmande en mémoire. Une nouvelle version est en préparation.

Néanmoins, il est très intéressant pour la perspective du 4D, car le préconditionnement entre itérations de la boucle de mise à jour non linéaire le rend très efficace

Page 43: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006
Page 44: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

Schéma linéaire version 2.3 : schémas pour CO et HNO3

Utilisation de la nouvelle version de MOCAGE unifié, avec schéma RELACS strato-troposphérique « léger »

Observations avec averaging kernel, colonnes totales et quantités intégrées (issues de IASI), multi-capteurs pour une èspece, multi-espèces

4DINC avec modèle linéaire tangent et adjoint avec schéma CARIOLLE et possiblement modèle direct avec chimie complète. Boucle externe (à l’étude)

Utilisation de différents modèles directs (MSDOL/LMDz…)

Etc….

Perspectives pour la suite

Page 45: LA MAQUETTE ADOMOCA A. Piacentini, S. Massart et al. Atelier ADOMOCA – Paris 13-14 novembre 2006

MERCI