Présentation rapide de l’état des outils IPSL

Marie-Alice Foujolsfoujols@ipsl.jussieu.fr

Octobre 2005

Les modèles IPSL

INCA CH4, CH4_AER, NMHC, NMHC_AER, …

ORCA2_OFF_TRC PISCES LOBSTER

SRC_TRC

ORCHIDEE, ORCHIDEE_OL

OASIS

LMDZ Mars, guidée, 1D, …

ORCA2_LIM OPA

IPSLCM4_v1MODIPSLScriptsPost-traitements …

+ cycle du carboneIPSLCM4_LOOP

Quels outils communs?

ORCA2_LIM_PISCES ORCA2_LIM GYRE

ORCA05 1D NEMO

Résumé de l’infrastructure logicielle IPSL

• Les modèles représentent l’expertise IPSL• Grande variété de configurations et d’utilisations:

– Forcé ou couplé avec 1 ou plusieurs composantes du système climat

– Différents sous-ensembles : • Physique de la terre ou de Mars, • Différentes dynamiques (3D, 1D, parallèle, …),

• Grande variété de centres de calculs (local compris)• Souhait de partager les points forts de l’infrastructure

entre les composantes IPSL• Besoin de simplicité • Besoin de modularité pour aller efficacement de la

composante seule au modèle système terre

MODIPSL : un ensemble d’outils communs

• Accès et compilation :– Nomenclature de répertoires utilisés : modipsl/util modeles config– Description des configurations : mod.def– Script d’accès aux configurations type : model– Serveurs CVS : IPSL, LMDZ, OPA, ORCHIDEE, INCA, ...– Environnement de compilation : ins_make, AA_make*

• Exécution type :– Scripts de lancement d’expériences type : ins_script, AA_job– Fichiers d’entrée texte et binaires (IDRIS, CCRT, IPSL (dods)) – Nomenclature de l’arborescence des fichiers résultats– Post-traitements :

• Scripts de post-traitement : réarrangement de séries temporelles, mo2st, mo2ye, mo4ye, ...• Scripts de génération d’atlas : fast• Scripts de génération de pages WWW : monitoring en ligne

– Installation complète sur IDRIS et CCRT, incomplète ailleurs

• Documentation :– Note technique : http://www.ipsl.jussieu.fr/~ioipsl/IPSLCM4/index.html– Support de cours :

http://www.ipsl.jussieu.fr/poles/Modelisation/cours_modipsl_2004.blanc.pdf

Voir aussi document distribué là : http:www.ipsl.jussieu.fr/~mafoipsl/WIKI/Bilan-outils-IPSL.pdf

Accès, compilation et lancement de l’expérience type du couplé IPSLCM4_v1

• Accès à MODIPSLcvs_ano co modipsl

• Accès à IPSLCM4_v1 cd modipsl/util ; ./model IPSLCM4_v1

• Installation des Makefile ./ins_make

• Préparation expérience type./ins_script

• Compilation cd ../modeles/IPSLCM4_v1 ; gmake ORCA2xLMD9671

• Lancement expérience type cd EXP00 ; modifier les fichiers d’entrée texte

copie des fichiers vers le calculateur distant (si nécessaire), rlogin …

qsub Job_LO1

Modification des sourcesgmake

Configurations partagées en cours de développement

http://wiki.ipsl.jussieu.fr/wiki_ipsl/ConfigIpsl

Historique

IPSLCM4 beta

Calendrier

Nomenclature fic

hiers

Post-tra

itements

IPSLCM4_v1

figé : I

PCC

LOOP et config

urations c

arbone

2000 2001 2002 2003 2004 2005

de IPSLCM4_v1 …

… à IPSLCM4_v2

Historique

IPSLCM4 beta

Calendrier

Nomenclature fic

hiers

Post-tra

itements

IPSLCM4_v1

figé : I

PCC

LOOP et config

urations c

arbone

2000 2001 2002 2003 2004 2005

de IPSLCM4_v1 …

… à IPSLCM4_v2

2006 2007 2008 2009

IPCC A

R5

Vers IPSLCM4_v2

• Chantier actuel• Toutes composantes parallèles

– LMDZ4– ORCHIDEE2– OASIS3– NEMO

• OPA_SRC• LIM_SRC• TOP_SRC : PISCES et LOBSTER

– INCA

• Physique la plus à jour possible• Cycles du carbone et chimie • Résolutions multiples• Portabilité sur tout calculateur• Prochaine machine IDRIS (1er trimestre 2006)• Articulation couplé/ composantes

Avantages MODIPSL• Simplicité

– cvs, shell, compilateur fortran 90, librairie netCDF– Facile à installer sur différents calculateurs– Facile à utiliser ... mais plus difficile d’ajouter une configuration complète avec tous

post-traitements, de créer une configuration simplifiée

• Information centralisée dans un nombre limité de fichiers – AA_make.gdef pour les options de compilation– mod.def pour la description des configurations– 3 commandes : model, ins_make, ins_script

• Serveurs CVS :– Suivi de l’historique des évolutions– Administration par les développeurs de chaque composante

• Compilation :– Un outil pour toutes les composantes– Maintien des habitudes ponctuelles (makegcm pour LMDZ)

• Pour l’expérience type :– atlas et suivi en ligne (monitoring) enchaînés automatiquement– Stockage des résultats sur serveur de fichiers et DODS– Expériences longues lancées par petits morceaux (jobs) enchaînés

Améliorations de MODIPSL

• Serveurs CVS :– Un pour toutes les composantes ?

Simplicité mais besoin de garder une administration ciblée– Besoin d’une interface avec les outils de projets spécifiques pour accéder

aux modifications communes à un projet (voir DRAKKAR)

• Compilation :– Améliorer la maintenance de l’outil cad faciliter l’ajout de nouveaux

calculateurs– Séparer les architectures (NEC) des spécificités d’installation (répertoires

include et bibliothèque NetCDF)– OASIS3 est inclus dans la configuration IPSLCM4_v1_OASIS3 avec un sous-

ensemble de l’outil de compilation PRISM SCE (recopié sur serveur CVS IPSL). Impossible de maintenir différents outils en parallèle.

• Pour l’expérience type :– Plus de souplesse– Plus de modularité– Partie commune entre forcés et couplés– Gestion des fichiers d’entrée binaires (sous CVS ou autre) – Ajout de nouveaux calculateurs

Outils du Met-Office• Accès aux sources, création exécutable, historique, gestion incidents,

partage information.• Subversion (svn) : gestionnaire de sources, successeur naturel de CVS• Trac : outil de gestion d’incidents associés à des pages wiki et à des

possibilités de suivi des sources modifiés gérés par subversion• FCM : flexible configuration management (scripts perl)

– fcm extract : extraction des sources d’après fichier de configuration– fcm build : construction de l’exécutable, inclus recherche dépendances, utilise

gmake, préprocesseur INCA (idem besoin AGRIF, ECMWF)?

• Adopté au MO, bascule en cours pour UM et pour plus de 18 projets dont les utilisateurs Met-Office de NEMO

• Pas d’exécution d’expérience type (pour le moment?)• Atelier fin septembre :

– Compilation LMDZ-4-ORCHIDEE– Compilation OASIS3

• Voir aussi exposé (1H) le 21 octobre

Trac

Trac

Infrastructure logicielle IPSL : prochaines étapes

Proposition pour l’environnement de compilation :• Utiliser Trac au plus vite pour suivi incidents et configurations• Groupe de travail pour

– Évaluer les outils du Met-Office– Quantifier le travail de bascule

• de CVS vers subversion, • de model vers fcm extract• de ins_make, makegcm, fait_AA_make vers fcm build

– Préparer la décision

Rendez-vous : IPSLCM4_v2 accessible avec MODIPSL et FCM :• Si chaque composante a basculé de CVS vers Subversion : IPSL, LMDZ,

NEMO, ORCHIDEE, INCA• Si OASIS3 est distribué avec• Si cours et documentation existent

Quand?