Le dépouillement de données THEMIS à

BASS2000Nice, mai 2005

Présentation de BASS2000 – Tarbes Contexte : évolution de la base Mise en place du dépouillement

Une archive remodelée Le dépouillement DPSM le dépouillement MTR

Conclusion

Objectifs de BASS2000

Permettre une sauvegarde à long terme des données solaires sol

Construire un outil pour leur exploitation

Favoriser une standardisation de ce type de données

Développer un outil pédagogique

TarbesArchive long terme

MeudonArchive données

systématiques

2 composantes complémentaires

Notre équipe Equipe technique

Martine Lafon (IE, responsable technique) Patrick Maeght (AI) Frank Grimaud (AT) Marie-Pierre Arberet (mi-temps secrétariat)

Equipe scientifique Nadège Meunier (AA, responsable scientifique) Thierry Roudier (CR1)

Conseil scientifique (15 membres, dont 7 invités permanents)

Données archivéesTHEMIS : MTR et DPSM (99-04)

Coupole Tourelle Pic du Midi (88)

Radiohéliographe de Nancay (97-04)

Coronographe Pic du Midi (95-)

Données brutes

Contenu du catalogue et diffusion de données Données intégrées :

THEMIS 1999-2004 : 4.2 To dont 660 Go en 2004 NRH 1997-2004 : 625 Go dont 67 Go en 2004 Coupole-Tourelle : 3 Go

Requêtes (1.5 To) : surtout PIs et coIs 354 Go en 2000 339 Go en 2001 87 Go en 2002 630 Go en 2003 235 Go en 2004 + 9 requêtes NRH (8 Go)

THEMIS

Principales réalisations 2004 Fonctionnement de base :

Intégrations Sauvegardes Diffusion de données Système Réponses aux questions en ligne (site pédagogique)

Nouveaux mots-clés THEMIS pris en compte : pour des requêtes plus sélectives

Développement d’un nouveau schéma de la base Etude de faisabilité technique suite au cahier des

charges scientifiques Réalisation du code d’intégration Réalisation d’une nouvelle page d’interrogation

Modification mode de fonctionnement THEMIS-BASS2000 Mise en place du dépouillement DPSM Refonte page web commune Meudon-Tarbes et page

principale Tarbes

Exemple de pages html requete + resultat

Nouvelle imagette : html avec liens utiles

Page html sequence publi

Contexte : évolution de la base Archive de données brutes

Opérationnelle depuis 2000 Nouvelles fonctionnalités

Constat : trop peu de requêtes (hors PI / CoI)

Solutions : Côté THEMIS : résultats, publicité, … Côté BASS2000 : mettre à disposition des

données dépouillées, pour certaines utilisations

3 grands axes de développement

Nouveaux producteurs

Valeurajoutée

Interopérabilitéentre bases

Producteurs : pistes … THEMIS : renouvellement de contrat en 2009,

quelle évolution ? Radiohéliographe de Nancay : très peu de

travail, situation NRH en 2010 ? Lunette Jean Rösch Pic du Midi

Numérisation données anciennes 2006-2007CALAS : en opération 2005-2015 (1 cycle solaire)

mais peu de séquences (bien que gros volume), peu de développement nécessaire

Coronographe Pic du MidiCoronographe actuel : fin vers 2010 ? Avant ? Projet de nouveau coronographe pour ~2007+ ? Projet de mesures B couronne ~2010+ ?

Narval/Espadons/Musicos : Début des observations en 2005-2006 Archive à développer en 2005-2006

Autre solaire ? Dôme C ?

Valeurs ajoutées

Dépouillement de données : THEMIS : en cours CALAS : en projet Narval/Espadons : à discuter

Organisation d’ateliers : dépouillement des données brutes du catalogue (THEMIS)

Organisation de campagnes d’observations coordonnées

Interopérabilité

Dans un premier temps : Bases françaises BASS2000 – Meudon MEDOC Avancée possible en 2005-2006, avec respect

des standards européens Projets européens

EGSOObservatoire Virtuel (US)

Intégration des données dépouillées : cahier des charges Cahier des charges présentées au

CS automne 2003 Nouveau code d’intégration :

tables spécifiques (THEMIS, Coronographe, Tourelle), page de requête adaptée

Mise en place du dépouillement à BASS2000

THEMIS : données dépouillées Brutes (MTR, DPSM) « Spectres propres »=calibrés, recentrés,

correction grandissement (MTR) ; Manque d’information sur les calibrations (sensibilisation des

observateurs, problème de la taille du pixel spatial en MTR) Demande de prise en compte dans daily report : pas fait Demande historique (position des lames polarimètre, voie haute

/ basse) depuis juillet 2003 : rien reçu

Paramètres de Stokes (MTR, DPSM) Cartes de B//,V//,I (MTR, DPSM) Cartes de vecteur B (MTR) : + long terme Extrapolation

Dépouillement DPSM Visite P. Mein octobre 2004 Objectif : dépouillement par BASS2000, intégration

dans le catalogue, avec le moins d’interventions manuelles possibles

Choix des options de dépouillement Un seul mode standard (mais variation /année) Profils de Stokes (I, Q, U, V) sur 17 points Cartes B//, V//, I (bissecteur) à 2 Δλ, 4 Δλ 2 niveaux : avant et après recentrage λ

Test intensif du code sur données 2004 puis 2003 Objectif : Identification des principaux problèmes Modification du code fortran par P. Mein pour les résoudre

automatiquement Modification du code idl (appel du code fortran) pour éviter les

interruptions (exemple : gestion mauvais naxis3) Bilan pour 2004 : plusieurs problèmes identifiés, en cours Vérification manuelle (balayages, signe B avec MDI) : trop difficile,

trop long

Réalisation d’un module pour automatiser le traitement (gestion des fichiers)

Fabrication automatique des fichiers de lancement sequence.par (1 par journée) à partir du listing d’un répertoire et de la lecture des entêtes (choix des calibrations)

Lancement possible sur le DLT complet Formatage des fichiers en sortie

Ajout de mots-clés spécifiques au dépouillement (catalogue ou information)

Unités standard (m/s, gauss) Création des fichiers html (imagettes quicklook) et

historique du traitement (fichiers de paramètre, sorties importantes)

Dépouillement et intégration dans le catalogue : courant 2005

Campagnes 2004 et 2003 pour commencer Vérification par l’équipe technique + chercheur Intégration dans le catalogue si validé

Dépouillement MTR Plus complexe : plus de modes d’observations

différents, plus de cas exotiques, beaucoup de codes différents !

2 codes envisagés à ce stade code local (J. Arnaud, N. Meunier) code THEMIS (A. Sainz)

Besoins Pouvoir traiter le maximum de cas Automatiser le maximum de choses (gestion des fichiers,

découpage des spectres, sélection de zones continu, …) Regrouper les traitements (toutes les longueurs d’ondes

d’une séquence, toute une journée) Rapidité Formatage intégré

Remarques : Tests de robustesse Nécessité que le code utilisé soit rendu public (moyennant

contrôle de la diffusion), copyright / remerciement Responsabilité THEMIS (CS 2003)

Automatisations nécessaires Détection mauvaises images Détections mauvaises image flats Détection mauvais darks Elimination des bords noirs / optimisation Détection et correction mauvais naxis3 (trop gtrands, trop

petits) Recherche auto des flats + darks, adptation à diverses

procédures observationnelles Extraction des Stokes avec correction crosstalk auto Détection de décalages en début de séquence 99-2000 (?) Détection mauvaises lignes Fabrication / mise à jour info html + prochist Formatage spécifique (ajout de mots-clés, modif

PHYSPARA) Correction des franges Niveau de traitement : correction grandissement / focus Regroupement des différentes étapes en un seul code Choix des positions de continus raies pour calculs

courbures, recentrages Choix des raies pour le calcul des cartes B//, V//

Code A. Sainz Code « local »

Avantages : Responsabilité THEMIS Traite les 3 modes MTR Semble robuste

Inconvénients à ce jour :

Utilisation pour une longueur d’onde

Interactif (choix position continu, découpage ?)

Formatage et fichiers annexes à intégrer

Problème de mise à jour si BASS2000 modifie le code en conséquence

Avantages : Nombreuses

automatisation déjà intégrées, dont lancement global (calibrations)

Formatage partiellement intégrée

Peut-être moins robuste (à tester)

Inconvénients à ce jour :

Pas adapté à la grille N’est pas sous la

responsabilité THEMIS

Calendrier Printemps 2005 :

Comparer en détails les possibilités des 2 codes Visite A. Sainz probable en mars Tests du code A. Sainz à BASS 2000 Conclure sur le choix du code : nécessité d’un

engagement officiel de THEMIS

Automne 2005 : Tests plus exhaustifs (configurations

d’observation différentes) : robustesseDéveloppement : collaboration forte THEMIS /

BASS 2000 (automatisation / interactivité) Réalisation de l’interface BASS2000

Courant 2006 : Mise en service

Ateliers dépouillement Derniers ateliers : MTR printemps 2003,

DPSM décembre 2003 Financement PNST : priorité Pas organisés en 2004 pour des raisons

pratiques En 2005 :

DPSM : atelier plus international ? (besoins exprimés lors du dernier atelier de la part d’1 personne)

MTR : ? (possibilité de double emploi avec atelier de Nice fin mai ?) ; pb de calendrier (choix code, mise en place dépouillement) ; dépend des objectifs

Remarque : pas vraiment de pression !!!

Mode de fonctionnement

Sélection des données commencer par les régions actives, les observations

coordonnées traiter par runs complets

Objectifs traiter le maximum de données rendre disponible le maximum d’informations permettant

à l’utilisateur de juger le résultat

Besoins code informations sur les données (observateurs, THEMIS)

Conclusion

Priorité 2005 : mise en place du dépouillement

Prospective : nécessité de consacrer du temps sur d’autres projets

Interopérabilité Nouveaux types de données

La communauté doit se sentir concernée