Archive long termeCS 3 novembre 2003

Présentation du service Les moyens (humains, matériels) Bilan scientifique et financier

Archivage Les producteurs Intégration des données THEMIS : bilan 2002-2003

Intégration des données dépouillées et producteurs nouveaux

Les producteurs : niveaux de traitement Organisation des requêtes

Organisation d’ateliers (MTR-DPSM) Aide aux utilisateurs

Notre équipe

1 Ingénieur d’études (responsable technique) 1 Assistant ingénieur : recruté en février 2002

1 Adjoint technique ½ tps secrétaire

1 Astronome adjointe (responsable scientifique)

1 Chargé de recherche associé à BASS2000

Présentation du matérielgaia

PC Linux4 Go ram, 324 Go

Base Oracle, sauvegardes, copies1 seule machine, performante

oceanide1 PC Linux

1Go ram, 182 Go

1 PC Linux 2 PCs windows

3 PC Linux 2 PC portables Postes de travail

Bureautique, copies

Ancienne base, obsolète2 stations Unix

68 & 128 Mo ram

Dépouillement

Prospectives matériel

Graveur DVD pour la diffusion de données Demandé par des observateurs Achat en cours

Remplacement des sauvegardes sur DLTs par des DVDs grandes capacité ?

Taille maxi actuelle : 17 Go ???Opération de vérification des DLTs en cours : 3 sur 104

sont mauvais (DLTs d’origine, THEMIS)

Financement CPER en 2004-2005 (BASS2000 + CDPP) pour mise à niveau matériel ??? besoins

Producteurs intégrés dans le catalogue THEMIS Le Radiohéliographe de Nancay La Coupole-Tourelle du Pic du Midi

THEMIS : MTR et DPSM 2 modes : MTR (spectropolarimétrie

multiraies) et DPSM (spectro-imageur, polarimétrie)

Données brutes, disponible 1 an après l’observation

Données IPM : pas de changement Détail du bilan intégration plus loin

Le Radiohéliographe de Nancay

2 réseaux EO et NS Données brutes

(visibilités) 5 fréquences (150 à

450 MHz), 6 depuis

7-11-2002 Cadence 1/8 sec Depuis septembre 97

La Coupole-Tourelle du Pic du Midi Sélection, numérisation (MAMA, Tarbes?) Formatage (cahier des charges, interface) 3 modes : Imagerie, Spectro, DPSM

2005 : Projet CALASGros flux de données

Nouveaux types de données

Contenu du catalogue : bilan

Données intégrées : THEMIS 1999-2003 : 2.8 To NRH 1999-2003 : 362 Go Coupole-Tourelle : 3 Go

Requêtes : surtout PIs et coIs 354 Go en 2000 339 Go en 2001 27 Go en 2002 221 Go en 2003

Consultations du site : ~1080 /mois

Bilan financier 2003 (provisoire) Dépenses équipement :

9216 € (nouvelle machine Linux) 1424 € PC avec graveur DVD

Dépenses fonctionnement Fontionnement de base : env. 1500 € Supports (DLTs…) : 4411 € Licences / maintenance : 8460 € Ateliers : env. 4500 € CS : env. 2300 € Divers : 637 €

TOTAL : 32448 €

Crédit : PNST : 7850 (reste 2002) + 18000 (2003, dont 9000

équipement) OMP (PPF) : 8361 (fonct.) + 1000 (équip.) + 505 (remb.) UMR 5572 : 1254 (dont fournitures chercheurs)

TOTAL : 28057 € + 8355 € de report

Solde provisoire : 3964 €

Principaux travaux en cours Fonctionnement de base : intégrations, sauvegardes etc. Nouvelle machine

2 machines Unix : obsolètes Machine Linux achat 2003 (PNST)

Nouveaux mots-clés THEMIS Développement d’un nouveau schéma de la base

Réalisation du cahier des charges scientifique Etude de faisabilité technique en cours Producteurs supplémentaires : Coro Pic du Midi,

simulations Données dépouillées

Ateliers codes de dépouillement MTR : avril 2003 DPSM : novembre 2003

Refonte du site web

Réponses aux questions en ligne

Intégration des données THEMIS

Requête actuelle et projet « 2002 » Difficultés rencontrées en 2002 Bilan préliminaire 2003 Poursuite du projet en 2003-2004

Requête THEMIS actuelle

6 critères : Date, Heure, Longueur d’onde, Instrument,

Coordonnées, Objet

Exemple de résultat en MTR (99-01): Tache en Hα : 32 séquences Région active en Hα : 144 séquences Tache à 6302 : 83 séquences Protubérances en Hα : 42 séquences

Trop de Go pour l’utilisateur !

Nécessité de davantage contraindre les requêtes

Seeing, (Nébulosité), Préfente / Visée de champ

Séquence de Stokes, configuration de la polarisation, analyseur

Paramètres du scan (balayage ou position fixe, nb d’observations par position, taille fente, nbstep, stepx et stepy)

Campagne (nom, numéro, type, desc) Numéro NOAA Entêtes en ligne Conclusions CS avril 2002 :

Tests campagne 2002 pour implémentation en 2003

Projet présenté au CS avril 2002

Réalisations sur campagne 2002

Ajout de nouveaux tests Objet/Coordonnées (svector) Longitude calculée (-90/90)Longueur d’onde > 10000 (bug) Institut

Réalisation nouveau schéma pour tests Prise en compte des nouveaux mots-clés (sauf seeing) Nouveau schéma mis en place dans base de testDéveloppement nouvel applicatif d’intégration Vérification des mots-clés (présence, cohérence) :

object/noaa, cmp_name/cmp_no, etc.

Mise en place de meilleures imagettes

Difficultés d’intégration des données THEMIS : 2002

Procédure- Signalé à THEMIS- Responsabilité THEMIS (Coordonnées etc.) : modifié par THEMIS- Responsabilité observateur : modifié par nous- Sauvegarde des données modifiées (Coût DLT et temps)

Liste des problèmes : 29 points ! Manque d’avertissement et d’explications Temps de réaction très long Manque d’informations sur le contenu des DLTs,

organisation des DLTs Bugs et changements de convention Mots-clés mal remplis par les observateurs

Faisabilité au vu du bilan 2002

Pas de seeing Doute sur analyseur Changements conventions NBSTEP etc. Campagne et NOAA : mal remplis Ne pas oublier les problèmes des mots-clés

anciens (objet, coordonnées)

Notre conclusion hiver 02-03 :Infaisable en 2003

Nouveaux tests en cours en 2003Implémentation en 2004 ?

Bilan mots-clés « projet 2002 »Seeing / Scintillation ? Ok si calibration ok (pas dans les entêtes,

calcul sur la séquence à BASS2000), 1 valeur / séquence

Nébulosité Abandonné

Préfente / visée de champ D’après numéro de caméra (b12 / b22) : NON, nécessité d’un mot-clé indiquant le numéro caméra

Séquence de Stokes Ok (automatique)

Configuration pol. (2x2’,2x1’,grille)

Manuel (THEMIS)

Analyseur (VIS, IR, …) Manuel (THEMIS)

Balayage ou position fixe Ok (cas stepx=0 et stepy=0)

Nb observations par position Nburst, à tester en 2003; PB si plantage : calcul à faire à BASS2000 (pour position fixe)

Nbstep PB si plantage acquisition : calcul à BASS2000 d’après taille fichier Naxis3_cor/Nstokes/Nburst

Campagne : nom Manuel (Obs, voir guide util), mot-clé SOHO

Campagne : numéro Manuel (Obs, voir guide util), mot-clé SOHO

Campagne : type Manuel (Obs, voir guide util), mot-clé SOHO

Campagne : desc Manuel (Obs, voir guide util), menu dans l’IO

Numéro NOAA région active Manuel (Obs, voir guide util)

Bilan préliminaire de la campagne THEMIS-2003 (2 DLTs)

Procédure comme en 2002 sauf :-Responsabilité observateur : pas de sauvegarde des modifications

Mots-clés nouveaux DATE_END à jour Indication voie haute/basse (MTR en 2x2’) Position des lames pour chaque paramètre de Stokes CMP_DESC : menu dans l’IO

Autres nouveautés Seeing (mais étalonnage modifié en 2004 ?) : fichiers

Problèmes rencontrés Quand plantage acquisition : mauvais DATE_END et NAXIS3 OBJECT mauvais sur quelques séquences (erreur OBS) CMP_N0 (à 0), CMP_DESC (THEMIS seul)

Seeing : statistique Les données complètes sont en ligne (2003) Etude de la statistique (moyenne par observation) : important

pour la définition du menu dans l’interface de requête

Intégration des données dépouillées : cahier des charges Les producteurs et problèmes

spécifiques Les niveaux de traitement Les mots-clés nécessaires Organisation des requêtes (formulaire

et table résultat, gestion des ET/OU, etc.)

Bilan des producteurs

THEMIS, actuellement brutes Coronographe du Pic du Midi NRH, actuellement brutes : à traiter ? Coupole Tourelle Extrapolations (FROMAGE)

THEMIS, MDI, etc.

Simulations

THEMIS : données dépouillées Brutes (MTR, DPSM) « Spectres propres »=calibrés, recentrés, correction

grandissement (MTR) ; Manque d’information sur les calibrations (sensibilisation des observateurs, problème de la taille du pixel spatial en MTR), recommandation ?

Paramètres de Stokes (MTR) Cartes de B//,V//,I (MTR, DPSM) Cartes de vecteur B (MTR) : Regroupement en un même

niveau de toutes les cartes (différenciation : paramètre physique) ? Ou différenciation ?

Extrapolation Films rassemblant plusieurs balayages d’une séquence ?

Est-ce utile ?

Le Coronographe du Pic du Midi 200 images / jour, 170 jours par an depuis 1995 Ajout de 2 mots-clés : niveau d ‘activité et variabilité Brutes : non Calibrées : oui Calibrées et recentrées/nord en haut = film : oui Films de détail (position=critère ?) Film disque entier Image moyenne Cartes de champs de vitesse

Films : mpeg en ligne, fits hors ligne

Proposition d’organisation pour intégrer les données du coro Mise en place code D. Romeuf / création

d’une base de données protus (fin novembre) Pour chaque journée à traiter

Jeux bruts et jeux avec bonnes entêtes sur disqueCode détection protus DR + produits dérivés (valeur

ajoutée niveau d’activité, données calibrées, liste des positions intéressantes pour films) ; Fichiers résultats annexes pouvant être mis en ligne

Code BASS2000 : lancement film, remise à jour des entêtes (valeur ajoutée, position centre et rotation images), fichier historique du traitement de la séquence

Intégration dans la base, sauvegardes, mise en lignes fichiers ascii

2 bases indépendantes : notre catalogue + un catalogue de protubérances

NRH

Nécessité ? Code disponible dans solarsoft

Coupole Tourelle

Imagerie : CalibréesCalibrées, alignées, destretchées (utilité de

différencier avec calibrées+alignées ?)Cartes champs de vitesse horizontaux

séparation des résultats obtenus avec des codes différents?

Cartes B//, V//

Spectro : comme THEMIS-MTR DPSM : comme THEMIS-DPSM

CALAS : recommandations pour la gestion des très gros volumes

Données réduites par FROMAGE Service d’extrapolation de cartes de champ

magnétique (T. Amari, G. Aulanier)

Données réduites : Carte d’origine Fichiers textes (demande et commentaires) Fichier (binaire) résultat Fichiers postscript (visualisation partielle) « Entête » fits pour l’intégration dans le catalogue

Problème de la mise à disposition des cartes d’origine et du résultat :

Producteurs divers (MDI, Kitt Peak, THEMIS, etc.) Réduction par le demandeur Gestion des autorisations ?

Qui réalise l’ «entête» ? Imagette ?

Simulation de la granulation

image

8 Heures « solaires » Pas = 20 secondes Réalisation : Rieutord, Ludwig, Roudier, Nordlund & Stein Paramètres physiques

Vitesse Densité Energie interne Température Intensité

Futur : autres simulations ? Traitements : cartes de champs de vitesse

Récapitulatif : niveaux de traitement THEMIS MTR : calibré aligné, stokes, cartes

de B//, V//, I, Binversion, extrapolation, (film ?) THEMIS DPSM : cartes B//, V//, I,

extrapolation, (film ?) CORO : calibré, films FD, films détails, image

moyenne, carte V NRH ? Tourelle Imagerie : calibré, calibré aligné

destretché, cartes de Vhor (CST, LCT), cartes de B//, V//

Tourelle Spectro : comme THEMIS Tourelle DPSM : comme THEMIS Simulation : cartes de Vhor (CST, LCT)

DATATYPE ET NIVEAUXDATA TYPE Instrument Niveau

Brut THEMIS-MTR & DPSM, NRH, simulation

0

Calibré CORO, Tourelle-imag & CALAS 1

Calibré, centré (destretché)

THEMIS-MTR, Tourelle-imag&CALAS&spectro

1

Stokes THEMIS-MTR, Tourelle-Spectro 1

Cartes de champ THEMIS-MTR & DPSM, CORO, TOURELLE (SPECTRO, IMAG & CALAS, DPSM), NRH ?, simulation

2

Moyenne CORO 2

Films CORO, THEMIS-MTR&DPSM ? 3

Extrapolation THEMIS, Tourelle, etc (MDI …) 3

Subdiviser certains niveaux ?

Nouveau formulaire de requête

Une simple query, plusieurs advanced query (une par producteur)

Tout ce qui est spécifique à un producteur : dans les advanced query

Simulation : à part (pas de simultanéité avec les autres producteurs)

Gestion des incompatibilités et des ET/OU (grisé, interdiction dans le code, …) ; restreindre les ET ?

Gestion des données anciennes avec mots-clés manquant

Dépouillement à l’extérieur : respect des conventions (mots-clés et fichiers annexes) obligatoire

Observations or SimulationsProducers Date Hour

Simple Query

THEMIS Advanced Query

HELPWARNINGS

Choix format sortie

Datatype (Level)Wavelength Coordinates ObjectPhysical ParameterSeeing PreslitStokes Pol Conf AnalyzerScan/fixed position etc.

Campaign etc. NOAA

CORO Advanced Query

Datatype (Level)Activity level VariabilityPolarang

Autres : NRH, Tourelle,Simulations

Page intermédiaire de résultats (plus de 2 instruments demandés) : plusieurs choix de présentation

Instrument 1 (OU) (nb séquences, nb pages) … Instrument n (OU) (nb séquences, nb pages) Tous les instruments, ordre chronologique

(OU) Tous les instruments, ordre chronologique

(ET, simultané=même jour, lent)

Nouvelle page de résultat Pour une séquence donnée, quelque soit le niveau

de traitement demandé, on affiche toutes les informations sur la séquence : vue synthétique de la séquence

Rassemblement des informations éparpillées en un fichier html récapitulatif (un fichier par niveau de traitement)

Un fichier par séquence avec l’historique du traitement

Gestion des colonnes en sortie Liens annexes avec requêtes complémentaires

prédéfinies et liens fixes Critères détaillés (λ, région, objet) mis à jour pour

chaque niveau de traitement

Exemple de tableau de résultats

date Hour deb

Hour

fin

Long d’onde

lat long svector

Polarang

objet Obs

mode

Data type Processing

12 fev 02

12:00 13:00 λ1

λ2

λ3

λ1

λ2

10 20 x x SS OBS

FFDC

Raw

Calibrated spectra

history

Sélection de ce niveau pour la requête

Lien vers imagettedu niveau de traitement

Lien vers historiquetraitement de la séquence

Identification λ (objet, région) traitées

Fichier récapitulatif pour chaque séquence (1 / niv. traitement) Lien historique traitement séquence Lien seeing du jour (THEMIS) Lien fiche observation du jour (Coro doc/html,

THEMIS scannées ?) Lien vers entêtes en ligne (brutes pour

THEMIS ? Une à t donné dans chaque séq.?) Imagettes ou films mpeg du niveau de

traitement

Récapitulatifs questions ouvertes: niveaux de traitements Manque d’information sur les calibrations

(sensibilisation des observateurs, problème de la taille du pixel spatial en MTR)

La notion de film à partir de cartes de champ (B et V) est-elle utile pour THEMIS ?

Regroupement lorsque 2 codes utilisés pour le même niveau de traitement ? (exemple B cdg / inversion)

Faut-il scanner les fiches d’observations THEMIS ? Coro : nécessité de nombreux fichiers annexes (liste

des heures, liste des régions intéressantes, …) Coro : les films de détails seront regroupés en un

seul paquet (pas d’indication des heures dans la requête ni dans la table résultat) ; polarang utile?

Différentiation de 2 types d’«images propres » (ex: calibrées et calibrées+recentrées+déstretchées)

Recommandation pour la gestion des très gros volume (simulation, CALAS)

Séparation des codes de traitement à un même niveau si plusieurs sont utilisés (ex: 2 codes différentes pour calculer les champs de vitesse à partir d’images de granulation)

Traitement des données NRH ? Autres types de simulation dans le futur (long terme)? FROMAGE : gestion des autorisations ? Réalisation des entêtes à FROMAGE ? Mode

opératoire ? Quelle imagette en ligne pour l’extrapolation ?

Récapitulatif questions ouvertes : organisation des requêtes Critères détaillés (λ, région, objet) lors d’une requête

sur données dépouillées ou bien utilisé sur la séquence brute ?

Un fichier historique par séquence, tous niveaux confondus ?

Nom du code de traitement dans les page de requêtes ?

Nécessité de requête ET entre instruments ? Est-il réaliste de restreindre le nombre de combinaisons ? Meilleur défaut entre ET et OU ?

Gestion des incompatibilitées / interdiction (grisé, non apparent)

Atelier MTR : avril 2003

Objectifs :

Durée : 2 jours A plus long terme : réunions en petits

groupes et autre atelier pour apprendre aux utilisateurs à utiliser le(s) code(s) diffusé

Compte rendu : mis en ligne

Echanges sur les techniques de traitementAide à la définition d’un code « standard » pour

BASS2000Discussions sur la diffusion de codesRédaction d’un compte-rendu détaillé

Plan de travail Vérification décalages séquence de Stokes lors de la présence d’images mauvaises

BASS2000,FP

Avril

Automatisation du fenêtrage pour les 3 modes VB Août

Demandes de 3 nouveaux mots-clés à THEMIS BASS2000 Avril

Code pour une extraction des paramètres de Stokes quelle que soit la configuration

JAr, FP Mai-juin

Recensement des principales stratégies observationnelles auxquelles le code doit s’adapter

JAb,FP,FB/KB,NM

Mai-juin

Comparaison des 3 codes représentés (simulations) JAr, FP, VB, NM

Point en juillet

Etude du recentrage, limitations (spatial/spectral) Jar, FP, NM sept

Interface utilisateur / adaptation aux différentes routines : première étape

BASS2000, JAb

Point en été

Liste des étapes à automatiser et des détection de problèmes à implémenter

Tous (centralisation NM)

Mai

Tester des méthodes de calcul de la qualité d’image sur spectres et préfente

NM Mai

Réfléchir au problème de la sélection des données à dépouiller à BASS2000

FB, NM Août

A court-moyen terme : Page web avec compte-rendu, messages

(bilan et enquêtes) Réunions informelles en petits groupes

(comparaison de codes) J. Arnaud, F. Paletou, V. Bommier + ? Réunions en novembre-décembre

Adéquation stratégie observationnelle / procédure de traitement : enquête en cours

Rassemblement des routines en un seul code avec interface, et mise à dispoisition

Utilisation de code sous forme de routines indépendantes bien documentées

Possibilité d’appeler différentes versions pour une routine

Mise en place d’une automatisation / possibilité choix manuels

Atelier DPSM

Objectifs : Apprendre à se servir du code Apprendre aux utilisateurs des données DPSM à se

servir du code fourni par P. Mein Identifier les points critiques en cas de problèmes

Visite P. Mein à BASS2000 : Février 2002 (2 jours)

Date de l’atelier : 12 décembre 2003 (9 participants + BASS2000)

Aide aux utilisateurs de la base

Thésaurus et avertissements Description des instruments, exemple de

données, disponibilité (Tarbes+Meudon) Bibliographie avec date des données utilisées

(THEMIS) Pages producteurs (CORO, THEMIS) Problème de l’information sur les conditions

d’observation et les calibrations utilisées

Diffusion des donnéesTraitement des données

Points sur lesquels des recommandations sont nécessaires Intégration avec nouveaux mots-clés THEMIS

« projet 2002 » : implémentation en 2004 ? Cahier des charges intégrations données

dépouillées / nouveaux producteurs (voir questions posées)

Recommandations détaillées vis à vis de THEMIS / CS et des observateurs, convention entre les producteurs et BASS2000 (formatage, conditions observationnelles, dépouillement …)