1

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

SISMERSystèmes d’Informations Scientifiques pour la

Mer

Centre National de Données Océanographiques

2

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Equipe SISMER – les thématiques

Animation du service Information, Catalogues, Coopération

Catherine MAILLARDSecretaire (avec ISI): Béatrice MILOSAVLJEVIC (1/2)

Vanessa TOSELLO (*)

Banque Nationale de Physique & Chimie

MarinesMichèle FICHAUT

Françoise LE HINGRATNolwenn CARN

Banque Nationale de Géophysique & Géologie

MarinesEric MOUSSAT

Céline CORDIERMartine PENNEC

Centre de Données CORIOLIS Océanographie

Opérationnelle

Loic PETIT DE LA VILLEONYvette RAGUENESVincent BERNARD

Olivier DESPREZ DE GESINCOURT (*) Christine COATANOAN

Données de RéférenceSIG SEXTANT

Michel BELLOUIS

3

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Activité de SISMER dans les programmes IFREMER  

Thème : Grands équipements pour l’océanographie

Programme : Centre de données océanographiques

Portail SISMER & Coopération Nationale et internationale

Développement et maintenance du portail WWW et du serveur SGBD SISMER

Catalogue des Campagnes (ROSCOP/CSR)

Catalogues SEASEARCH, EDIOS

Catalogue EUROSEISMIC

Données de Référence et SIG SEXTANT

Coopération Nationale et Internationale (CIEM-MDM, COI/IODE, JCOMM, POGO, bilateral Coop., Nat. WG)

Banque Nationale de Géologie et Géophysique Marines

Banque Nationale de Physique et Bio-chimie Marines

Développement logiciel (ISI)

4

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

SISMER dans l’organigramme de l’ IFREMER

C alc u la teu rs c en trau xs erv eurs de R D B S e t W W W

S y s tèm e d 'a rc h iv ag eA dm in is tra tion d u rés ea u

R es ourc es In fo rm atiques & C om m un ic a tio n(R IC )

P . C o tty

D év e lop pem ent Log ic ie lB as es de D onnée s

Ingén ie rie des S y s tèm es d 'In fo rm atio n(IS I)

T h . C arv a l

G es tion des D onnée s

S y s tèm es d 'In fo rm ation S c ien tifique sSISMER

C . M a illa rd

D epartem en tInformatique et D onnées Marines

C . M arc ha lo t

créé en 1990, SISMER appartient depuis 1997 au Département “Informatique et Données Marines” (IDM); il remplace, avec évlolutions importantes des missions, outils et projets, le BNDO créé en 1968SISMER travaille en étroite collaboration avec le service d’ingénierie ISI et peut ainsi disposer d’outils de traitement et de communication adaptés, innovants et performants. Cette collaboration permet également de gérer et diffuser les données selon les normes de qualité internationalement admises et d’offrir le meilleur service possible d’information et de données à la communauté des utilisateurs.

5

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

MISSIONS

SISMER (Systèmes d'Informations Scientifiques pour la Mer), créé en 1990, est un service de l’IFREMER qui a pour mission:développer et exploiter des systèmes d’information et des bases de données dans le domaine marin;établir les normes de qualité à respecter pour l’archivage et la gestion des données marines; maintenir un inventaire des données marines en France, leurs responsables et les conditions d’accès;representer l’IFREMER au sein des organisations nationales et internationales impliquées dans la gestion des donées marines;contribuer à la formation et au transfert de connaissances dans son domaine de compétence.

SISMER a été désigné Centre National de Données Océanographiques (CNDO), pour le programme d’échange international d’informations et de données océanographiques (IODE) de la Commission Océanographique Intergouvernementale de l’UNESCO, à la suite du précédent Bureau National des Données Océaniques (BNDO).

6

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Présentation Générale des Activités

Les programmes d’activité de SISMER:Opérer la Banque Nationale Océanographique qui couvre les domaines de la géologie, de la géophysique, de la physique et de la bio-chimie marines, ainsi que l’information générale sur les campagnes et les données; Participer aux structures de gestion de données des programmes de l’IFREMER qui incluent plusieurs projets nationaux, européens et internationaux, en particulier de projets communautaires de l’Union Européenne;Mettre à disposition de la communauté les produits de données d’intérêt général publiés par divers organismes (climatologies, fond maillé de l’océan, trait de côte, informations adminsitratives et cadastrales etc..);

7

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Activité de SISMER dans les programmes IFREMER

Surveillance, Monitoring et Exploitation des Mer côtièresProgramme Intégré Méditerranée

Gestion des campagnes et système d’informationEvaluation et exploitation durable des resources halieutiques

Programme Intégré Golfe de GascogneTechnologie

Gestion des donnéesExploration et Exploitation des fonds océaniques

Programme cartographie de l’océan EXTRAPLAC

Gestion des donnéesProgramme Technologie des observatoires fond de mer

ESONETGestion des données

Circulation et ecosystèmes marins, processus, évolution et prédictionProgramme Développement d’outils d’observation

MFSTEPGestion des données

Programme sysèmes opérationnels du large à la côte CORIOLIS

Exploitation du centre et des données MERSEA, GOSUD, GTSPP, GYROSCOPE..Données temps réel des navires de recherche

8

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Catalogues – Meta-données

• Campagnes : 5879 résumés ROSCOP/CSR (Cruise Summary Report) de campagnes et mouillages

• Bases/Jeux de données des laboratoires de la communauté françaises ou acquis à titre

d'échange : 352 fiches descriptives EDMED (European Directory of Marine Environmental Datasets)(dont 82 au SISMER)

• Stations d’observations « Temps Réel » EDIOS, MAMA

• EUROSEISMIC

9

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Banque Nationale de Géophysique Marine

Navigation: 709 Campagnes Bathymétrie Verticale : 472 Campagnes Bathymétrie Multifaisceaux: 341 Campagnes Gravité : 311 Campagnes Magnétisme : 276 Campagnes Imagerie : 141 Campagnes Campagnes Sismique : en cours

Projets associés : DORSALES-RIDGE, EUROSEISMICS, EXTRAPLAC

10

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

DORSALES-RIDGE

11

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Banque Nationale de Physique et Chimie Marines

CTD 26 426 Profils Bouteilles 39 779 Séries temporelles Courantométrie 1980 Séries temporelles Chaînes de Thermistances 117 Séries de thermosalinographe collectées en route 227 ADCP – en cours

Projects : MEDAR/MEDATLAS, MATER, OCTOPUS, ROBLINKS, ACME

0

500

1000

1500

2000

2500

Bouteilles

CTD

CourantosBo

12

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

MAST- MEDAR/MEDATLASII (MAS3-CT98-0174 & ERBIC20-CT98-0103)

Mediterranean Data Archaeology and Rescue of Temperature, Salinity and Bio-chemical Parameters

Collaborations and Scientific Advisers : GODAR Project - WDC-A, NODC-Croatia, DNA Tunisia, DNA Georgia

EUROGOOS, MEDGOOS, IODE NetworkDATA TYPE NB OF

PROFILESCTD 36054BOTTLE 88453MBT and XBT 161890THERMISTANCE  29

Temperature Salinity Oxygen Nitrate Phosphate Alkalinity Nitrite Total P pH Ammonia Silicate H2S Total Nitrogen Chlorophyll-a

13

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

MTPII-MATERMAss Transfer and Ecosystem Response (MAS3-CT96-0051)

Physics

VERTICAL PROFILES TIME SERIES

3013 CTD CTD TIME SERIE

572 XBT 21 THERMISTOR STRING

461 ADCP VERTICAL PROFILES 110 CURRENT METER

LAGRANGIAN FLOAT

Biochemistry

VERTICAL PROFILES TIME SERIES

1473 BOTTLES STATIONS 37 SEDIMENT TRAPS

269 BIOLOGICAL STATIONS

Other parameters :

meteorology, biology, model outputs

3 Regional Data Centres and an Animation Task

105 Oceanographic Cruises

126 Moorings

14

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

CORIOLIS provor float cycling

launching reference date reference date + 1 period

cycle 0does not match

the period

cycle 1 cycle 2

cycle period cycle period

argosargosargos

15

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Base de données océanogrpahie opérationnelle CORIOLIS TOGA/WOCE/CLIVAR Global Subsurface Data Centre & Argo

September 2003 RT profiles from Argo floats, PIRATA & TAO moorings RT CTD, buoys, Xbt,in blue T only, green TS profiles

16

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Données de Référence

Dissemination sur Internet ou Intranet selon les droits

Climatologies maillées (Levitus, MODB, MEDATLAS, Reynaud ..)

Données Topographiques (ETOP5, TOPO_2mn, Gravi_2mn, SHOM &IGN trait de côte ..)

Prédictions de marée- SHOMInformation cadastrale, economique etl administrative produits sur CDroms & disquettes reçus au SISMER

17

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Gestion des données

fichierdonnées

Fichierdonnées

SAUVEGARDE

SERVEUR BDR

MICROBIOLOGY

INSTRUMENTSMOORINGS

CTD

SEA CRUISES

NUTRIENTS

Validation scientifique et documentation des Meta-Données

Collecte des données sur les navires

COMPILATION

FORMATAGE

VERIFICATiON (QC)

DIFFUSION•W W W• ftp• media

Par des engins autonomes

Centre d’archivage

18

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Compilation des données scientifiques

Les sources de données sont multiples et variées Les données temps réel arrivent par des circuits automatiques Les données temps différés sont acquises au retour des

navires ou auprès des laboratoires 120 laboratoires et services en activité contribuent à la

collecte en mer; à ces laboratoires français s’ajoutent de nombreux laboratoires européens lors des projets communautaires

les données sont validées par ces laboratoires et sauvegardées sur différents systèmes, avec des organisations et des formats différents

les unités ne sont pas toujours normalisées, et les valeurs erronées pas toujours éliminées (ex: capteur O2 défaillant en cours de mission)

les supports d’archivage ont une durée de vie limitée Une dernière étape d’archivage est nécessaire si la pérennité,

la cohérence et l’accessibilité des données

19

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

FORMATS

Entrée : toutes sortes de formatArchivage : un format par type de donnéesDiffusion : un nombre limité de formats possibles en fonction des des projets

Meta-Données et temps réel: RDBS - ORACLEDonnées – Observations temps différé:

autodescriptive ASCII NetCDF incluent le meta-données sous forme de mots-clé, obligatoire ou optionnels, également copiés dans la BD ORACLE

Données de référence - données maillées SIG - SextantISI + NetCDF MODB/MEDMEX ARGO (en évolution)

20

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Contrôles de Qualitéles données collectées par les laboratoires sont validées par les

laboratoires, mais les organisations et les formats des reçues sont en général hétérogènes – dans tous les cas un minimum de contrôles supplémentaires est nécessaireObjectifs1) que les données et formats soient suffisamment

documentées pour être utilisables2) qu’il ne se trouve pas d’anomalie majeure bloquant les

traitements ultérieurs3) que les données issues de différentes sources soient

cohérentes et comparables

Méthodologie : toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes expertsRéférences - Normes internationales : CIEM, UNESCO/IODE/COI

Résultat : un indicateur de qualité attaché à chaque valeur numériqueEn cas d’anomalie : le fournisseur est contacté pour correction ou intervention sur capteurs éventuelles ou élimination de la donnée

21

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Portail SISMER & Système de Gestion

SGBD Serveur SISMER Gestion des Données

Campagnes en Mer

Système d’archivageFichiers scientifiques ASCII, NetCdfbandes magnétiques DLT, disques ....

RT & GSDC Base de Données Coriolis

www.coriolis.eu.org/coriolis/cdc/

Protocolede Transfer normalisé

(XML-ISO19115)

Interfacenormalisée

Interfacenormalisée

www/ifremer.fr/sismer

EDMED/MEDI catalogue centralisé

Interfacenormalisée

22

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Le Serveur SISMER - Contenu général

http://www.ifremer.fr/sismer/sismer/serveur.htm

• Information (méta-données) océanographique nécessaire à l'archivage et à la diffusion des données : type de données, date, localisation, capteurs utilisés, paramètres mesurés, système d'archivage, responsable, format, niveau de validation, les références méthodologiques et bibliographiques associées

• Catalogues thématiques et l'adresse logique des fichiers de données

• Logiciels de chargement, d’édition

23

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Le Serveur SISMER – Principales tables

Campagnes

CAM (ROSCOP/CSR)

NAVPAR (paramètres ROSCOP)

PLP (plan de position)

Bases

BAS (EDMED)

DOM (Domaines)

Résumés de donnéesRES

PAR(paramètres ROSCOP)

PLP (plan de position)

FIC (fichier)

Annuaire

ORG

DPT (département, laboratoire, service)

RSP, CLI (responsable, client)

PAY

Références

COD

BIB (reference biblio)

ADR (adresse d’un document, d’un site WWW ...)

EQU (équipement)

PRJ (EDMERP)

Geosciences Physique/biochimie

Biologie

24

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Le Serveur SISMER – Logiciels associés

Logiciels commerciaux : SGBDR ORACLE Technologie de communication Internet

Logiciels IFREMER/ISI ( avec la collaboration de sociétés d’informatique)

logiciels de chargementlogiciels d’extraction de donnéeslogiciels de publication

25

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

26

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Diffusion sur CDrom

27

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Diffusion des données

Diffusions particulieres Base TOGA/WOCE/CLIVAR GSDC/CORIOLIS Cdroms MATER, MEDATLAS 2002 Catalogue des Campagnes et Receuil Annuel

IFREMER24%

NON IDENTIFIE

4%

PUBLIC HORS

IFREMER

(France)35%

PRIVE(France)

9%

ETRANGER28%

AN NB TOTAL DE REQUETESIFREMER PUBLIC HORS IFREMER(France)PRIVE(France)ETRANGER NON IDENTIFIE2003 116 24 44 3 44 12002 141 40 52 11 36 22001 123 33 47 17 26 02000 150 33 51 14 52 01999 140 37 46 9 46 0

28

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Enjeux de la gestion des données

Assurer aux données sécurité, qualité et accessibilité:ne pas perdre les données : des études récentes ont montré qu’avant 10 ans, 30% des données non archivées dans un centre de données sont perdues; et que la sécurité des données nécessite un double archivage et des outils adaptés. une fois perdues, les observations collectées dans un environnement variable ne peuvent plus jamais être refaitesassurer une certaine cohérence et compatibilité aux jeux de données collectées par différents capteurs et différentes équipes et époques, via la normalisation des unités, formats et QC; avoir accès aisément à des données de sources différentes : un portail unique évite à chaque utilisateur de recompiler des données dispersées à des format hétérogènes préparer des jeux de données intégrées et des produits de synthèse utiles à des utilisateurs spécialistes ou non sous une forme appropriée aux besoins et dans les délais requis en collaboration avec les équipes scientifiques

La gestion des données doit être organisée et méthodique – c’est un travail d’équipe

29

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Conclusions et Perspectives

La bonne gestion des données collectées est un enjeu majeur de l’océanographie qui doit être soutenu proportionnellement à l’effort de mesures en mer.

Des moyens d’incitation, en particulier via l’attribution de temps navire, doivent encourager les scientifiques à accélérer la publication de leurs données au centre de données. Un groupe de travail interorganisme, le GTDO (CNRS,IFREMER, METEO-France, CNES, IRD) met en place une politique de diffusion des données pour améliorer leur circulation

Une évolution rapide des procédures est en cours pour faire face à l’arrivée de nouveaux types de données, de gros volumes de données issues des nouveaux capteurs, et de la nécessité d’utiliser les nouvelles techniques de communication

la normalisation des données et l’accès au plus large volume possible de données impose de travailler dans un contexte international et européen – Un réseau d’excellence, Sea-Datanet est en préparation dans cette perspective

Visiter notre site : www.ifremer.fr/sismer

30

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Enjeux de la gestion des données 1 - Bases de progrès des connaissances, les besoins de données scientifiques sont croissants

Valorisation des campagnes: la seconde utilisation des données peut permettre d’économiser du temps navire et/ou améliorer la préparation des nouvelles campagnes

Assistance à la gestion des données des grands programmes scientifiques, en particulier les programmes communautaires; les jeux de données produits sont considérés en eux-mêmes comme des résultats importants des projets et doivent être publiés

Le secteur industriel offshore (prospection pétrolière, télécomunication) et les services publics (meteo, défense) ont des besoins croissants de données marines

La gestion des ressources marines, le suivi de l’environnement et des changements climatiques nécessitent la compilation de longues séries d’observations cohérentes et comparables, en temps réel (alerte et prévision) et en temps différé (études et mises au point technologiques)

L ’amélioration des modèles d ’analyse et prevision de l ’océan nécessite des données de qualité pour assimilation, (re-)analyses, tests de modèles

31

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Enjeux de la gestion des données 2 - Fiabilité des données

Un contrôle de qualité est nécessaire qui : filtre les valeurs erronées ou douteuses ne filtre pas les données qui rendent compte d ’une

réelle modification du milieu s’appuie sur les connaissances statistiques du milieu

déjà acquises capable d ’être opérés sur de gros volumes de données

telles celles engendrés par les nouveaux capteurs de l’océanographie opérationnelle et de la géophysique

capable de s ’étendre aux multiples et complexes nouveaux paramètres observés

32

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

Assurance QualitéObjectifs1) que les données et formats sont suffisamment documentées pour être

utilisables2) qu’il ne se trouve pas d’anomalie majeure bloquant les traitements

ultérieurs3) cohérence et comparabilité de données issues de différentes sources

Méthodologie1) toutes les données sont soumises à des contrôles de qualité (QC)

automatiques et visuels assistés par systèmes experts

QC0 : contrôle du format et de la complétude de l’informationQC1 : Contrôle de la position et de la dateQC2 : Contrôle des valeurs d’observation

2) en cas d’anomalie, le fournisseur est contacté pour correction éventuelle ou élimination

Références - Normes internationales

CIEM-Marine Data Management working Group (CIEM)UNESCO/COI/IODE : International Oceanographic Data & Information Exchange

Résultat un Indicateur de qualité attaché à chaque valeur numérique4 50 1 2 3 9

pas fait Correct Inconsistant Douteux mauvais Modifié Manquant

33

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

QC1- Contrôle Date et Position Données en Station - Tests

34

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

QC1 Control of the location and Date - Data collected in station

35

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

QC1 - Contrôle Date et Position Données en séries temporelles

36

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

QC2 – Contrôle Observations Liste des tests

37

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

QC2 – Contrôle des points de mesure

38

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

QC2 – Contrôle Observations Visualisation

39

TM

SI/

Info

rmati

que e

t D

on

nées

Mari

nes/

SIS

MER

QC1: Control of the location and Date - Time series on fixed mooring