CASTAGNOLI Gérard / ROTEREAU Armand

Projet Cooperate

Développement scientifique Exemple d’exploitation commune de bases de données

CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Puechabon (CEFE, CNRS)

l’idée« Common database for field sites dedicated to experimental studies on climate change in

Southern France »

Fontblanche (Roquefort-la-Bédoule INRA)

O3HP (OHP, CNRS)

CLIMED (Marseille, ANR/IMBE)

Exemple de Mesures

flux de sève & croissance

échanges gazeux foliaires

relations hydrique

s

T, rh%, radiation & météorologie générale

échanges gazeux à l’échelle de la

canopée

Profil geoelectrique par D Hermitte & J-C Parisot

Motif radialby J Cermakrelevés

/échantillons/ saisie biologiques & chimiques & physiques


inter

inter-face éxperimentateur & modélisateur

inter-disciplinaire

inter-échelle

inter-site

inter-generation

inter-opérabilité

definition-interoperabilite.infoL’interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre.

inter-net

inter-national

inter-ligent


Site O3HP Site Climed

: zone de base: Capteurs (exemple d’emplacement): secteurs générateur de données

Site Sentinel

Site ICOS

…etc..

Exemple de sites inclus dans Cooperate


ServeurFTP

ServeurWeb Commun

(Ex: O3HP,Sentinel,Icos)

Interfaced’interrogationet consultation

Export Graphiques, Fichiers CSV, images, TableauxRésultants des interrogations

Serveur DeTraitementCommun

Interfaced’administration

(utilisateurs privilégiés)

BDD commune

ServeurFTP

BDD thématique 2

BDD thématique 3

Serveur DeTraitement

Fichiers texte(csv)

Relevés manuelsBDD existante BDD thématique 4

Serveur DeTraitement

BDD existante

BDD thématique 5

BDD thématique 6

Site 1

Site 2

Site 3

Site 4

Site 5 Site 6

Fichiers texte(csv)

Centre de Calcul

Site 7

Web service(s)

Sauvegardes

Sauvegardes

Sauvegardes

BDD thématique 1

(Ex: Climed)

(Ex: Phénologie)(Ex: Meteo OHP)

Schéma fonctionnel


Structure des BDDs Tables communesTables thématiques

Tables statistiques


BDD thématique(s)Requêtage

Tables thématiques Tables communes

Statistiques

Bases de données thématiques

BDD commune

Interaction

Extensions thématiques au projet

• BDD ‘Caractéristiques des Plantes/ Faune/ Microbes’• BDD ‘Caractéristiques du Sol’

…


Bandeau et menus gérés par un CMS.

Iframes déclenchés par les boutons du menu. Contenus indépendants du CMS utilisé.

Application web principe


Application web démo


Choix architectural • Equipements

• pour BDD» machine physique multi-processeurs» disques SAS

• Interfaces Web + calculs» VM puissante

• OS :

• Développement : / / / (pour les

menus)• BDDs commune et thématiques

• Sauvegardes journalières• Systèmes + données (Savenet)


Solutions techniques

• Affichage multi-mesures / multi-sites• bib. HighCharts

• Requêtes sur toutes les BDD en même temps• Modèle BDD + mécanisme PostgreSQL : postgres_fdw (foreign

Data Wrapper)

• Rapidité des requêtes • hardware / software / Modèle BDD (1 table/capt. + évolution

dynamique de la BDD avec détection des nouveaux objets).

• Stockage optimisé• calcul de l’espace nécessaire au préalable• Affichages et export : calcul à la volée des données à la

minute/jour/mois/année

• Vérification et validation des données• Automatiques, semi-automatiques et manuelles (en cours)


Souplesse d’emploi

• Souplesse sur les normalisations et données en entrée• pas de contrainte sur le pas de temps, sur les noms des

capteurs, etc.

• Rajout d’un nouveau site en « 1 clic » avec un besoin de très peu d’infos• Scripts génériques• Customisation de quelques heures à 1 semaine

» Rajout de méta-infos, nommage d’éléments, etc…

• Code générique : installation possible ailleurs• D’un site (site 3 & 4 dans slide « Schéma fonctionnel »)• De l’ensemble de l’architecture pour des besoins différents


Quelques chiffres (pour l’O3HP)

• Données extraites des capteurs• Cyclique : toutes les 5 minutes à toutes les secondes

# 2 500 000 valeurs / jour

• BDD thématique• 1 500 tables, > 1 000 000 000 enregistrements

• Application Web et scripts d’insertion• > 30 000 lignes de code

• Projet informatique• 2 ans de conception et développement• en moyenne : 1,2 H/J (3 ingénieurs à temps partiel)


OHP - Perspectives verticales

0 m – 35000 m

4 km - 80 km

Station Gérard Mégie

2 m -10 m

temporary installations

ANR CANOPEE

10 m -100 m

70 m - 20000 m

-8 m to 6 mCASTAGNOLI Gérard / ROTEREAU Armand

VVT 2014

Financement et soutien

Merci de votre attention

Site Web O3HP :

https://o3hp.obs-hp.fr/index.php

Application Web O3HP :

https://o3hpbd.obs-hp.fr/db/index.php

Application Web COOPERATE (en développement):

https://o3hpbd-dev.obs-hp.fr/db/index.php

Références


https://o3hp.obs-hp.fr/index.php

https://o3hpbd.obs-hp.fr/db/index.php




Documents

CASTAGNOLI Gérard / ROTEREAU Armand