24
SIST 2018 28-29 Juin 2018 [email protected] Gestion pérenne des données scientifiques Du Plan de Gestion des données au Datapaper

Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

SIST 2018 28-29 Juin 2018 [email protected]

Gestion pérenne des données scientifiques

Du Plan de Gestion des données au Datapaper

Page 2: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

2

Contexte général

Page 3: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

3

Le cycle de vie des données

Préparation du projetRédaction du

protocole et du PGDCollecte

ObservationExpérimentation

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Livraison &

Structuration du Jeu de données

Traitements &Analyses

PublicationDiffusion

Valorisation

Page 4: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

4

Une gestion à chaque étape

PublicationDiffusion

Valorisation

Traitements &Analyses

Livraison &

Structuration du Jeu de données

ArchivagePré-traitement des

données brutesCatalogage

(métadonnées)Préparation du projet

Rédaction du protocole

CollecteObservation

Expérimentation

Les objectifs poursuivis (≠ atteints !)

- Traçabilité des projets et de leurs données

- Accès aux données facilité pour tous les

agents de l’UMR

- « Chaîne de la donnée » (= sans rupture)

- Standardisation → Ouverture → Valorisation

Page 5: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

5

Préparation du projetRédaction du

Protocole et du PGD

Pour garantir la réussite de la campagne de collecte

→ Quels objectifs poursuivis ?

→ Quel cadre scientifique ?

→ Quel type de données à collecter ?

→ Qui fait quoi ?

→ Mode opératoire …

PLANIFIER

Page 6: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

6

Dialogue entre tous les acteurs + documents de références

→Meilleure anticipation

→ Premières métadonnées

PLANIFIER

Préparation du projetRédaction du

Protocole et du PGD

Page 7: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

7

Dialogue entre tous les acteurs + documents de références

→Meilleure anticipation

→ Premières métadonnées

⇒ Protocole écrit et diffusé à l’avance

(Sharepoint, protocols.io)

⇒ Plan de gestion des données

(Opidor)

PLANIFIER

Préparation du projetRédaction du

Protocole et du PGD

Page 8: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

8

Préparation du projetRédaction du

Protocole et du PGDCollecte

ObservationExpérimentation

Etape cruciale mais souvent négligée

→ Bonne collecte ssi protocole complet et disponible

→ Contrôle de la qualité in situ

→ Gestion des échantillons

Collec-Science

ACQUÉRIR

Page 9: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

9

CollecteObservation

Expérimentation

Etape cruciale mais souvent négligée

→ Bonne collecte ssi protocole complet et disponible

→ Contrôle de la qualité in situ

→ Gestion des échantillons

⇒ Apport des outils embarqués pour initier le flux des données :

Assistance à la saisie – BDD alimentée sur le terrain

Collec-Science

ACQUÉRIR

Préparation du projetRédaction du

Protocole et du PGD

Page 10: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

10

CollecteObservation

Expérimentation

Pré-traitement des données brutes

Vérifications post-terrain

→ Contrôle de l’intégrité des données

→ Éliminations des valeurs aberrantes

CONTRÔLER

Préparation du projetRédaction du

Protocole et du PGD

Page 11: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

11

CollecteObservation

Expérimentation

Pré-traitement des données brutes

Vérifications post-terrain

→ Contrôle de l’intégrité des données

→ Éliminations des valeurs aberrantes

⇒ Scripts R, OpenRefine, ETL ...

CONTRÔLER

Préparation du projetRédaction du

Protocole et du PGD

Page 12: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

12

Pré-traitement des données brutes

Catalogage(métadonnées)

Garantir la pérennité du jeu de données

→ Décrire les données et leur contexte

→ Faciliter la réutilisation

→ Normaliser pour une compréhension commune

CollecteObservation

Expérimentation

DÉCRIRE

Préparation du projetRédaction du

Protocole et du PGD

Page 13: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

13

Pré-traitement des données brutes

Catalogage(métadonnées)

Garantir la pérennité du jeu de données

→ Décrire les données et leur contexte

→ Faciliter la réutilisation

→ Normaliser pour une compréhension commune

⇒ Geonetwork, IPT, GeoNAPI R

CollecteObservation

Expérimentation

DÉCRIRE

Préparation du projetRédaction du

Protocole et du PGD

Page 14: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

14

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Stocker le jeu de données sur le long terme

→ Sauvegarder les données brutes

→ Permettre l’accès futur aux données

→ Garantir l’intégrité de la ressource

CollecteObservation

Expérimentation

DataCenter

STOCKER

Préparation du projetRédaction du

Protocole et du PGD

Page 15: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

15

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Stocker le jeu de données sur le long terme

→ Sauvegarder les données brutes

→ Permettre l’accès futur aux données

→ Garantir l’intégrité de la ressource

⇒ Datacenter

CollecteObservation

Expérimentation

DataCenter

STOCKER

Préparation du projetRédaction du

Protocole et du PGD

Page 16: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

16

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Livraison &

Structuration du Jeu de données

Intégrer les données dans le Sys. d’information

→Bases de données partagées

ORGANISER

CollecteObservation

Expérimentation

Préparation du projetRédaction du

Protocole et du PGD

Page 17: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

17

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Livraison &

Structuration du Jeu de données

Intégrer les données dans le Sys. d’information

→Bases de données partagées

⇒ Infrastructure de Données Géographiques (IDG)

ORGANISER

CollecteObservation

Expérimentation

Préparation du projetRédaction du

Protocole et du PGD

Page 18: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

18

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Livraison &

Structuration du Jeu de données

Traitements &Analyses

Traitements « scientifiques »

→Statistiques, SIG, algorithmes, interprétation …

ANALYSER

CollecteObservation

Expérimentation

Préparation du projetRédaction du

Protocole et du PGD

Page 19: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

19

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Livraison &

Structuration du Jeu de données

Traitements &Analyses

Traitements « scientifiques »

→Statistiques, SIG, algorithmes, interprétation …

⇒ WPS, publication de scripts

ANALYSER

CollecteObservation

Expérimentation

Préparation du projetRédaction du

Protocole et du PGD

Page 20: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

20

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Livraison &

Structuration du Jeu de données

Traitements &Analyses

PublicationDiffusion

Valorisation

OPEN SCIENCE !

→Mettre en oeuvre la réutilisation

PARTAGER

CollecteObservation

Expérimentation

Préparation du projetRédaction du

Protocole et du PGD

Page 21: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

21

Pré-traitement des données brutes

Catalogage(métadonnées)

Archivage

Livraison &

Structuration du Jeu de données

Traitements &Analyses

PublicationDiffusion

Valorisation

OPEN SCIENCE !

→Mettre en oeuvre la réutilisation

⇒ WFS, R, IPT, DOI & Datapaper

PARTAGER

CollecteObservation

Expérimentation

Préparation du projetRédaction du

Protocole et du PGD

Page 22: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

22

Appli Web

SYGADE (IRSTEA) Gestionnaire

de données d’enquêtes

TERRAIN

LABO

Réseau antennes GPS centimétriques

WEB

IPT

Télédétection

Enquêtes

WebmapMétadonnées

Observations

Collec-Science

Relevés naturalistes

Geo Data

Page 23: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

23

Appli Web

SYGADE (IRSTEA) Gestionnaire

de données d’enquêtes

TERRAIN

LABO

Réseau antennes GPS centimétriques

WEB

IPT

Télédétection

Enquêtes

Métadonnées

Observations

Collec-Science

Relevés naturalistes

Geo Data

Webmap

Page 24: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement

24

[email protected]

Merci