Jour 4 : Publication des données sur l'Internet Création de réseaux d'information sur...

Jour 4 :Jour 4 :

Publication des données sur Publication des données sur l'Internetl'Internet

Création de réseaux Création de réseaux d'information sur la d'information sur la

biodiversitébiodiversité

Sommaire

Rappel sur le XML

Présentation des standards de connexion

Sommaire

Présentation de l’IPT (Integrated Publishing Toolkit)

Démonstration de l’IPT

XMLXML

Sommaire

Présentation Avantages Utilisation du XML

Présentation

XML : eXtensible Markup Language Format d’échange de données Méta-Langage à balises

Même principe que le HTML Information ajoutée au contenu pour marquer la

structure logique

Présentation<?xml version="1.0" encoding="UTF-8"?> ENTÊTE et ENCODAGE<DataSets xmlns="http://www.tdwg.org/schemas/abcd/1.2"> <DataSet> <OriginalSource> <SourceInstitutionCode>BDI</SourceInstitutionCode> ELEMENT

<SourceName>BoBO - Botanic Garden Berlin BDI Observations</SourceName> <SourceLastUpdatedDate>2004-09-27</SourceLastUpdatedDate>

</OriginalSource> <DatasetDerivations> <Units> <!– liste des unités --> COMMENTAIRE <Unit> BALISE OUVRANTE <UnitID>2</UnitID> <RecordBasis>Observation</RecordBasis> ... <HigherTaxon TaxonRank="Kingdom">animalia</HigherTaxon> ATTRIBUT </Unit> BALISE FERMANTE </Units> </DataSet></DataSets>

Présentation

Séparation du fond et de la forme Forme : présentation à partir de la structure (style) Fond : structure + données (contenu)

Langage multi-support

Avantages

Lisibilité : simple à comprendre Autodescriptif et extensible Structure arborescente Facilement déployable Intégrabilité

Utilisation du XML

Standardise l’information indépendamment de la structure de la base de données source

Principe de « wrapping » : permet une mise en correspondance des

colonnes et les tables d'une base de données

avec un ou plusieurs éléments d'un schéma

XML donné

Utilisation du XML

Au niveau du wrapper:

Standards XML : ABCD et DarwinCore

Logiciels : Biocase, TAPIR, DIGIR et IPT

StandardsStandards

Standards

Standard : document qui fournit des règles pour des procédés et méthodes de production.

Utilisé pour la conception des collections et bases de données de gestion de l'information.

Standards

Standards d’échange de données :

Protocoles de transfert utilisés pour organiser et formater l’information pour échange.

ABCD et Darwin Core : standards d’échange les plus connus pour les données de collection.

Standards

Pourquoi des standards? Fournir le medium, les règles et les protocoles

pour échanger l’information. Permer l’interoperatibilité des données avec

d’autres données. Homogeneise l’information en vue de son

intégration à un système mondial

Darwin Core

Facilite l’échange d’information à propos des occurrences géographiques des espèces et l’existence des spécimens dans les collections.

Pertinent pour les collections d’histoire naturelle.

Darwin Core

Schéma simple, adapté aux données sur fichiers plats.

46 éléments regroupés dans 7 catégories :Record level, taxonomic, identification, locality, collecting event, biological, reference.

Liste des champs sur : http://wiki.tdwg.org/twiki/bin/view/DarwinCore/DarwinCoreDraftStandard

ABCD

Projet BIOCASE

Standard d’échange de données sur les spécimens et les données d’observation.

Plus complexe que Darwin Core (1200 élements).

Site internet : http://wiki.tdwg.org/activities/ABCD

(Access to Biological Collections Data)

Biocase

Logiciel mettant en correspondance une source de données avec un standard choisi.

Produit : Fichier XML formaté et exploitable

DémonstrationDémonstration

Integrated Publishing Integrated Publishing Toolkit (1.0)Toolkit (1.0)

Présentation générale de l’IPT

Introduction Fonction dans le réseau GBIF Resources Caractéristiques Fonctionnalités Une plate-forme pour faciliter la décentralisation

Sommaire

Démonstration

Configuration Publication de métadonnées Publication de données Web application, interfaces

Sommaire

L’IPT est…Une web application Java open-source :

Connecter et publier 3 types de données de biodiversité :

- Données primaires

- Information sur les espèces

- Métadonnées sur les ressources À partir d’une source de données :

- Base de données

- Fichier plat Pour rendre ces données visibles sur le réseau distribué du GBIF

Un composant du réseau GBIF

Ressources Documentation et téléchargement

http://code.google.com/p/gbif-providertoolkit/

Demo sitehttp://ipt.gbif.org

Version 1.0 disponible depuis le 31/03/2009

Chef de projet :Markus Döring, Senior Software Engineer, GBIF

Caractéristiques Web application multilingue Contient un serveur de géolocalisation Gestion de rôles Base de données embarquée Supporte l’utilisation de fichiers texte (.csv) Utilisation de vocabulaire pour limiter les termes Utilisation d’extension pour Darwin Core Vérification de la qualité de données basique Utilisation d’identifiant unique (uuid)

Utilisation des wrappeurs

Scénario original

Les wrappeurs exposent les bases de données aux requêtes

Utilisation des wrappeurs Scénario fréquent

Une copie de base est utilisée pour la publication des données

Souvent sur une machine de moins bonne qualité (perte de performance)

Souvent non mise à jour (fraîcheur des données)

‘Récolte’ avec les protocoles existants Le fournisseur a un wrappeur TAPIR

Ce wrappeur permet de récuperer 200 enregistrements par requete.Si la base contient 260,000 enregistrements à récuperer :

1300 request / responses9 heures au total

500MB de transfert XMLSeulement 32MB “utiles” à l’index

Compressées en 3MB

UUne fois défini, le vocabulaire est accessible à tous les utilisateurs de l’IPT

Contrôle du vocabulaire

Schéma extensible

Page d’accueil paramétrable (1)

Page d’accueil paramétrable (2)

Gestion de rôles

Les users ne peuvent qu’explorer les données

Les managers ne gèrent que leurs données

Possibilité de partager une même instance IPT

S’enregistrer au GBIF

Gestion des extensions

Gestion des vocabulaires

Créer des métadonnées

Catégories de métadonnées Basic metadata Resource originator Geographic coverage Taxonomic coverage Temporal coverage IP Rights Research project information Methods Keywords

Mapping

Chargement des données

Pendant le chargement, les données sont importées de la source

(fichier plat ou base de données) Des statistiques sont calculés

Vue sur les ressources disponibles

Exploration taxonomique

La taxonomie provient de la source de données

Un premier niveau de contrôle de qualité de données est effectué

Résumé statistique

Graphiques

Contrôle de la qualité de données

Sortie XML

Web site: http://www.gbif.org

Data portal: http://data.gbif.org

GBIF SecretariatUniversitetsparken 152100 CopenhagenDenmark

E-mail: trobertson@gbif.org

Phone: +45 3532 1487

Contact