View
1.588
Download
1
Category
Preview:
Citation preview
Retour d'exprience :
La gestion prenne des documents l'aide d'une architecture modulaire
base sur des logiciels Open Source.
Solutions Linux 2009Session du 01 Avril 2009
Thomas Ledoux (BnF) / Laurent Sollier (AO)
Le modle OAIS
L'OS dans le socle commun
Agenda
Les modules particuliers
Le projet SPAR
Conclusion & Questions
La dmarche
Sommaire
La Bibliothque nationale de France a t cre par le dcret 94.3 du 3 janvier 1994 avec mission de collecter, de cataloguer, de conserver et denrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue franaise ou relatif la civilisation franaise.
Le projet SPAR de la Bibliothque nationale de France
Systme de prservation et darchivage rparti
Organisation
Projet sur 4 ans
Env.15 personnes
Mthode Agile (Scrum)
Volumtrie
1800 To de donnes
Plus dun milliard dobjets numriques
SPAR
Le projet SPAR
Prserver le patrimoine, l'Archiver, en Rpartir laccs
Applications de production de donnesApplications de diffusion de donnesNumrisation de conservationProduction administrative
Archivage WEB
..
SPAR
SPAR
Le projet SPAR
les principales exigences
tre compatible avec le modle OAIS (ISO 14721:2003)
tre modulaire et distribuable
Abstraire toute notion de stockage
Exploiter des standards et des formats ouverts ou matriss
Exploiter des briques techniques libres
S'appuyer sur les technologies Java
Exploiter une infrastructure matrielle existante
SPAR
La norme OAIS
Entres
Planification de la prennisation
Administration
Gestion des donnes
Stockage
Accs
OAISPRODUCTEURUTILISATEUR
DIP
SIP
AIP
AIPA quoi sert-elle, concrtement ?
tablir la responsabilit de la conservation : notion de contrat
surveiller les documents avant que les dgradations ne se produisent (en gnral, avec le numrique, aprs = trop tard)
garantir lintgrit des documents, vrifier quils ne sont pas altrs, et sils le sont, expliquer pourquoi
organiser lactivit de conservation autour dun rfrentiel commun pour faciliter les volutions
OAIS
Le projet SPAR et le modle OAIS
SPAR - Infrastructure
SPAR - Ralisation
VersementSPAR
Prservation
Administration
Gestion des droits
Gestion des donnes
Stockage
AccsService dAbstraction de Stockage (SAS)
OAISPRODUCTEURUTILISATEUR
OAIS
Architecture base sur des modules
SPAR - Infrastructure
SPAR - Ralisation
VersementSPAR
PrservationAdministrationGestion des droitsGestion des donnesStockageAccsService dAbstraction de Stockage (SAS)
Soccle commun
Architecture base sur des modules
Soccle commun
SSB : Backup
SSP : Principal
Site de secours
Site principal
SSS-B : secondaire de secours
SSS : secondaire
Serveurs de secours
Serveurs
Le socle commun
Les objectifs
Modularit par services Web selon le protocole REST
Dploiement multi-instances
Journalisation des actions
Traitements asynchrones
Les contraintes
Exploiter un environnement Java
La mise en uvre
Soccle commun
Le module Versement
Les objectifs
Caractriser des fichiers de formats varis
Les contraintes
Pour la caractrisation, chaque framework a ses formats dans lesquels il excelle.
La mise en uvre
Sommaire
Les modulesMagicMimeTypeIdentifier
Java Advanced Imaging
Le module Gestion de donnes
Les objectifs
Indexer les mtadonnes de l'ensemble des paquets conservs,
Permettre une utilisation indpendante du modle de donnes.
Les contraintes
Plusieurs milliards de triples
Intgration dans un environnement Java
La mise en uvre
Sommaire
Les modules
Le module Gestion des droits
Les objectifs
Collecter linformation de droits
Calculer dynamiquement les licences dusage associes
Les contraintes
Volumtrie
Calcul dynamique selon lusage
La mise en uvre
Sommaire
Les modules
Xalan - XercesOAIHarvester2
Le module Administration
Les objectifs
Offrir une interface graphique pour l'exploitation de certains services
Prendre en compte les autorisations d'accs
Les contraintes
Exploiter des services au format REST
Offrir une interface graphique multilangue
La mise en uvre
Sommaire
Les modules
Le Service d'Abstraction de Stockage
Les objectifs
Abstraire le stockage sur l'infrastructure
Permettre la mise en place de rgles de stockage (rpartition multi-sites, notion de capsule de stockage, ...)
Les contraintes
Effectuer un contrle d'intgrit
Hberger plusieurs millions d'objets
Contrler une bandothque
La mise en uvre
Sommaire
Les modules
Le module d'Accs
Les objectifs
Pouvoir transformer les paquets selon de nouveaux formats
Publier le catalogue selon la norme OAI
Les contraintes
Ne pas prsumer des usages futurs
Permettre l'intgration de nouvelles transformations sans devoir rcrire le module
La mise en uvre
Sommaire
Les modules
Cartographie gnrale
SPAR - Ralisation
VersementSPAR
PrservationAdministrationGestion des droitsGestion des donnesStockageAccsSAS
Sommaire
Sommaire
La dmarche
tude du besoin
tude amont permettant de dfinir le besoin
De cette tude, identifier les fonctionnalits ou services devant tre offerts par les solutions Open Source
Sommaire
Sommaire
La dmarche
Exemple de grille grosse maille
Sommaire
Sommaire
La dmarcheFonctionnel
Peut intgrer les identifiants prenne ARK?
Peut intgrer un systme d'authentification ?
Gre des mtadonnes description de manire extensible ?
Gre des mtadonnes de prennisation lis aux objets de donnes/documents ?
Comprend des fonctions d'entres ?
Comprend des fonctions d'accs ?
Comprend des fonctions d'administration ?
Gre diffrents types de format ?
Gre le cycle de vie des documents (workflow) ?
Comprend des fonctionnalits de migration (gestion, suivi, etc.) ?
Qualit technique
Semble extensible ?
Est interoprable avec un systme de stockage ?
Est interoprable avec un systme de supervision (SNMP, etc.) ?
Est interoprable avec un annuaire (LDAP, X509 etc.) ?
A des rfrences d'implmentation de grande taille (quivalent la BnF) ?
Prennit
A pour objectif d'implmenter le modle OAIS ?
Est modulaire ?
Est libre/ouvert ?
Est maintenable (organisme de maintenance, qualit du support, communaut, documentation)
Est mature (rfrences nombreuses, longue exprience, etc.)
Analyse selon 3 axes
Engagement avec les communauts
Entrer en contact avec les communauts
Participer l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication
Participer la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs
Vitaliser les changes physiques par le biais de confrences tlphoniques ou participations des confrences ou colloques
Exemples d'interactions lors du projet :
Jersey : changes par mails
LogBack: changes par mails
iRODS: changes par mails / chat list (forum) /
rencontres physiques / Confrences tlphoniques /
quelques jours d'expertises sur site
Sommaire
Sommaire
La dmarche
Sommaire
Sommaire
Sommaire
ConclusionConclusion
Il existe quasiment toujours une solution Open Source
Toutes n'ont pas le mme degr de maturit
L'intgration d'autant de frameworks Open Source n'est pas toujours simple
La cartographie gnrale a volu durant tout le projet : ncessit d'tre Agile
Constat :L'Open Source qui s'est dvelopp dans les outils d'infrastructure, gagne en crdibilit dans les domaines mtier
Questions / Rponses
Sommaire
Sommaire
Sommaire
Conclusion
Thomas Ledouxthomas.ledoux_AT_bnf.frChef de projet SPARLaurent Sollierlaurent.sollier_AT_atosorigin.comResponsable Technique SPAR
Cliquez pour diter le format du plan de texte
Second niveau de plan
Troisime niveau de plan
Quatrime niveau de plan
Cinquime niveau de plan
Sixime niveau de plan
Septime niveau de plan
Huitime niveau de plan
Neuvime niveau de plan
Cliquez pour diter le format du texte-titre
Solutions Linux 2009
Le projet SPAR : un systme de prennisation bas sur des solutions libres
Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish symbol itself are registered trademarks of Atos Origin SA. 2006 Atos Origin. Private for the client. This report or any part of it, may not be copied, circulated, quoted without prior written approval from Atos Origin or the client.
Atos, Atos et le poisson, Atos Origin et le poisson, Atos Consulting ainsi que le poisson seul sont des marques dposes d'Atos Origin SA. 2008 Atos Origin. Document exclusivement rserv usage commercial. Tout ou partie de ce document ne peut tre copi, modifi, diffus ou annot sans accord crit d'Atos Origin ou du client.
Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish symbol itself are registered trademarks of Atos Origin SA. 2006 Atos Origin. Private for the client. This report or any part of it, may not be copied, circulated, quoted without prior written approval from Atos Origin or the client.
Recommended