46
Projet ORI-OAI Outil de Référencement et d’Indexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Embed Size (px)

Citation preview

Page 1: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Projet ORI-OAIOutil de Référencement et d’IndexationRéseau de portails OAI

Rencontres Mondiales du Logiciel Libre 2007Amiens, 13 juillet 2007

Page 2: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 2

Sommaire

Les fonctions du système Les fonctions du système

Implémentation - architectureImplémentation - architecture

DémonstrationDémonstration

François JanninENSEEIHT – INP de Toulouse

Concepts - principesConcepts - principes

Introduction - contexte Introduction - contexte

Page 3: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 3

IntroductionIntroduction

Page 4: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 4

Contexte

Croissance de la création numérique institutionnelle (documents scientifiques, pédagogiques, administratifs, ressources documentaires..)

Mise en place d’une démarche « Système Global d’Information » à l’échelle d’un établissement

Organisation des services numériques au moyen de l’ENT, s’appuyant sur le SI

Page 5: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 5

Contexte

Besoin d’un référentiel unique de documents et d’une indexation professionnelle

Demande croissante d’accessibilité aux ressources numériques dans différents contextes

La structuration importante initiée par les projets nationaux (UNT, UNR, SI d’établissement)

Page 6: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 6

But

Répondre aux besoins de stockage, de référencement, d’indexation et d’accès aux documents

Assurer la valorisation et la gestion pérenne des contenus numériques

Développer un SGI en lien avec les ressources numériques d’un référentiel unique de documents

Partager les ressources numériques avec d’autres établissements

Donner l’accès à distance et selon les droits

Page 7: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 7

Le partage dans ORI-OAI

Patrimoine pérenne pouvant se partager

Avec les acteurs de l’établissement

Avec les partenaires des réseaux locaux , nationaux et internationaux de l’établissement

Avec les internautes

En respectant les règles du numérique et les standards

Droits d’auteur Interopérabilité des systèmes (OAI / SOAP) Normes d’échange (schémas XML) Vocabulaire commun

Page 8: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 8

Un système de gestion de documents

Mise en place d’un système de gestion de documentsMise en place d’un système de gestion de documents Système de gestion et de publication des ressources

numériques (gestion des droits, indexation LOM-FR, DC, TEF.., indexation classification des UNT)

Système de production impliquant les acteurs concernés (workflows)

Systèmes de partage (échange de métadonnées /OAI-PMH)

Système de recherche avancé (métadonnées, texte intégral), accès thématiques

Utilisation de vocabulaires provenant de référentiels communs ou spécifiques [issus du SI] à chaque étape du processus de référencement/consultation

Page 9: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 9

Les acteurs

Avec le soutien du MENESR

UNTÉtablissements

Page 10: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 10

Les fonctions du systèmeLes fonctions du système

Page 11: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 11

ORI-OAI – Points clés

Gérer et publier les documents numériques de l’établissement

Référentiel unique connecté au SI

Accès thématique aux ressources

Système de recherche avancée

Page 12: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 12

ORI-OAI – Points clés

Partager les ressources numériques avec d’autres établissements enrichir l’offre numérique augmenter la visibilité des ressources mutualiser les coûts

Valoriser la production scientifique et pédagogique par une indexation de qualité

Accéder aux ressources numériques à distance en fonction des droits d’accès

Page 13: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 13

Types de documents

Ressources d’enseignement polycopiés numériques, exercices, ressources

pédagogiques multimédia (format LOM, LOM-fr)

Travaux d’étudiants rapports de stage synthèses bibliographiques

Travaux de recherche publications, pré-publications, rapports techniques mémoires de Master, mémoires de Thèse (format TEF)

Ressources documentaires éditoriales revues, livres électroniques (format Dublin Core)

Page 14: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 14

ConceptsConcepts

Page 15: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 15

Projet ORI-OAI

principe du référencement

Page 16: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 16

Workflow simple (étape auteur)

Entrepôt de données ORI-OAI

Auteur

Workflow simple (auteur)

Titre

Description

Auteur

Document Upload

Métadonnées

Doc

A publier

Page 17: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 17

Workflow Simple (étape documentaliste)

Entrepôt de données ORI-OAI

Documentaliste

Workflow simple (documentaliste)

Titre

Description

Auteur

Document

Métadonnées DocPublié

Publier RejeterPublier Rejeter

Page 18: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 18

Principes de ori-oai-workflow

Privé

En attentede publication

Publié

Demander à publier

publier

retirer

rejeter

[propriétaire,modérateur]

[propriétaire]

[modérateur]

créer[tous]

indexer

désindexer

Envoi mail modérateur

Envoi mail propriétaire

Positionner permissions

EtatsTransitions

ConditionsActions

Diagramme Etats / Transitions

Page 19: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 19

Gestion des vocabulaires

Centralisation et automatisation des vocabulaires

Répartition en réseau des vocabulaires avec tolérance à la panne (cache intelligent)

Utilisés en amont (workflow) et en aval (recherche, OAI) Chaque vocabulaire est partageable par x établissements,

UNT/UNR

Vocabulaires de référence fermés et statiques avec peu de fluctuations (taxonomies, liste de mots-clés fermés)

Vocabulaires dynamiques générés automatiquement depuis une annuaire LDAP ou Active Directory d’après les valeurs déjà indexées (auteurs, mots-clés libres) d’après des référentiels existants (bases de données…)

Page 20: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 20

Projet ORI-OAI

principe des échanges

Page 21: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 21

Entrepôt ORI-OAI

DocumentDocument

Document

Entrepôt ORI-OAI

Stockage des ressources numériques

Métadonnées sur les documents Dublin Core LOM-fr Etc.

Métadonnées

Page 22: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 22

Open Archive Initiative (OAI)

Etablissement A

Moissonneur

UNT, UNR, …

Entrepôt

Etablissement BEntrepôt

OAI

OAI

OAI

Page 23: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 23

OAI pour l’utilisateur internaute

MoissonneurOAIUNT

Entrepôt Entrepôt

Site W

ebU

NT

Recherche

•Accès au site•Lancement de la recherche•Résultat de la recherche•Accès au 1er document•Accès au 2ème document

Page 24: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 24

OAI pour l’utilisateur d’un établissement

Entrepôt Entrepôt

ENT

?Moissonneur

OAIEtablissement

Recherche •Accès à l’ENT(authentifié)

•Lancement de la recherche•Résultat de la recherche•Accès au 1er document•Accès au 2ème document

Page 25: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 25

Fédération d’identités (Shibboleth)

EntrepôtS

hib

Qui est-ce ?

Un étudiant en médecine 2ème année

•Tentative d’accès au document•Requête à l’établissement « fournisseur d’identités »•Réponse à l’établissement « fournisseur de services »•Accès au document

Page 26: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 26

UNIT

Vue Consortium

Site WebUNIT

Moissonneur

UVED

Moissonneur

Site WebUVED

Etc…

Page 27: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 27

UNIT

Vue établissement

Entrepôt

Shib

OAI

UN

R

U

VED

.euENT

Moissonneur

Page 28: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 28

ImplémentationImplémentation

Page 29: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 29

Projet ORI-OAI

acteurs impliqués

Page 30: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 30

Acteurs du développement

Équipe de pilotage avec des représentants des établissements des UNT des SCD

Équipe fonctionnelle 1 coordinatrice 10 membres du groupe « Ressources

pédagogiques » 8 membres du groupe « Thèses » 7 membres du groupe « Archives ouvertes »

Page 31: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 31

Acteurs du développement

Équipe technique 1 coordinateur 1 conseiller technique 5 développeurs

2 Université de Rennes 1 1 INP Toulouse - ENSEEIHT 2 Université de Valenciennes

Page 32: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 32

Projet ORI-OAI

développement

Page 33: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 33

Généralités

ORI-OAI est composé de 7 modules

Composants interopérables avec des outils existants Utilisation de standards comme OAI, XML-RPC, SOAP,

WEBDAV

Différentes versions des composants Portlet à intégrer dans un moteur type ENT(JSR 168) Standalone: application indépendante

Plusieurs distributions prévues Les modules peuvent être associés les uns aux autres suivant

le cas d’utilisation (UNT, UNR, établissement, …)

Page 34: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 34

Technologies

Java J2EE Spring : Inversion de Contrôle, injection de dépendance Hibernate : Liaison facilitée aux bases relationnelles XFire : Web services SOAP simplifiés et efficaces AOP/AspectJ : Gestion transversale non-intrusive des

transactions et des permissions Lucene et LIUS : indexation XML, plein-texte et de formats

binaires (PDF, Word, RTF…) par Apache et l’université Laval (Québec)

OAICat : implémentation Java populaire de OAI-PMH par OCLC

OSWorkflow : Framework pour workflow très souple et paramétrable

Orbeon / OPS : Puissant framework de formulaires Web basé sur Xforms

I18N : localisation des IHM

Page 35: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 35

Projet ORI-OAI

architecture

Page 36: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 36

Architecture globale

LDAPSSO

ESUP-serveur-WebDAVstockage des documents et

gestion des authentifications

ORI-OAI-repositoryentrepôt d’exposition

des métadonnées

ORI-OAI-indexingmoteur d’indexation

ORI-OAI-workflowgestionnaire du workflow

de saisie des métadonnées

ORI-OAI-vocabularygestionnaire de vocabulaires

InternetInternet

ORI-OAI-harvestingmoissonneur de métadonnées

ORI-OAI-searchmoteur de recherche

Page 37: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 37

Gestion des documents locaux

UtilisateursSSO

ESUP-serveur-WebDAV ORI-OAI-repository

ORI-OAI-indexingORI-OAI-workflow

ORI-OAI-vocabulary Saisie du lien vers le(s) document(s) Saisie des métadonnées via vocabulaires Indexation des métadonnées

Exposition OAI (optionnelle) Exposition des fiches par requêtes sur

l’index Génération de sets OAI via le

vocabulaire

Page 38: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 38

Moissonnage par OAI

InternetInternet

ORI-OAI-repository ORI-OAI-harvesting

ORI-OAI-indexing

ORI-OAI-vocabulary Moissonnage des fiches de métadonnées via

OAI Indexation des métadonnées

Exposition OAI (optionnelle) Exposition des fiches par requêtes sur

l’index Génération de sets OAI via le vocabulaire

Page 39: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 39

Recherche de documents locaux

ORI-OAI-indexingORI-OAI-workflow

ORI-OAI-vocabulary ORI-OAI-search

Génération des interfaces à partir du vocabulaire

Recherche dans l’index Récupération de la fiche pour l’affichage Traduction de certains résultats via

vocabulaire

Page 40: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 40

Recherche de documents distants

ORI-OAI-harvesting

ORI-OAI-indexing

ORI-OAI-vocabulary ORI-OAI-search

Génération des interfaces à partir du vocabulaire

Recherche dans l’index Récupération de la fiche pour l’affichage Traduction de certains résultats via

vocabulaire

Page 41: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 41

Projet ORI-OAI

calendrier

Page 42: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 42

Calendrier

Version BETA Distribuée fin juin 2007 à 7 établissements Tests juillet et août Retours fin août

Version 1.0 Finalisation septembre 2007

Après retours des BETA-testeurs

Page 43: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 43

Repères

Site du projet http://www.ori-oai.org

Sources http://

sourcesup.cru.fr/softwaremap/trove_list.php?form_cat=318

Contacts Liste de diffusion publique ori-oai-utilisateurshttp://listes.univ-rennes1.fr/wws/subscribe/ori-oai-utilisateurs

Page 44: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 44

DémonstrationsDémonstrations

Page 45: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 45

Demonstrations

Dépôt d’un document LOM, workflow :http://cas.enseeiht.fr/ori-oai-workflow

Recherche thématique & avancéehttp://cas.enseeiht.fr/ori-oai-search

Recherche relookéehttp://cas.enseeiht.fr/moodle-web

Moissonneurmoissonneur ENSEEIHT

Page 46: Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007

Amiens, 13 juillet 2007 RMLL 2007 46

Merci !

[email protected]