Evaluer l’activité documentaire dans un environnement ... · fédéré, logiciel de gestion des références bibliographiques, outil ... par mois et BDD ; par mois et par service

30/09/2010P Carbone Journées RNDH1

Evaluer l’activitédocumentaire dans un environnement numérique

Journées duRéseau National des Documentalistes Hospitaliers30 septembre 2010


évolution des activités documentaires


le documentaliste au centre

Médiation directe du documentaliste :Documents physiques conservés & signalés dans un catalogueL’utilisateur passe par le centre pour consulter le documentTransactions enregistrées par le centreLogique de l’offreUtilisateurs connus, besoins repérésGestion de stocks et de fluxModèle « productiviste » : rapport arithmétique moyens / résultatsNormes et ratios déclinables en fonction de la taille


l’utilisateur au centre

Accès direct de l’utilisateur au documentDocuments physiques en accès libreComportement des utilisateurs moins repérableLogique de la demande : mettre à disposition des documents répondant à leurs besoinsFormation à l’usage de la documentation ( => autonomie)Etudes sur le comportement des utilisateurs (dès les années ’70)

• Trouvent-ils ce qu’ils cherchent ? (cf. test de Saracevic ; aussi évaluation des collections à partir des bibliographies de publications)

• Utilisent-ils ce qu’ils trouvent ? Et comment ? (l’exposition aux documents)

Taux de satisfaction ; disponibilité


diversification de l’offre et des services

Documents et produits de plus en plus divers (manuscrits, imprimés, microformes, audiovisuel)Informatique : outil de gestion (SIGB, SID), accès à des bases de données, puis au contenu (CD-Rom, DVD-Rom)Nouveaux services : recherche documentaire informatisée, veille, début de la numérisation…Non plus gestion de stocks mais valorisation de ressourcesCompétences documentaires des usagers de plus en plus centralesPrendre en compte les spécificités : de la norme au projet


la révolution numérique

Avec Internet, modification de la chaîne auteur –éditeur – diffuseur – utilisateur (tout le monde peut publier)Le numérique « simule » tous les autres médias (texte, son, image)Il fait éclater les notions de collection, de document au profit d’unités d’information ( chapitre / livre ; article / fascicule)Les deux versants :

Production native gratuite ou payanteDocuments numérisés

Le centre documentaire fournit le service, mais a du mal à connaître l’usage


l’accès en ligne aux contenus

De plus en plus de chemins vers le même contenuDéveloppement de services web, accès à distanceLe centre documentaire devient invisible, ou transparentUne offre encore mixte : papier et électroniqueAccès et propriété : ressources acquises / ressources libres ; ressources accessibles le temps de l’abonnementExplosion de l’usage qui remet en cause la pertinence des abonnementsConnaître plus finement les usages


une évaluation quantitative


ISO 2789 Statistiques internationales de bibliothèques (4e

éd., 2006)Documents physiques sur différents supports (y compris électroniques)Unités matérielles, titres, mètres linéairesStock et flux

Prêts Consultation sur place Prêts entre bibliothèquesEntrées

Ressources en ligne acquises :Bases de donnéesDocuments numériquesLivres électroniquesPériodiques électroniques

Ressources gratuites de l’internetUnités de contenu documentaireOu enregistrements descriptifs

SessionsTéléchargementsVisites virtuelles


ISO 2789 : mesure de l’utilisation des services électroniques

Sessions : nombre, durée, nombre de sessions rejetéesTéléchargementsVisites virtuelles : nombre – 3 méthodes proposées et à améliorer

Visite effectuée par un navigateur (gestion de « cookies » pour identifier un navigateur unique)Visites effectuées par des adresses IP (mais problème des proxies)Visite effectuée sur la page d’accueil (mais accès direct à d’autres pages possible)



évolutions à apporter à ce schéma – les ressourcesUne diversité à prendre en compte :

des ressources en ligne acquises avec un droit d’accès (permanent ou non)des ressources librement accessibles, intégrées dans la collection sous formes de signets ou de notices de catalogue avec le lien URLdes sites web participatifs constituant des espaces de travail collaboratif des ressources numérisées par l’institutiondes ressources en ligne archivées à tire pérennedes productions électroniques de l’institution (thèses, archives ouvertes)

Diversité des manières de compter :Audio et vidéo : heures plutôt qu’unités matériellesDocument numérisé : pages plutôt qu’unités matériellesAspects qualitatifs : format (de production, de consultation, d’archivage) ; résolution, etc…


évolutions à apporter : services, accès et usageServices : accès, mais aussi :Production de documents nés

numériques,Numérisation de documents par l’institution,Conservation / préservation électronique, soit sous forme collaborative, soit au sein de l’institutionServices de référence en ligne... et aussi services collaboratifs : blogs, indexation sociale, etc...services pédagogiques : e-learning, plateformes d’auto-formation, FOAD

Modes d’accès :gratuit / payant, (ou mixte), sur place / distant sur authentificationconstitution d’espaces personnelspar le SI ou par un portailprotocoles d’échanges OAI,

Conditions légales d’usage des ressources, et protection technique,Outils : moteur de recherche fédéré, logiciel de gestion des références bibliographiques, outil de GED, système ERMs


les statistiques de consultation en ligne

Fournies par l’éditeur et/ou produites en local (analyse des logs) ?

Cf. Rapport Barral : http://www.sup.adc.education.fr/Bib/Acti/Electro/mission_barral.pdfUn code accepté par les partenaires : Counter, mais peu pratiqué par l’édition en France ; une terminologie, des données de base, une méthode de certification et d’auditDifficultés à agréger les statistiques une norme de moissonnage (SUSHI - Schemas for the Standardized Usage Statistics Harvesting Initiative, http://www.niso.org/schemas/sushi )Statistiques sur le nombre d’articles téléchargés et sur les titres, pas sur les articles ni sur les articles en open accessLes chercheurs stockent des liens, et téléchargent n fois le même article


COUNTER

Counting Online Usage of NeTworked ElectronicResources

http://www.projectcounter.org/Traduit en français par l’INIST : http://counter.inist.fr/

Journals and Databases Release 3, Août 2008Books and Reference Works, Release 1, Mars 2006Développements : projet PIRUS Publisher andInstitutional Repository Usage Statistics avec le JISC : http://www.jisc.ac.uk/whatwedo/programmes/pals3/pirus.aspx

But : permettre d’établir et de consolider des statistiques d’usage des articles de revues électroniques qui puissent être implémentées par tout organisme hébergeur (éditeur, agrégateur, dépôt d’archives ouvertes, etc...


les rapports COUNTERrevues bases de données (BDD) e-books

téléchargementspar mois & par titre ; par

format (pdf, html)par mois et par titre ;

par mois et par partie

téléchargements d'archives

par mois & par titre ; par format (pdf, html)

échecs de connexion par mois et par titre par mois et BDD

par mois et par titre ; par mois et par service

requêtes réussies par année et par titre

recherches et sessions

par mois et BDD ; par mois et par service

par mois et par titre ; par mois et par service


la mesure de la consultation – les analyses locales

Insuffisance des rapports Counter : beaucoup d’éditeurs et de fournisseurs (notamment français) ne les fournissent pasDépendance à l’égard du secteur marchand pour des données stratégiquesUtiliser des traces pour les consultations à partir du domaine de l’établissement (les fichiers logs) :

Données plus fines : utilisateur, item consulté, durée, cheminementDeep log analysis…Mais consommateur en temps et en ressourcesA utiliser en complément


ISO 11620 – Indicateurs de performance des bibliothèques, 2e éd., 2008

Notion de performance : tableau de bord à 4 dimensionsEfficacité : rapport objectifs / résultatsEfficience : rapport moyens / résultats

Ressources accès et infrastructure% des sessions rejetées

UtilisationNombre d’unités de contenu documentaire téléchargées par personne

EfficienceCoût des bases de données par sessionCoût par unité de contenu documentaire téléchargée

Potentialités et développement% des dépenses en fourniture d’information consacrées à la collection électronique

À noter : Bénédicte Briand et al. « Indicateurs de performance des services documentaires », Documentaliste-Sciences de l'Information 1/2002 (Volume 39), p. 26-33.

URL : www.cairn.info/revue-documentaliste-sciences-de-l-information-2002-1-page-26.htmDOI : 10.3917/docsi.391.0026.


une évaluation qualitative


enquêtes et sondagesEnquêtes locales

Sondage auprès de son public, méthodologie à définir selon les objectifs, les question qui se posent

LIBQUAL+: www.libqual.orgMis au point par l’Association of Research LibrariesPossibilité de se comparer à d’autres centres3 niveaux de satisfaction : perçu /souhaité / minimal (de 1 à 9)

• L’accès à des ressources électroniques depuis mon domicile ou mon bureau

• Un site web qui me permet de repérer ce que je recherche de façon autonome

• Les ressources électroniques dont j’ai besoin• Des revues électroniques ou papier correspondant à mes besoin

DIGIQUAL et MINES (Measuring the Impact of Networked Electronic Services), voir le portailSTATSQUAL : http://www.digiqual.org


projets de recherche

Etudes CIBER : www.ucl.ac.uk/infostudies/research/ciberProjet ANR / EPEF (2007-2009) : http://epef.anr.free.frMESUR : cartographie de la science à partir des téléchargements et des citations

www.mesur.org(Los Alamos National Laboratory, octobre 2006 –

octobre 2008)…


QUALIBIB

Document de normalisation Afnor CG46/CN8www.bivi.fonctions-documentaires.afnor.org

Guide pratique pour l’amélioration de la qualité de l’accueil et des services dans les bibliothèques et centres de documentationCf. Chartes MarianneFiches indicateur Qualibib :

n°1 : taux d’échec en matière d’orientation et de servicesn°3 : taux de réponses envoyées hors délai ou non envoyéesn°5 : taux d’indisponibilité des services en ligne

Engagements : qualité, délais, écoute des usagers


mesure et politique documentaire en temps de crise


coût et valeur du serviceRetour sur investissement (ROI)

Rapport coût / utilisationCoût des téléchargements par ressource% titres utilisés par ressourceCoût de téléchargement / coût d’un pay perviewTemps de chercheur économisé

Retour sur investissementÉvolution des publications des chercheursEvolution des citations de leurs publicationsImage, réputation


le local et le réseau

Situer l’organisme dans le réseauDistinguer entre offre de base généraliste et offre plus spécialiséeTraiter au niveau du réseau (groupement de commandes) l’offre généralisteSe concentrer au niveau local sur les spécificitésDévelopper les échanges au sein du réseauPrendre en compte les évolutions de structure (CHU / GHU)Etablir une cartographie du réseauSituer le réseau par rapport à d’autres initiatives (cf. Couperin, les PRES, CTRS, pôles de compétitivité, grand emprunt…)Entrer dans une mutualisation nationale pour certaines ressources


un tableau de bord

Place de la documentation dans le projet de serviceDéfinir des objectifs à moyen termeDéfinir des indicateurs en relation avec ces objectifsSuivre régulièrement la réalisation des indicateursPartager les bilans (synthétiques) avec la direction et les usagersSuivre particulièrement l’évolution du taux de satisfaction des usagers


Merci de votre attention !

[email protected]