Embed Size (px)
DESCRIPTION
Ubib.fr est un service de renseignement en ligne créé par les bibliothèques de 7 universités de l'Ouest de la France. Ce diaporama présente ce service et plus particulièrement son plan d'évaluation.
Citation preview
ENSSIB – 3 juin 2009
ubib.fr
2
une formation / un article
3
journées ABES 2007
Atelier Service de référence virtuelle, intervention de Nicolas MORIN
4
redémarrage
Reprise du projet par Virginie EVEN pour le compte du RUOA
5
bâtir
une communication
une évaluation
une organisation
une formation
6
bâtir
une communication
une évaluation
une organisation
une formation
7
universités partenaires
8
Groupe de travail
9
Comité de pilotage
10
des besoins / un outil
Organisation collaborative
+Service asynchrone (mail)
+Service synchrone (chat)
11
Organiser C ur & œDivers
Sciences humaines & socialesDroit
Lettres
Sciences & Techniques
Santéhttp://www.flickr.com/photos/jkilmer2659/2452287117/
12
organisation : mailCoeur
Lettres SantéDroit SHSSciencesDiversPétales
Administrateur
Personnes-relais
Personnes-ressources
13
organisation : chatCoeur
UBO NantesLe Mans Rennes 2Rennes 1UBSSCD
Plages
Angers
3 4 32 6 4 3
Lundi Mardi Mercredi Jeudi Vendredi9h-11h Le Mans Angers UBO Rennes 1 Nantes11h-13h Nantes Nantes Rennes 1 UBS Le Mans13h-15h UBS Nantes Rennes 1 Nantes Angers
15h-16h30 Rennes 1 UBO Nantes Rennes 2 Rennes 216h30-18h UBO Le Mans Rennes 2 Angers UBO
14
bâtir
une communication
une évaluation
une organisation
une formation
15
Maîtriser son image
16
dépôt de la marqueDépôt de la marque semi-figurative :
= 305 € HT
17
nom de domaineOuverture du nom de domaine :
www.ubib.fr
= O € HT
18
Laissons faire des professionnels
Nous (ne) sommes (que) des bibliothécaires.
20
affiche 40x60
21
marque-pages
22
goodies
23
bâtir
une communication
une évaluation
une organisation
une formation
24
se former
30 stagiaires
1, 5 jours
4 mois après l'ouverture
150 € / stagiaire
25
se former
aborder enrichiradapter
le savoir-répondre
26
disséminer
http://www.flickr.com/photos/antigone27/2719687128/
27
sites web
28
sites web
29
sites web
30
e.n.t.
31
le qwidget
32
sites web
33
www.ubib.fr
34
où se trouve l'usager
35
bâtir
une communication
une évaluation
une organisation
une formation
36
Évaluer ? Oui, mais quoi ?
Les résultats Le coût
Les ressources La procédure
37
Évaluer ? Oui, mais quoi ?
Les résultats informations délivrées
qualité des réponses
utilité des réponses
38
Évaluer ? Oui, mais quoi ?
efficacité efficience
système utilisé La procédure
39
Évaluer ? Oui, mais quoi ?
Livres, revues, bases de données Interface des
environnements physiques et virtuelsLes ressources
40
Évaluer ? Oui, mais quoi ?
par questionpar session
Le coût
rentabilité productivité
41Photo de Cliff1066
Évaluer l'activité pour piloter
42
Mesurer l'activité
9 indicateurs mis à jour mensuellement
diffusés sur le wiki ubib
43
Indicateur n° 1
Nombre de requêtes (mail + chat)
44
Indicateur n° 2
Répartition des requêtes entre le mail et les session de chat
45
Indicateur n° 3
Répartition des mails par pétale
46
Indicateur n° 4
Part du widget dans les sessions de chat
47
Indicateur n° 5
Répartition journalière des sessions de chat
48
Indicateur n° 6
Durée médiane et moyenne de la session
de chat
49
Indicateur n° 7
Répartition des mails par université de
provenance
50
Indicateur n° 8
Délai de la réponse par mail
(Indicateur en construction)
51
Indicateur n° 9
Répartition par type de questions posées(Indicateur en construction)
Mais ce n'est pas
(complètement) de
notre faute
52
Quelle place pour les normes ?
Indicateurs = fiabilité + comparabilité
53
ISO 2789 : statistiques de bibliothèques
● Définition très restrictive de la « demande d'information. » :
« opération de médiation auprès du public par le personnel de la bibliothèque
à partir d'une ou de plusieurs sources d'informations (...) »
54
ISO 2789 : statistiques de bibliothèques
Comprend Ne comprend pas
55
ISO 2789 : statistiques de bibliothèques
Comprend Ne comprend pasDemandes bibliographiques
Instructions sur l'utilisation des ressources
56
ISO 2789 : statistiques de bibliothèques
Comprend Ne comprend pasDemandes bibliographiques
Instructions sur l'utilisation des ressources
Demandes de renseignements
Questions d'orientation
Questions administratives
Questions pratiques
Questions sur la localisation de documents identifiés dans le
catalogue
57
ISO 11620 : Indicateurs de performance des bibliothèques
● Taux de réponses correctes
Mesurer la qualité globale du service
● Pourcentage des demandes d'information transmises par voie électronique
Mesurer l'impact du service
58
ISO 20983 : Indicateurs de performance des services électroniques des bibliothèques
● Pourcentage de demandes d'information transmises sous forme électronique
Transposition des indicateurs 11620 aux service électroniques
59
Quelle place pour les normes ?
Finalement, les indicateurs ne décrivent qu'une part (très)
réduite de l'activité des services de renseignement en ligne
60
Évaluer la qualité du service
61
Mesurer la satisfaction de l'usager
3 questions + 1 zone de commentaire dans un formulaire web
lien à la fin de chaque échange : mail de réponse
+ transcription du chat
62
Mesurer la satisfaction de l'usager
Principale question : Utiliserez-vous ce
service de nouveau ?
Ne mesure pas l'utilité de la réponse
63
Mesurer la satisfaction de l'usager
64
Mesurer la satisfaction de l'usager
la satisfaction n'est pas la qualité
65
Évaluer la qualité du service
● 1ère idée : mesurer la pertinence de la réponse lors de son utilisation par l'usager● Avantage : évaluer la réponse non plus lors de l'échange mais
lors de son utilisation (parfois plus tardive)● Problème : comment sélectionner les questions ? comment
définir une réponse « utile » ? comment recontacter les usagers ?
66
Évaluer la qualité du service
● 1ère idée : mesurer la pertinence de la réponse lors de son utilisation par l'usager● Avantage : évaluer la réponse non plus lors de l'échange mais
lors de son utilisation (parfois plus lointaine)● Problème : comment sélectionner les questions ? comment
définir une réponse utile ? comment recontacter les usagers ?
Mauvaise Mauvaise
idéeidée
67
Évaluer la qualité du service
● 2ème idée : évaluer la qualité des réponses
● Période de référence donc sessions identifiées
● Codage des sessions par 2 bibliothécaires
● Codage sur le type de question, le type de traitement, le type d'usager
68
Parenthèse sur le type de question● Orientation
● Renseignement rapide (encyclopédique)
● Recherche particulière (par ex. liste d'ouvrage
● Recherche approfondie
● Procédure et règlement
● Localisation
69
Parenthèse sur le type de traitement
● Exact et complet avec références citées● Exact et complet sans références citées● Inexact avec des références citées, datées ou fausses● Inexact sans références citées● Pas de réponse mais suivi par mail, téléphone ou en personne● Redirection (vers une autre bibliothèque/bibliothécaire, sans suivi)● Exact sans citation requise● Problèmes techniques, fermeture soudaine de la session ou inapproprié ● Test
70
Trianguler l'évaluation
Usager
Bibliothèque ?
71
Trianguler l'évaluation
Usager
Bibliothèque ?
Questionnaire de satisfaction
Évaluation qualitative des réponses
Mesure de la pertinence des informations
72
Trianguler l'évaluation
Usager
Bibliothèque ?
Mesure de l'activité du service
Transcripts pour l'analyse des techniques d'entretien et de négociation avec l'usagerAnalyse du coût si besoin
73
Trianguler l'évaluation
Usager
Bibliothèque
Questionnaire de satisfaction
Suggestion d'amélioration du service
Besoin en formation
Bibliothécaire
74
Évaluer l'impact du service
75
Beaucoup de com' pour rien ?
● Évaluer la connaissance de l'existence du service● Objectif : le service est-il connu ? Les efforts de communication
et de dissémination sont-ils efficaces ?● Méthode : partie d'un questionnaire diffusé sur l'ensemble des
universités participantes● Problème : partie d'un questionnaire diffusé sur l'ensemble des
universités participantes
76
20783, le retour
● Mesurer le taux de pénétration du service● Objectif : déterminer l'importance d'ubib.fr dans les pratiques de
renseignement● Méthode : calculer la part des renseignements électroniques
parmi l'ensemble des renseignements● Problème : indicateur difficile à mesurer dans 1 SCD alors dans
7...
77
En conclusion
Un service peu innovant mais opérationnel
+ Un terrain français peu exploité
+ Un plan d'évaluation « natif » en construction
= un projet passionnant mais loin d'être achevé
78
in the clouds
www.zotero.org/nicolas.alarcon
Ce diaporama sur :
www.slideshare.com/alarcon
Éléments bibliographiques sur :
