Pierre-Yves Renard
19 novembre 2009
statistiques, indicateurs, performance, qualité…prendre la mesure de la bibliothèque
Page 2
La mesure de la bibliothèquePYR 19_11_2009
La politique, c'est l'art de chercher les problèmes, de les trouver, de les sous-évaluer et ensuite d'appliquer de manière inadéquate les mauvais remèdes.
Groucho Marx
Page 3
La mesure de la bibliothèquePYR 19_11_2009
Quelque chose comme 4 messages
›Compter, mesurer (ISO 2789)
›Démontrer (ISO 11620)
›Organiser (Qualibib)
›Cuisiner (Afnor, ISO & Co)
Page 4
La mesure de la bibliothèquePYR 19_11_2009
Une approche top-downà partir des politiques
publiques et de leur évaluation
Une approchebottom-upà partir des outils
Page 5
La mesure de la bibliothèquePYR 19_11_2009
Une approche « objectiviste » : l’activité d’évaluation vise
l’établissementd’une vérité
administrative
Une approche« subjectiviste » : l’activité d’évaluation s’inscrit dans des jeux de communication et de pouvoir
Page 6
La mesure de la bibliothèquePYR 19_11_2009
L’administration bureaucratique
Le nouveau management public
La coproduction administrative ? ? ?
Les changements de paradigmes administratifs
Indicateurs de suivi Indicateurs de performance
Baromètres de satisfaction ? ? ?
Page 7
La mesure de la bibliothèquePYR 19_11_2009
… les grands débats des bibliothèques sont souvent une histoire de chiffres
› Les m², les places assises› Les horaires d’ouvertures› Le prix des ressources électroniques…›… et leur consultation› Les achats de livres des emprunteurs›…
Page 8
La mesure de la bibliothèquePYR 19_11_2009
Le régime du storytelling…
›Les gens(*) ont peu de temps›Ils aiment les histoires›Ils adorent les chiffres›Les chiffres racontent une histoire
(*) Les décideurs, le public, les interlocuteurs de la bibliothèque…
Nous sommes passés de l’ère de la démonstration à l’ère de la narration
Page 9
La mesure de la bibliothèquePYR 19_11_2009
… et la nécessité de choisir les bons indicateurs
Documents Prêts
45 230 78 250
› La bibliothèque est ce qu’elle peut raconter d’elle-même
› Quelle histoire allez-vous raconter avec vos chiffres ? Quels chiffres allez-vous rassembler pour raconter votre histoire ?
Page 10
La mesure de la bibliothèquePYR 19_11_2009
L’utilité d’une culture de l’évaluation pour les bibliothèques
› La bibliothèque est en concurrence avec les autres services en matière « d’exposition », en matière de « faire savoir », et ce, selon les « cadres » utilisés par l’administration
Page 11
La mesure de la bibliothèquePYR 19_11_2009
Quelle méthode ? Face à la multiplicité des interlocuteurs…
Page 12
La mesure de la bibliothèquePYR 19_11_2009
Quelle méthode ? Du fait de la diversité des sources et des contextes…
Page 13
La mesure de la bibliothèquePYR 19_11_2009
Pas de méthode, mais un référent…
›Maître du « système d’information statistique », il/elle concentre les données recueillies ou produites, les organise et les met en forme, puis diffuse les résultats
données livrable
Page 14
La mesure de la bibliothèquePYR 19_11_2009
Compter, et avant de compter, définir
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
› ISO 2789 statistiques internationales
de bibliothèques : le sommaire–Définitions
‐Bibliothèques, Collection, Usage et usagers,
Accès et équipement, Dépenses, Personnel
–Utilisation, avantages and limites d’utilisation des statistiques
–Présentation des données statistiques
–Collecte des données statistiques
–Annexe A : mesurer l’utilisation des services électroniques
–Annexe B : catégories complémentaires recommandées
Page 15
La mesure de la bibliothèquePYR 19_11_2009
Les statistiques à la poursuite de la réalité
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
›Hier
Lecteurs / livres
› Aujourd’hui
Utilisateurs / services
? ??
Besoin de données
Facilité de la collecte, clarté des concepts
Page 16
La mesure de la bibliothèquePYR 19_11_2009
ISO 11620 : construire des indicateurs solides
› ni guide d’évaluation, ni catalogue d’indicateurs– 1. domaine d’application
– 2. référence normative
– 3. définitions
– 4. critères [de recevabilité] et cadre de description [des indicateurs]
– 5. emploi des indicateurs
– annexe A : liste des indicateurs
– annexe B : description des indicateurs
– annexe C : bibliographie
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Page 17
La mesure de la bibliothèquePYR 19_11_2009
Indicateurs : définition technique, définition politique…
›Définition technique : quantifié, l’indicateur mesure la réalisation de l’objectif précédemment défini et permet d’apprécier l’atteinte d’une performance le plus objectivement possible.
›Définition « politique » : mesure que des acteurs, parties prenantes d’une organisation aux objectifs explicités ou contractualisés, se sont accordés à utiliser pour rendre compte d’un niveau de réalisation ou d’une évolution, en vue de contribuer au diagnostic ou à l’amélioration des performances.
ISO 11620 aide à construire des indicateurs techniques, pas à définir des indicateurs politiques
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Page 18
La mesure de la bibliothèquePYR 19_11_2009
Indicateurs : des points de vue différents,l’approche de l’administration
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Point de vue Catégorie d’objectifs
Exemple d’objectif
Exemple d’indicateur
Citoyen Efficacité socio-économique
Améliorer l’insertion professionnelle des jeunes
Taux d’emploi six mois après
le diplôme
Usager Qualité du service rendu
Accélérer les décisions judiciaires
Durée moyenne de la
procédure
Contribuable Efficience de la gestion
Réduire le coût de gestion de l’impôt
Coût d’un impôt par
contribuable
Page 19
La mesure de la bibliothèquePYR 19_11_2009
Indicateurs : des points de vue différents,l’approche « classique »
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
objectifs
moyens résultats
perti
nenc
e efficacité
efficience
Page 20
La mesure de la bibliothèquePYR 19_11_2009
Le « carré » de la performance
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r besoins
moyens
résultats objectifs
satisfaction pertinence
besoins
efficience cohérence
Société besoins objectifs résultats effetsmoyens
cohérence efficiencepertinence
efficacité
satisfaction
impact
› Le carré de la performance : introduit les « besoins »
› Le carré déplié
Page 21
La mesure de la bibliothèquePYR 19_11_2009
Les indicateurs entre nouveau management public et théorie des incitations
Page 22
La mesure de la bibliothèquePYR 19_11_2009
Imprimer une logique « évaluation » à la norme
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
4 familles d’indicateurs / approche balanced scorecard
• ressources, accès etinfrastructure• utilisation• efficience• potentialités etdéveloppement
Page 23
La mesure de la bibliothèquePYR 19_11_2009
Effets indésirables, pervers, secondaires… des indicateurs
› « payez suffisamment ou ne payez pas du tout »
›Décourager les meilleurs
› Encourager les moutons
(augmenter le taux de césariennes, favoriser la triche…)
Page 24
La mesure de la bibliothèquePYR 19_11_2009
Le cadre intangible de description des indicateurs
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
›objectif›domaine d’application›définition›méthode› interprétation des résultats›sources› indicateurs associés
B
A
‐ où A représente un niveau d’activité ou une quantité d’actes
‐ où B rapporte A à une unité de moyens (€, ETP, temps…)
)100(
Page 25
La mesure de la bibliothèquePYR 19_11_2009
Qualité et performance 1
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
›Qualiticiens versus performeurs publics : qui inclut l’autre ?
› Première proposition, la qualité est centrée sur les usagers et les processus, la performance fait référence aux missions et aux activités dictées par les missions
Page 26
La mesure de la bibliothèquePYR 19_11_2009
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Résultat voulu
Résultat attendu
Résultat réalisé
Résultat perçu
Évaluationde la satisfactiondes besoins et de
l’impactdes actions
menées
Évaluationde la pertinence
et de la cohérencede l’engagement
Évaluationde la qualité
de la perception(coïncidence)
Évaluationde la qualité
de la réalisation(efficacité /efficience)
Qualité ?Performance ?
Page 27
La mesure de la bibliothèquePYR 19_11_2009
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Vouluopérationnel
Attendu usagers, clients
Réaliséprestataire
Satisfactionde l’usager
Efficacitéopération.Perçu
usagers, clients
Résultat voulupolitique
Résultat attenduAtt. citoyennes, besoins
Résultat réaliséEffets indirects
Résultat perçuglobal, citoyen
Efficacitépolitique
Satisfactiondu citoyen
citoyen client/usager prestataire politique
Contraintes réglementaires, économiques
Page 28
La mesure de la bibliothèquePYR 19_11_2009
Qualité et performance 2
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
›Deuxième proposition : la qualité repose sur des référentiels externes (exemple la charte Marianne), la performance repose sur l’élaboration de référentiels internes (à la réalisation desquels peut contribuer la norme ISO 11620)
Page 29
La mesure de la bibliothèquePYR 19_11_2009
L’adaptation de concepts issus du privé
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
› Performance et qualité : des concepts et des outils qui viennent du privé
›Qualité et performance concourent à l’amélioration des résultats financiers
Qualitédes processus
Réductiondes coûts
Qualitéde la relation client
Avantagecompétitif
Intangibilitédes processus
Publiccaptif
RAS
› Pas de problème, pas d’articulation…
Page 30
La mesure de la bibliothèquePYR 19_11_2009
Réconcilier performance et qualité
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
› Performance = « qualité au meilleur coût » ?
› L’administration, dans son approche, en particulier des indicateurs, opère un rapprochement
› Assumer une complémentarité pratique, car les deux mettent en œuvre du management
› Savoir ce que l’on fait et pourquoi on le fait
Page 31
La mesure de la bibliothèquePYR 19_11_2009
Une initiative française
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Page 32
La mesure de la bibliothèquePYR 19_11_2009
La grande famille des normes…
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Pas de bon diaporama sans petits animaux
Page 33
La mesure de la bibliothèquePYR 19_11_2009
Les paradoxes normatifs (rien que ça)
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
› La normalisation suppose :
– du temps– le consensus– du recul
› Alors que les bibliothèques évoluent :
– vite
– dans des directions différentes
– de façon expérimentale
Page 34
La mesure de la bibliothèquePYR 19_11_2009
Dis, comment on fait les normes ?
›C
ompt
er›
Dém
ontr
er›
Org
anis
er›
Cui
sine
r
Afnor Commission générale CG46 : information et documentation
Commission nationale CN8 : évaluation des résultats
ISO Technical committee TC46 : information and documentation
Sub Committee SC8 : Quality – statististics and performance evaluation
WG2 (ISO 2789) WG4 (ISO 11620) WG5 (ISO 9707) WG6 (ISO 9230) WG7 (TR 28118) WG8 (TR11219) WG9
Expertise, traduit, vote, propose…
Page 35
La mesure de la bibliothèquePYR 19_11_2009
Pertinence des normes, aujourd’hui
› Elles existent !› Elles rendent compte de ce qui peut être clairement et
sûrement calculé et mesuré aujourd’hui (« au-delà », rien d’assez solide pour être normalisé). [la normalisation = lieu de consolidation ? ]
› En tant que normes internationales, elles donnent (ou devraient donner) un poids supérieur aux mesures et indicateurs qui en sont tirées, dans le cadre des discussions budgétaires ou politiques).
› En particulier dans une perspective de comparaison, elles offrent un langage commun.
Page 36
La mesure de la bibliothèquePYR 19_11_2009