Evaluer un dispositif de veille

Réunion Pôle VeilleIvry sur Seine, 19 octobre 2011

Pôle Veille – Inra. DV‐ISTMarie‐Colette Fauré1

Plan de l’intervention

► Définitions

► Indicateurs

► Evaluer : pourquoi, quoi, comment ?

► Un exemple : évaluation de VERSA

► Evaluation du pilotage d’un dispositif de veille

2

2

En préambule…

Efficacité : mesure la réalisation d’objectifs donnés ;

Efficience : mesure de l’utilisation des ressources pour atteindre un objectif donné (coût/efficacité) ; Ex : Publier avec régularité des bulletins de veille de qualité efficacité du

service de veille

Mais, si le temps passé à sélectionner et traiter les informations est très important le service n'est pas efficient.

Performance : efficacité + efficience (meilleur équilibre)

Évaluation : processus consistant à estimer l’efficacité, l’efficience et la pertinence d’un service ou d’une installation ;

Qualité : ensemble des caractéristiques d’un produit ou d’un service qui déterminent l’aptitude à satisfaire des besoins explicites ou implicites.

Source : Norme ISO 11620::2008 - Information et documentation -Indicateurs de performance des bibliothèques

3

Un indicateur fournit des données chiffrées sur les principaux aspects de l'action évaluée et permet des comparaisons en matière de coûts, volume des activités, nombre de bénéficiaires.

2 grands types d'indicateurs : • Les indicateurs d'activité ou de gestion• Les indicateurs de performance

Un indicateur ne se limite pas à la mesure• La valeur de l’indicateur est fonction de l’objectif défini• un indicateur de performance est jugé pertinent par rapport à un

contexte défini• les indicateurs permettent de mesurer l'atteinte des objectifs.

Pour évaluer : les indicateurs 1.

4

Les indicateurs d'activité mesurent le résultat direct de la production d'un service. Par exemple : Le nombre de visiteurs d'un centre de documentation ou une

bibliothèque Le nombre de bulletins de veille produits.Pas suffisant pour rendre compte de la valeur ou de la qualité des

services

Les indicateurs de performance doivent permettre de juger si les objectifs d'un programme ont été atteints. Par exemple, la diminution du nombre de morts sur les routes pour la politique

de sécurité routière la réduction des délais d'attente, des temps de réponse, du taux

d'erreur pour mesurer la qualité d'un service.

Source : La documentation française - http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-publiques/glossaire.shtml#i

Pour évaluer : les indicateurs 2.

5

A. Ressources – Infrastructure Surface de services publics par personne

Heures d’ouverture hebdomadaire

Nombre d’agents par personne

B. Utilisation Audience

Satisfaction des usagers

Entrées à la bibliothèque par personne

Rotation des collections

Emprunts par personne

Proportion des prêts entre bibliothèques sur le total des prêts

Taux de présence aux séances de formation (par personne)

Exemple : Indicateurs du manuel IFLA - 1

6

IFLA : International Federation of Library Associations and Institutions

C. Efficience Coût par usager

Délai de traitement des documents

Productivité des agents dans le traitement des document

D. Potentialités et développement Pourcentage des dépenses en fourniture d’information consacrées à la collection

électronique

Heures/jours de formation suivis par agent

Pourcentage des crédits de la bibliothèque provenant de subventions spéciales ou de fonds propres

Pourcentage du budget de l’institution alloué à la bibliothèque

Source : Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques universitaires, IFLA, 1995. in : Pascale Talour : les indicateurs, l'évaluation, la performance et les activités de l'IST. http://isidora.cnrs.fr/IMG/pdf/Pascale-Talour_indicateurs.pdf

Exemple : Indicateurs du manuel IFLA - 2

7

1. L'évaluation : une des étapes clé du processus de veille processus itératif

2. Nécessité de contrôler le fonctionnement d'un dispositif de veille :

• Il faut que le système fonctionne

• Il faut qu’il produise des résultats de qualité

• Il faut que le rapport résultats/moyens soit bon

• Il faut qu'il dure.

3. L'évaluation : pour disposer de points de repère, d'éléments de comparaison, pour rendre compte à la hiérarchie…

Pourquoi évaluer un dispositif de veille ?

8

Qu'est-ce que l'on évalue ?

L'évaluation de la veille est très peu documentée dans la littérature.

Les articles sur le sujet évoquent plutôt l'évaluation des étapes opérationnelles du processus de veille, sans doute plus facilement quantifiable.

L'évaluation globale (étapes du processus et pilotage) du dispositif est pourtant nécessaire à une bonne conduite du projet.

9

Sourcing :• Nombre de sources surveillées (fonction du contexte)

• Taux de nouvelles sources /an

• Taux d'élimination /an indique que le sourcing est régulièrement (ou pas) révisé. n'évalue pas la qualité du sourcing.

Collecte et surveillance Nombres d'alertes produites

Taux d’alertes non pertinentes / alertes utiles donne des indications sur le choix ou le paramétrage de l'outil de surveillance ou sur la qualité du sourcing.

Évaluer à chaque étape du processus de veille 1.

10

Traitement de l'information• Volume d'informations traitées

• Nombre de fiches de synthèses ou d'analyses produites… indicateurs quantitatifs

• Temps consacré au traitement et à l'analyse des informations

Diffusion : Nombre de bulletins publiés sur une période donnée

Nombre de lecteurs indicateurs quantitatifs

Régularité des diffusions d'information

Degré de satisfaction des lecteurs indicateurs qualitatifs

Évaluer à chaque étape du processus de veille 2.

11

VERSA : dispositif de veille réglementaire en expérimentation animale, sécurité biologique et sûreté biologique, éthique et bien-être animal du département Santé Animale de l’Inra.

Versa en quelques chiffres• Création : 2005• Nombre de veilleurs : 5 • Nombre d'utilisateurs : 800 • Alertes par semaine : 30• Nombre de textes en base de données : 337• Nouveaux textes insérés en 2010 : 11• Nombre d'informations totales publiées sur la page du veilleur : 122• Nombre d'informations/an publiées sur la Page du veilleur : 20

(environ)

Une expérience : Évaluation de VERSA

12

Après 6 années de fonctionnement, quelques interrogations :

le dispositif est-il toujours conforme aux besoins de son public cible ? la base de données VERSA (en ligne) est-elle exhaustive ? la méthodologie de surveillance est-elle optimale ? l’outil de veille est-il adapté aux besoins des veilleurs ? S'il y a des problèmes, pouvons-nous y remédier et améliorer le

dispositif ?Assurer de la pérennité de VERSA.

Réflexion dans le cadre d'un stage de licence professionnelle en management de l’information du 1er avril au 31 juillet 2011.

Stagiaire : Alexandra CoppolinoCo-encadrement : Céline Housseau (ingénieur qualité du dpt SA) / Marie-Colette Fauré (chargée de veille et d’ingénierie de l’information du dpt SA)

VERSA - Pourquoi évaluer ?

13

Indicateurs suivis depuis l'origine du projet :• Le nombre d'abonnés au site VERSA

• Les statistiques de connexion

2008 – Une enquête de satisfaction auprès des abonnés au terme de 3 années d’activité. Objectifs : évaluer la pertinence de VERSA

identifier les points d’amélioration

déterminer l’intérêt d'élargir le périmètre de VERSA (toxicologie, cosmétique…).

76 participants / 510 abonnés

Évaluation de VERSA : on ne part pas de rien

14

VERSA – Les statistiques de connexion, un indicateur …

15

Vers une constance du nombre de visites2009 : 1 520 visites / mois en moyenne2010 : 1 465 visites / mois en moyenne

Tendance à la « fidélisation » des visiteursVisiteurs différentsde 24 % à 21 % de visiteurs différents entre2009 et 2010

Mode de connexion80 % de connexion directe en 2009 et

89 % en 2010.

Source : M. Gautret - Analyse des statistiques de consultation des sites Web du Département Santé Animale, janvier 2011.

L'analyse préalable de l'existant

Une approche Évaluation / Amélioration continue un tableau SWOT pour évaluer les forces et les faiblesses

Le processus de VERSA revisité avec des points clés à surveiller

La définition et la mise en place des indicateurs

La révision des outils de gestion (plan de veille)

Le début des actions correctives

Évaluation de VERSA : méthode adoptée

16

SWOT POSITIF NÉGATIFInterne Le dispositif VERSA :

- Reçoit l’appui de la direction pour sondéveloppement et son maintien- Répond au schéma stratégique globale du DSA(2004-2007) : cellule de veille stratégique à mettre enplace.- Correspond à un besoin stratégique lié à lacertification ISO 9001 des UE.- Comporte un périmètre de veille bien circonscrit.- L’Expérimentation Animale est un domaine sensible.- Est le seul dispositif de veille réglementaire existantdans ce domaine.- Est géré par un réseau de veilleurs, travaillant dans ledomaine, et animé par le chef de projet.- Contient une richesse de profils des utilisateurs(privés et publics).- Est un outil reconnu au sein du DSA et par sespartenaires.

- L’outil de surveillance n’est pas adapté aux besoins(fonctionnalité limitée).- Sa fonction collaborative n’est pas exploitée par lesveilleurs et les experts (pas de « feedback » et animationde la communauté des experts inexistante).- Il n’y a pas suffisamment de communication autour deVERSA.- Il n’y a pas d’évaluation régulière sur l’exhaustivité de labase de donnée.- L’indexation des documents de la base de données n’estpas contrôlée (inexistence de référentiel linguistique dansce domaine de recherche).- On constate un manque d’ouverture et d’expertise surd’autres espèces (faune sauvage et primates) : veilleurs trèsorientés « PSAT », trop centré sur l’activité des UE dudépartement.

Externe-Est ouvert sur Internet et inscription gratuite.- Partenariats possible : portail de CNUE, veille bien-être animal (BEA)…- La Communauté Européenne fait de plus en pluspression sur les organismes de recherche (utilisantl’expérimentation animale), concernant la prise encompte du bien-être animal et éthique.- La stratégie du DSA se positionne de plus en plus auniveau international

- La non exhaustivité et le manque de réactivité de la basede données peut être source d’insatisfaction pour lesutilisateurs de VERSA- Le processus est difficile à maintenir en continu : lenombre de veilleurs reste insuffisant, et Versa n’est pasleur mission principale (peu de disponibilité).- Une concurrence possible en matière de veilleréglementaire sur l’expérimentation animale.

VERSA – Forces est faiblesses

17

18

VERSA – Indicateurs Sourcing

19

Indicateurs ObjectifsRésultat

à atteindre

Fréquence de

calcul

Représentation graphique

% de sources officiellesDans une veille réglementaire, au moins la moitié des sources doivent 

être des sources officielles 50% Annuel

Histogramme empilé 100% ou secteurs

Taux de sources actives/total des sources 

surveillées

Le taux de sources actives souligne (sur la durée) le suivi du sourcing > 90% Annuel

Histogramme empilé 100% ou secteurs

Nombre d'alertes reçues par source/mois

Une source est "active" si  elle génère au moins 1 alerte tous les 6 mois

1 alerte/tous les 6 mois

2 fois par an non

VERSA – Évaluation de la surveillance

20

Indicateurs Objectifs Résultat à atteindre

Fréquence de

calcul

Représentation graphique

Nbre d'alertes sans information 

pertinentes/nbre d'alertes reçues par source/mois

L'absence de bruit est un critère de qualité de la surveillance. Aucune alerte sans information en relation avec l'objet de la veille ne doit être 

reçue.

0% 2 fois/anHistogramme empilé 100% ou secteurs

Taux d'alertes exploitées/total d'alertes 

reçues

La part d'alertes exploitées et diffusées doit être supérieure à 50 %. 50% Annuel

Histogramme empilé 100% ou secteurs

VERSA – Évaluation de la base de données

21

Indicateurs Objectifs Résultat à atteindre

Fréquence de calcul

Représentation graphique

Nbre de textes manquantsLa base de données doit être 

exhaustive : aucun texte ne doit manquer

= 0% Annuel non

Nombre de textes non actualisés

La base de données doit être à jour etdoit proposer la dernière version des 

textes en vigueur= 0 % Annuel non

Nombre de texte hors du périmètre de veille

Les textes insérés dans la base de données doivent respecter le 

périmètre de la veille.= 0 % Annuel non

VERSA – Évaluation de la diffusion

22

Indicateurs Objectifs Résultat à atteindre

Fréquence de calcul

Représentation graphique

Nbre d'utilisateurs enregistrés

Augmentation  régulière du nombre d'inscrits /an

maintien de l'intérêt concernant cette veille

+ de 10%/an AnnuelCourbe ou 

histogramme empilé

Fidélisation des visiteurs

Diminution du nombre de visiteurs ponctuels 

utilisation de la base de données comme un outil de travail "au 

quotidien"

‐ 5%/an Annuel

Courbe ou histogramme 

empilé

Révision du sourcing− Refonte et mise à jour du tableau de sourcing

Révision de la base de données − Textes et recommandations dans le périmètre de VERSA

− Textes manquants

VERSA – Premières actions correctives

23

VERSA - Tableau de bord de sourcing et de surveillance

24

La pérennisation d'un dispositif de veille pourrait s'appuyer utilement sur une évaluation du pilotage du dispositif de veille en permettant

• Une vision systémique du dispositif• Un diagnostic de l'existant• Une identification des points critiques.

Difficulté : évaluation difficilement quantifiable, mais, définir, programmer, installer un processus d'évaluation de ce type = capacité à conduire et à maitriser un projet.

Pour aller plus loin : Évaluation du pilotage du dispositif de veille

25

Identifier les points à évaluer - 1

Management du projet Le dispositif de veille s'appuie-t-il

• sur un document de cadrage ?• sur un comité de pilotage ou un interlocuteur privilégié représentant le

commanditaire ?Des réunions sont-elles régulièrement organisées ?

Ressources humainesLes tâches et responsabilités de chaque acteur sont-elles clairement définies ?Les acteurs sont-ils formés à la veille ?Le réseau de veilleurs et d'experts fait-il l'objet d'une animation régulière ?

26

Identifier les points à évaluer - 2

Ressources technologiques Les méthodes et outils utilisés sont-ils appropriés et dimensionnés au projet

?

Sourcing Les sources utilisées sont-elles variées et de qualité ? Critères

explicites en fonction des objectifs ? Le sourcing est-il documenté et suivi ? La révision du sourcing est-elle planifiée ? Est-elle exécutée ?

Surveillance et collecte L'organisation de la surveillance (qui fait quoi ?) est-elle clairement définie ? Les opérations de surveillance sont-elles clairement évaluées sur une

période donnée ?

27

Traitement de l'information L'information est-elle traitée en fonction des objectifs de l'organisation

(niveau de traitement adapté aux besoins) ? La synthèse et l'analyse sont-elles effectuées selon un cadre prédéfini

(cf document de cadrage) ?

Diffusion Le choix du livrable est-il adapté au public cible ? Répond-t-il aux objectifs du projet ?

Promotion du dispositif de veille Mise en place d'une stratégie de communication ?

Évaluation du dispositif de veille Le dispositif de veille fait-il l'objet d'une évaluation régulière ?

Identifier les points à évaluer - 3

28

29

Projet de tableau de bord (à lecture simple) pour évaluer le pilotage d’un dispositif de veille,

(Conception : Marie‐Colette Fauré)

Lien fort entre Évaluation et Facteurs Clés/Critiques de Succès

• Penser l'évaluation dans une perspective d'amélioration ou de correction des points critiques

• Intégrer l'évaluation et le choix des indicateurs dès le montage du projet

• Utiliser l'évaluation pour conserver l'humain au cœur du dispositif :

repérer les signes d'essoufflement, de surcharge de travail, de démotivation…

tirer parti de cette étape pour faire le point, soutenir, faire évoluer…

Conclusion

30

Jakobiak, F. - L'intelligence économique. Techniques & Outils.- Eyrolles/ Éditions d'Organisation, 2009 (2eéd.)

Lesca, N., Caron-Fasan M.-L. – La veille vue comme un système cybernétique. Finance Contrôle Stratégie, 8 (4), 2005, 93-120.

Sutter, E. – L'évaluation et les indicateurs de performance des activités info-documentaire. Éditions d'Organisation, 2003.

Norme ISO 11620:2008 - Information et documentation - Indicateurs de performance des bibliothèques

La Documentation Française - L'évaluation des politiques publiques - Glossaire http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-publiques/glossaire.shtml

Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques universitaires, IFLA, 1995.

Poll R. - Mesures de la qualité dans les bibliothèques spécialisées.WLIC, 19-23 August 2007, Durban . (Trad. Dalbin, S.). http://archive.ifla.org/IV/ifla73/papers/152-Poll-trans-fr.pdf

Bibliographie

31