journée d’étude

L e s i n d i c a t e u r s d e p e r f o r m a n c e et

l e s e r v i c e à l ' u s a g e r

Maison de la Mutualité 9 décembre 1999

journée d’étude

SOMMAIRE INTRODUCTION Emile Zuccarelli, ministre de la Fonction publique, de la Réforme de l’Etat et de la Décentralisation DEBATS 1) MATINEE « Le point de vue de vue des usagers » : Pierre Lascoumes, représentant d’un collectif inter-usagers « Les indicateurs d’évaluation dans le système éducatif »: François Louis, sous-directeur de la mission évaluation, ministère de l’Education nationale « Management de la performance: quantité, qualité, comment les mesurer? » Lionel David, directeur de la modernisation et de la qualité, Agence nationale pour l’emploi « Synthèse : les indicateurs de performance à destination des usagers », Gilles Jeannot, chercheur au laboratoire Techniques, Territoires et Sociétés, Ecole nationale des Ponts et Chaussées « L’approche des indicateurs par la direction du Budget », Sophie Mahieux, directrice adjointe du Budget au ministère de l’Economie, des Finances et de l’Industrie 2) APRES-MIDI « Les services relationnels : processus d’arbitrage et performance », Olivier Blandin, économiste, consultant, chercheur à l’Institut de recherche socio-économique « Ministère de la Justice: le jugement et la norme », Frédérique Pallez, ingénieur civil des mines, professeur au centre de gestion scientifique de l’Ecole des mines de Paris « Présentation du système danois », Jean Kromann Kristensen, chef du bureau chargé des relations avec les citoyens au ministère des Finances danois « Démarche de construction d’indicateurs avec les usagers en Allemagne », Manfred Born, Econtur, agence internationale pour les projets de développement durable, biologiste, chercheur en matière d’indicateurs de développement durable CONCLUSION Pierre Seguin, chef de la mission « Service à l’usager et management public » à la délégation interministérielle à la réforme de l’Etat. INTRODUCTION

journée d’étude

Emile ZUCCARELLI Ministre de la Fonction publique, de la réforme de l’Etat et de la Décentralisation C'est la seconde fois cette année que j'ouvre une journée d'études organisée par la délégation interministérielle à la réforme de l’Etat, et par la direction générale de l’administration et de la fonction publique, toutes deux sous l'autorité de Gilbert Santel (1), présent à la tribune. Et je me réjouis du succès de ces rassemblements d'agents publics autour de thèmes d'actualité qui aident à faire bénéficier tous les services des efforts de chacun d'entre vous, de chacun d'entre nous. Vous avez abordé, précédemment, l'internet et l'intranet, la gestion des informaticiens dans l'administration. Aujourd'hui, les réflexions vont s'engager sur les indicateurs de performance et le service à l'usager. Je suis persuadé que vous ne repartirez pas sans avoir dégagé des lignes d'actions fortes en matière de performance du service public. Vous savez à quel point ce thème, pour ceux d'entre vous qui me lisent ou qui m'écoutent régulièrement, me tient à cœur, de même qu'il constitue une attente affirmée de nos concitoyens. Nous vivons en effet dans une société où les services, en général, constituent un élément essentiel de la vie économique, où le public devient de plus en plus exigeant, à son égard. Et nous constatons tous les jours que cette exigence s'adresse avec autant de force, qu'il s'agisse de services publics ou de services privés. Cette demande, pour ce qui nous concerne, comporte deux aspects qui peuvent apparaître contradictoires. Comme contribuable, le citoyen attend de l'Etat qu'il sache gérer au mieux ses impôts, en étant attentif au coût du service. Comme usager, le citoyen veut un service plus moderne, plus performant, et il en appelle à l'intervention de l'Etat dans tous les domaines : la santé, l'éducation, l'environnement, la régulation économique, le renforcement du lien social, etc., pour lesquels il demande au service public de veiller sur ces domaines. A nous, donc, de concilier ces deux demandes, c'est-à-dire à la fois d'optimiser l'efficacité de la dépense et de rendre, par ailleurs, le meilleur service à l'usager. Je suis persuadé que, sur les deux fronts, la bonne utilisation des indicateurs de performance peut jouer un rôle essentiel. Nous y voilà. Ce rôle, cette notion de performance n'a pas toujours été au centre des préoccupations des administrations. Son introduction a même fait naître des interrogations parmi les agents et, à certains égards, même quelques grincements de dents : "Performance, comme vous y allez et pourquoi pas, au point où nous en sommes, parler de rentabilité", ce qui est par parenthèses un terme que je récuse. Mais je ne récuse pas le terme de productivité, s'agissant des fonctionnaires et des agents du service public. Dans notre système social, c'est vrai, le service public se vit d'abord lui-même comme garant de l'égalité de l'intégration, comme s'exerçant au profit de l'intérêt général. Mais de son côté, la notion d'indicateurs de performance a longtemps évoqué plutôt le souci de rendre un service à coût réduit et par extension un service de moins bonne qualité. Ce n'est pas du tout l'intention du gouvernement de réduire le service rendu, je vous rassure. La politique actuelle vise même l'inverse. Mais un service de haute qualité, de même qu'une bonne utilisation des deniers publics, appelle justement une mesure des performances : durée de délivrance d'une autorisation, qualité d'accueil au guichet, degré de satisfaction d'un groupe d'usagers. Beaucoup de nos partenaires européens, en particulier les Scandinaves, ont déjà développé ce type d'indicateurs simples qui permettent un dialogue constructif avec des usagers. Le résultat est là. Dans une étude menée en 1997 par la Commission européenne sur la satisfaction des usagers vis-à-vis de leur service public, le Danemark et la Finlande obtiennent les meilleurs résultats.

journée d’étude

En Allemagne, la plupart des communes publient un catalogue des services dont de nombreuses rubriques, crèches, écoles, lycées, apportent des précisions sur, d'abord leur encadrement juridique, mais leurs conditions d'utilisation et leurs indicateurs de performance. En Espagne, un observatoire de la qualité, créé au sein du ministère de l'Administration publique, a publié soixante-quatorze indicateurs relatifs à divers services publics. Je suis certain que nous saurons étudier et adapter à notre propre réalité les réalisations de nos partenaires. Si nous voulons, comme nous le proclamons et comme nous nous y efforçons, placer l'usager au centre de nos efforts de modernisation de l'Etat, nous devons non seulement conduire des politiques publiques qui rejoignent les aspirations du citoyen, mais aussi, c'est essentiel, répondre à ses aspirations quotidiennes et à ses attentes quotidiennes. Il faut en outre veiller à diffuser les résultats, au bénéfice de l'usager bien sûr mais aussi des agents eux-mêmes. La publication des mesures de performance, au sein des services, doit permettre une prise de conscience aussi bien de la qualité des services rendus que des directions dans lesquelles il serait souhaitable de les améliorer. C'est une formule élégante mais qui appelle, je crois, une forte mobilisation. C'est la direction que nous invite à suivre la Commission européenne qui a mis sur pied, en matière de gestion des fonds structurels, un certain nombre d'exigences qui recoupent largement des efforts qui sont déjà des nôtres. Il s'agit en premier lieu de définir les objectifs spécifiques de chaque intervention et de les traduire dans des dispositions appropriées. C’est ce que nous avons entrepris, en exigeant lors de l'élaboration de tout nouveau texte, la mise au point d'une étude d'impact. Les réalisations donnent alors lieu à l'expression d'un résultat physique : nombre de kilomètres de routes construits, réduction du coût global du transport, nombre de demandeurs d'emploi bénéficiaires d'un stage... Mais aussi d'un résultat en termes d'impacts immédiats pour les bénéficiaires directs: diminution d'un temps de trajet, nombre de diplômés en fin de stage. C'est à ce type de quantification, de mesure, que nous devrions nous efforcer ensemble de parvenir dans tous nos domaines d'activités. Ces résultats pourront être ensuite rapportés aux sommes dépensées pour connaître l'efficience de chaque mesure. Enfin, nous en viendrons à l'impact global en termes de réalisation des objectifs visés, le cas échéant à plus long terme : réduction du chômage chez les chômeurs de longue durée, par exemple. On reconnaîtra là l'évaluation. Nous avons, vous le voyez, fait déjà une partie du chemin en termes de réflexion. Ce qui nous reste encore à accomplir, c'est, pour l'essentiel, la mesure quotidienne de notre effort, de nos avancées à court terme vers la plus grande satisfaction de nos concitoyens. La mesure de cette avancée au quotidien entraîne à réfléchir sur l'organisation même des services et sur leur coordination. Ainsi, pour connaître et améliorer la durée d'une procédure, il faudra souvent que plusieurs services administratifs, éventuellement en liaison avec les collectivités locales ou avec d'autres prestataires de services, travaillent ensemble. On en vient à la notion de travail en réseau, nécessaire pour une application efficace des politiques publiques. Et la recherche de la performance, vue par l'usager, va évidemment impulser fortement l'avancée vers ce travail en réseau, indispensable dans la modernité de notre époque et si nous voulons demain tirer tout le profit des nouvelles technologies de l'information et de la communication. Vous l'avez compris, mesdames, messieurs, je suis très favorable à une mesure de la qualité si elle est bien préparée, bien concertée. Je sais que le dialogue peut sembler parfois difficile à engager entre l'administration, son organisation complexe, ses intervenants très nombreux, et les usagers, dont l'opinion est évolutive, et la représentation difficile à cerner. Mais ce dialogue sera sûrement fructueux. Nos concitoyens souhaitent qu'il en soit ainsi et ne manquent pas une occasion de le faire

journée d’étude

savoir. Et le souci des organisateurs d'avoir, aujourd'hui, le point de vue des usagers présage bien des résultats de cette journée. La mise en place d'indicateurs de performance ne sera pas moins utile en matière de ressources humaines et de gestion quotidienne. La charte de la gestion des ressources humaines, que j'ai demandée à tous les ministères d'adopter rapidement, inclura l'évaluation individuelle et collective des agents. Il va de soi que, pour être utile et acceptée, l'évaluation devra reposer sur des critères objectifs que de bons indicateurs de performance autoriseront, de même que les indicateurs favoriseront l'animation et la motivation des équipes. Dans ce domaine, j'insiste sur le rôle essentiel de l'encadrement qui doit, pour mettre en place les instruments de mesure, mener le dialogue dans le service sur les résultats et sur la conduite des processus. Cela suppose d'abord qu'il porte toute la considération nécessaire au travail accompli par les équipes; ensuite, que ces équipes se donnent les moyens de s'interroger ensemble sur les problèmes et sur les solutions à inventer. Cela nécessite aussi de savoir rendre compte de l'activité réalisée, car nous sommes tous comptables à la fois des deniers publics et de la confiance de nos concitoyens dans leur Etat. Mesdames, messieurs, je vous ai jusqu'ici essentiellement parlé de la performance sous les aspects de l'efficience et de l'efficacité. J'aimerais insister maintenant sur un troisième aspect, qui donne pleinement son sens à notre action. Il s'agit de la performance sociale, par laquelle le service public (et c'est sa spécificité et sa raison d'être), dépasse le cadre d'un service à des usagers pour se conduire en garant du lien social. Pour prendre un exemple, parmi les cinq critères que la Poste a définis pour évaluer la qualité des services rendus, l'un d’eux, plus « civique », vise à rendre compte du traitement équitable des personnes, de l'assistance aux populations défavorisées, de l'accessibilité, qui démontrent le rôle du service public en faveur de la solidarité nationale et locale, et de la réduction des inégalités. Je demande à ceux qui auront à mettre en place des indicateurs de performance de ne pas négliger cette dimension sociale, ce caractère de garant de la cohérence, de la cohésion sociale qui caractérise le service public. J'en viens à ma conclusion. J'ai rappelé à propos des fonds structurels européens que nous ne devons pas manquer d'utiliser des expériences venues de notre environnement international. Les comparaisons avec nos pratiques nous aideront à nous poser les bonnes questions et à imaginer les bonnes réponses. Cela va faire partie de vos préoccupations de la journée, puisque deux illustrations vous seront données cet après-midi par nos invités danois et allemands, que je remercie vivement pour leur participation à nos travaux. Je gage que, dans ce lieu très symbolique de la Mutualité, vous saurez tirer le meilleur parti de ces échanges et rapporter dans vos services le plus grand bénéfice de ces enseignements. La qualité de l'administration ne pourra qu'en bénéficier et je sais que cette préoccupation vous tient autant à cœur qu'à moi-même. Je vous remercie. Bon travail ! DEBATS

journée d’étude

« Le point de vue de l’usager » Pierre Lascoumes Représentant d’un collectif inter-usagers Si les organisateurs de cette journée ont choisi me donner la parole, c’est je pense parce que je suis l’un des coordinateurs d'un collectif qui s'appelle le CISS, le Collectif Interassociatif sur la Santé, créé dans la continuité de la réforme hospitalière Juppé en 1996 et qui regroupe, aujourd'hui, dix-huit associations d’ampleur nationale concernées par le domaine de la santé. Les unes représentent des malades, un des choix importants à l'origine du collectif: les Paralysés de France, les diabétiques, l'Association française sur le cancer, les myopathes, l'association AIDES, etc. Les autres représentent plutôt le mouvement des consommateurs : UFC Que Choisir, par exemple, a fait une exception à son principe d'action solitaire pour faire partie de ce collectif. Il y a également des organisations considérées comme très classiques comme, par exemple, l'UNAF ou les Familles rurales. Ce collectif de travail n'était centré au début que sur la question hospitalière. Au cours de l'élaboration de la réforme, nous avions obtenu trois choses importantes: la représentation d'usagers dans les conseils d'administrations des hôpitaux (il y en a aujourd’hui deux par conseil d'administration); la participation des usagers aux structures de règlement des conflits, en particulier dans les structures dites de conciliation, entre les usagers de l'hôpital et l'administration et le personnel médical; et troisièmement, la participation des usagers dans la définition de la politique de santé, essentiellement à travers une présence au sein de ANAES, l'Agence Nationale d'Accréditation et d'Evaluation en Santé, organisme destiné à fournir un cadre méthodologique pour la transformation du système hospitalier. Ensuite, la dynamique au sein de ce groupe nous a permis de nous intéresser de près à des questions, extrêmement importantes aujourd'hui, comme l'informatisation en matière de santé à travers les projets Sésame, Vitale et autres. Je vais présenter quelques réflexions autour de trois points. Le premier, c'est la question de l'ambiguïté de la place donnée à l'usager. Aujourd'hui, l'usager, invité à ce colloque, parle juste après le Ministre. Mais, pour nous, la question se pose : S'agit-il de nous entendre ? Ou tout simplement de nous écouter, comme une sorte d'objet un peu décoratif avant que les choses vraiment sérieuses ne commencent? Et si même on donne la parole aux usagers, s'agit-il au fond de le faire taire, ou du moins de faire taire ses possibilités revendicatives ? Tout cela pose le problème général de la démocratie participative. On n'échappe pas aujourd’hui au stéréotype de « l'usager au centre ». Il se fonde sur le fait que, dans la définition du service public en France, la référence à l'usager est une notion fondamentale. De la même façon, tous les discours sur la modernisation de l'administration, de la réforme de l'Etat, accordent une place importante aux services à l'usager, à la prise en compte de l'usager. Mais, de notre point de vue, il s'agit d'une rhétorique trompeuse pour la raison suivante, que je résumerai d’une formule: "L'usager au centre, à condition que les professionnels restent au milieu"! Car en fait, l'usager est toujours celui au nom de qui l'on parle, et très rarement celui qui parle. Et je suis dans cette journée l'exception qui confirme la règle. Il y a, en général, trois formes de confusion. La plus fréquente est le fait que les professionnels estiment que leur expérience, leur savoir-faire, leur capacité d'observation, leur capacité de synthèse personnelle, en font les meilleurs porte-parole des usagers; et pour eux, professionnels, la référence à l'usager est un élément stratégique de valorisation

journée d’étude

et de justification professionnelle. Dans le domaine de l'hôpital, on ne trouve pas un professionnel qui ne s'exprime pas d'abord au nom de l'usager, du médecin au technicien, en passant par les aides-soignantes ou les responsables de la cuisine, c'est toujours au nom du patient hospitalisé que chacun parle. On a même du mal à se demander si, eux-mêmes, ils ont un point de vue personnel. La deuxième forme de confusion se crée lorsque le professionnel sent qu'il ne peut pas toujours s'exprimer au nom de l'usager et qu’il essaie donc de le produire. Vous avez dû tous connaître ces enquêtes « d’opinion » qui essaient de rendre compte de l'expression d'un public informe en formulant les questions de sorte à formuler aussi les réponses, à la place de l’usager. Et donc au fond, à quelles questions l'usager doit-il répondre? A celles qu'il se pose lui, ou à celles que les professionnels se posent à propos de lui ? Je voudrais citer à ce sujet un des plus jolis exemples que j'aie pu connaître. En 1996, la direction des hôpitaux, dans le mouvement de la réforme hospitalière, a lancé au plan national une enquête sur la satisfaction des usagers qui a été strictement menée auprès... des personnels. Troisième forme de confusion : les situations dans lesquelles le professionnel ne parle pas au nom de l'usager, car il fait face à un « représentant des usagers ». Le ministre, tout à l'heure, a souligné à juste titre les incertitudes et les ambiguïtés qui existent autour de la représentation. Moi-même, par exemple, je participe activement aux ambiguïtés de ces représentants. Or, quelle en est la légitimité ? Sur la base de quel mandat s'expriment-ils, agissent-ils ? Il y a toujours, avec les représentants, une tension entre d'un côté une sorte de modèle théorique idéal celui de l'usager citoyen, et qui serait un délégué détenteur d'un mandat impératif (on est là dans le modèle de la démocratie directe), et de l’autre un modèle où justement le représentant est un intermédiaire qui, progressivement, s'autonomise, s'auto-mandate et finit par devenir ce que je suis en partie, à savoir un expert, profane certes mais tout de même un expert. Et, du coup, sa capacité de représentation est fortement mise en cause. Je dirai donc que l'usager au singulier n'existe pas. Il n'y a que des usagers, et souvent même des usagers virtuels, c'est-à-dire un ensemble d'images de l'usager qui superposent trois représentations. La première, c'est l'image que les institutions se construisent de l'usager et dont elles ont besoin pour légitimer leur existence et leur utilité sociale. La deuxième, c’est celle de l'usager consommateur silencieux qui ne parvient pas à s’exprimer sur sa situation. Et la troisième, c'est l'usager-consommateur revendicatif qui pose un certain nombre de questions et, donc, adresse des demandes aux services. La situation est un peu paradoxale: l'usager n'existe que s'il s'exprime, s'il prend la parole. Mais la question se pose: peut-il s'exprimer dans une autre langue que celle de l'institution à laquelle il s'adresse ? Peut-il se déprendre des catégories dans lesquelles il est perçu et pensé par l'institution ? Et donc, dans quelle mesure le profane peut-il avoir son mot à dire sur des questions de performance? Pour répondre, j'en viens à mon deuxième point. On peut distinguer trois modèles, trois formes de relation entre les experts et les profanes, ou entre les professionnels et les usagers. Le modèle initial s'est développé tout au long du XIXème siècle et reste aujourd'hui encore largement dominant. C’est un modèle prescriptif: l'expert, le professionnel, sait et décide seul. Il a la maîtrise des connaissances, il est seul capable d'adapter le singulier des cas particuliers à l'intérêt général. On peut dire que l'administration incarne, a priori, l'intérêt général, tout comme le médecin incarne, a priori, le bien sur la santé de la personne.

journée d’étude

Dans ce modèle-là, il n'y a pas de place pour le profane ou, du moins, une place négative: par sa subjectivité, par son regard partiel, le profane est en effet un obstacle à l'accomplissement du bon fonctionnement d'une organisation. L'usager « parasite » ce fonctionnement, on considère qu'il n'a pas de capacité de connaissance propre et il doit même être instruit par celui qui sait, on le voit bien dans tous les documents pédagogiques qui sont produits Un deuxième modèle est celui de l'usager palliatif. Un peu partout, depuis la deuxième guerre mondiale, les comportements des acteurs des organisations ne correspondent pas, à la seule application directe d'une rationalité pure, abstraite, homogène, égalitaire; partout au contraire, on note des décalages, des dysfonctionnements, un certain nombre de disparités, et toute une série de protestations, de résistances, de revendications d’usagers proviennent de là. Face aux insatisfactions et aux lacunes, il a fallu ouvrir un peu l'espace de discussion. L'usager y a une place, mais qui est celle d’un « réservoir » d'informations utiles pour améliorer la performance. La multiplication de structures de concertation va dans ce sens-là. Les usagers y tiennent parfois des propos iconoclastes mais la relation reste toujours dissymétrique. Le troisième modèle, de l'ordre de l'utopie mais que certains lieux de pratiques permettent d’esquisser, est celui où l'usager est engagé dans une coopération et participe à la coproduction du service. Le mot n'a pas été employé ce matin, mais enfin, dans la littérature sur la participation des usagers, la coproduction, depuis un certain nombre d'années, est à la mode. Dans ces cas-là, on considère que l'usager a un savoir spécifique et que les différences dans les compétences ne doivent pas se traduire par une inégalité dans la prise de parole et dans la participation à la décision. Savoir professionnel et savoir profane ne sont alors pas simplement complémentaires, ils sont également indissociables. L’usager, en tant que profane concerné, assume sa position d'usager. On lui reconnaît une capacité à produire des connaissances, à participer aux choix et à participer à l'évaluation. Dans la santé, le modèle d'interaction entre les professionnels et les usagers, entre les experts et les profanes tend à s'approcher de ce modèle-là. C’est le cas par exemple de tous les protocoles qui ont été mis en place pour le suivi de la recherche biomédicale où la question des incertitudes, des enjeux éthiques, sont très importants. Cela dit, il y a un danger de la coproduction, c'est le moment où l'usager finit par être capté par la logique de l'institution dans laquelle il s'exprime. Et où l'on voit par exemple dans un conseil d'administration des représentants d'usagers qui s'expriment encore mieux que les autres sur les questions de budget, sur les coûts, sur la rationalisation dans la gestion du personnel, etc.. S'il n'y avait pas un petit panneau devant la personne, on serait bien en peine de faire la différence entre le représentant de l'usager et le représentant de l'administration ou de la direction de l'hôpital! Dans ce cas de figure, au mieux, l’usager est utilisé comme caution ou comme réducteur de conflit... Je finirai avec un cas concret. Notre collectif est présent entre autres dans le conseil d’administration de l'ANAES depuis trois ans. Le premier constat, bien qu’il s’agisse certainement d’un des secteurs où l'ouverture aux usagers a été la plus importante, c’est que la démarche est restée profondément technicienne. Par exemple, de multiples groupes de travail ont préparé les critères qui vont permettre l'accréditation des hôpitaux, avec tout l’aspect « évaluation » que cela suppose. Dans ces groupes, il y avait au mieux un représentant des usagers seul face à trente ou quarante praticiens. D’où les problèmes de prise de parole, d’inégalité structurelle...

journée d’étude

En outre, les travaux de ces groupes déjà apparemment participatifs, leurs conclusions, la hiérarchie des indicateurs qu’ils avaient retenus ont été réécrits et modifiés sans que le groupe en soit informé, et sans la moindre explication s sur les changements intervenus. De même, et contrairement aux engagements qui avaient été pris, aucun représentant d'usagers n'a été associé à la relecture finale des documents aujourd'hui en circulation. C’est ce que j’appelle une démarche profondément technicienne. Or, quels sont les indicateurs qui ont été retenus pour définir la qualité? La première chose qui frappe, c'est leur flou, et même le rejet systématique d’indicateurs basés sur un certain nombre de données objectives et de mesures de la performance. Exemple de critère flou : « l'établissement s'attache à réduire les délais de temps »... Ou, pure incitation au formalisme: « le risque infectieux lié à l'environnement est maîtrisé ». Pour répondre « oui ou non », on pose en fait la question: existe-t-il une procédure écrite, qui permet de dire si oui ou non le risque infectieux est maîtrisé? Si la procédure est écrite, on considère automatiquement qu'elle est mise en œuvre. Il n'y a jamais d'écarts entre la procédure écrite et la mise en œuvre, bien évidemment. Autre problème: le refus, malgré nos demandes répétées, de prendre en compte toute une série de données objectives, qui sont, pour les usagers, à peu près les seuls critères leur permettant se faire une opinion sur la qualité de la prise en charge dans tel ou tel lieu. Par exemple, le critère du délai moyen d’attente à l’accueil. Dans la littérature-anglo-saxonne et d'Europe du Nord, il y a des bibliothèques entières sur ce sujet. En France, on a estimé qu'il n'était pas possible de calculer ce délai, pas plus que le délai d'attente aux urgences, aux examens radiologiques... Autrement dit, on refuse en France de quantifier la circulation des patients à l'intérieur de l’hôpital. Le problème est le même pour d’autres données. La proportion d'accidents thérapeutiques, la prévalence des maladies nosocomiales, les taux de mortalité dans un établissement, toutes ces demandes ont été considérées comme absolument sacrilèges. On voit bien, d'ailleurs, la tension qui naît actuellement. L'autorité publique ne voulant pas assumer la réalisation de ce type de données, on voit se multiplier dans la presse les « palmarès » des hôpitaux. Qui ont permis, sur la base d'une certaine méthodologie discutable mais qui a le mérite d'exister, de produire un certain nombre, justement, de classements des hôpitaux en fonction de leur performance. Une étude extrêmement intéressante a été menée en Angleterre sur l'évaluation des critères de qualité dans les documents d'informations remis aux patients en cas d’intervention grave ou de traitement long, à protocole (cancer, diabète...). Une fondation privée, le King Funds, a fait évaluer ces documents par des groupes mixtes, moitié experts, moitié profanes. Les conclusions sont assez sévères. Et l'insatisfaction suscitée aussi bien chez les professionnels que chez les usagers tient beaucoup aux conditions dans lesquelles ces documents ont été produits et validés. Pour terminer, je dirai qu’aujourd'hui, dans l'état actuel de la société française, les conditions de la participation des usagers nous semblent trop inégalitaires pour ne pas être dangereuses pour les représentants d'usagers, et que le point de vue des profanes est trop souvent perçu comme un obstacle à la logique technicienne, propre aux organisations. Avant de demander à l'usager d'être un coproducteur, il faudrait d'abord lui reconnaître pleinement un droit à l'expression, un droit à l'opposition et un droit à la revendication. Le travail de coproduction, s'il a un sens comme horizon idéal, exige un très long travail d'apprentissage qui ne fait que commencer. Le Corbusier avait une formule radicale, il disait : "Hélas, l'usager, n'en fait qu'à sa tête". Je dirais tant mieux ,et surtout qu'il joue le moins possible à l'expert. Merci. QUESTIONS

journée d’étude

(Anonyme) : Je trouve le mot d’usager un peu vieillot, un peu réducteur. Ne pourrait-on inventer un autre mot un peu rajeuni? Car derrière le terme usager, il y a en fait différentes approches, différentes situations. Avec, par exemple, des clients, des bénéficiaires, des citoyens... Pierre Lascoumes : Je suis assez d'accord avec votre remarque si ce n'est que, même si nous avons cherché, nous n'avons pas trouvé de moins mauvais terme ou de meilleur. Dans le cadre hospitalier, il nous a semblé extrêmement important de nous référer à ce terme, ne serait-ce que pour sortir de la situation où le système de soin en général ne veut connaître que le malade, ou la personne malade. Cela dit, ce qu’on voit souvent ici ou là, c’est qu’on agrège les mots. On parle de l'usager-citoyen, de l'usager-consommateur... Il y a un travail terminologique à faire. En ce qui me concerne, le terme d’usager ne me gêne pas. Il se réfère au service public de la tradition française alors que dans beaucoup d'endroits, c’est le terme de client qui prévaut Et finalement, entre une approche strictement économiste ou économisante du client, je préfère encore l'usager, à défaut. (Anonyme) : Comment, face à l'inflation normative, l'usager peut-il ne pas devenir un expert ? Pierre Lascoumes: Dans n'importe quel service public, il est nécessaire que chacun connaisse le langage de l'autre. Le problème, c'est que c'est souvent unilatéral. Dans un conseil d'administration, le représentant de l'usager va faire un effort pour apprendre la liste des quarante-deux sigles de base qui permettent de distinguer les opérations budgétaires, les professionnels, les structures... mais il est extrêmement rare qu'un membre du conseil d'administration professionnel fasse l'effort, quand il emploie un terme rare, de l’expliquer. Mais le point le plus important c'est ne pas se laisser capter par les catégories de pensée, les logiques des organisations. Il y a une très forte pression pour que l'usager soit le plus expert possible et que de ce fait il entre en connivence. Or, il est fondamental face à une organisation de toujours rappeler sa différence. Finalement, les questions que pose l'usager, aussi triviales ou apparemment inadéquates soient-elles, sont des questions réelles, qui sont à prendre en compte. Par exemple, dans un grand hôpital parisien de l'Assistance Publique, au troisième conseil d'administration, j'ai été obligé de dire : "Ecoutez, voilà, ça fait donc X heures que je suis là, je n'ai jamais entendu parler de questions de qualité. Jamais entendu parler de questions de maladies nosocomiales alors qu’il y en a plein la presse..." D’autant plus qu'il y a un certain nombre de questions qui n'émergent pas et qu'il est extrêmement difficile de faire apparaître. Pour la création de l'Hôpital Georges Pompidou, dans le conseil d'administration d’un des hôpitaux concernés, on nous a amplement parlé des problèmes posés par le reclassement de tous les personnels: personnel infirmier, aide-soignante, technicien, etc. Au deuxième exposé, très sérieux, avec graphiques et tout, j'ai demandé: "Et les médecins, tout va bien ? Ils vont tous là-bas ?" La Présidente du conseil d'administration s'est tournée vers le Président de la Commission médicale et il a froidement répondu, en regardant ailleurs : "Le problème est réglé". Or ce n'est pas aux syndicats, qui ont suffisamment de problèmes à régler avec leur direction, à soulever en plus le problème des médecins. D’où l’intérêt pour les usagers de participer et jouer le rôle du « bouffon ». Cela dit, et d’autant plus avec la préparation de la loi DCRA, nous nous refusons à être « l'usager de service » Equilibre difficile...

journée d’étude

(Anonyme) : je voulais savoir quelle différence vous faites entre la représentation par un usager ou par un élu. Bertrand Quatrebarbe : Je suis en charge d'un projet d'observatoire de la qualité des services publics. C’est un observatoire territorial qui réunit un certain nombre de partenaires, dont différents ministères et la réforme de l'Etat. D'après vous, pour élaborer ce type d’observatoire, quelles sont les conditions de réussite ? (Anonyme) : Est-ce que, dans l’exclusion de la parole de l’usager, il ne faut pas prendre en compte un troisième acteur: les syndicats?. Pierre Lascoumes : Sur la première question: ce qui fait toute la différence entre l’élu et le représentant des usagers, c'est le mandat. Effectivement, en général, le conseil d'administration est présidé par un élu. Dans la vie politique française, les élus sont la plupart du temps beaucoup plus des agents de modération, des médiateurs entre leurs citoyens et l'autorité publique que des représentants de leurs électeurs. Il a semblé acquis qu’ils n’avaient pas dans leur mandat de représentation catégorielle: pour eux, ils représentent tout le monde. C’est pour cela qu’on a pu faire passer l'idée d'une représentation des usagers. Le seul moment où il y a renversement, c'est quand l'élu craint que la fermeture ou la transformation d'une structure n’engendre dans son territoire des pertes d'emploi. Mais dans ce cas, on voit bien que sa motivation à réagir n’a pas à voir avec la qualité, avec par exemple la sécurité, mais beaucoup plus avec l'idée de maintenir une image locale. Donc, pour moi, il n'y a pas de concurrence. Il y a d'un côté les élus, représentatifs de la communauté des électeurs; et de l’autre des associations et des représentants d'usagers qui représentent simplement un intérêt collectif, celui d’un ensemble de citoyens concernés par tel ou tel problème, quelle que soit la taille de leur groupe. Des très petits groupes peuvent d’ailleurs incarner un intérêt collectif fort, comme les associations contre le sida, l’hépatite C ou les maladies nosocomiales. Sur la deuxième question, la réponse devrait se trouver dans la conclusion de ce colloque! Ce qui me semble extrêmement important, quand je me réfère par exemple à l'étude anglaise qui a été faite, c'est que les groupes de travail soient le plus paritaires possibles, en incluant des administratifs, des professionnels, des experts, etc., avec en face au moins un nombre égal de profanes. Cette seule égalité quantitative me semble fondamentale. Deuxièmement, les démarches méthodologiques devraient intégrer les questions posées par les profanes. Dans l'expérience anglaise, on a réuni d'un côté les profanes, de l'autre les experts, et on leur a demandé: « à propos de telle pathologie, dont vous souffrez ou que vous soignez, quelles sont les vingt questions de base que vous vous posez? » Ensuite, on a confronté les listes et on les a croisées. C’est à partir de ce croisement que se sont élaborés les critères d'évaluation des documents. L'écart, entre les deux listes, était évidemment phénoménal. Mais, les deux ont été prises en compte au même degré. Il est difficile de répondre à la question concernant les syndicats. Dans beaucoup de domaines (consommation, environnement, santé...) les syndicats professionnels n’ont pas toujours été, loin de là, des relais des usagers. Par exemple, à l’hôpital, les représentants des personnels étaient unanimement hostiles à toute idée de quantification des délais d’attente. « Déjà nous travaillons dans des conditions invraisemblables, si en plus on

journée d’étude

nous met un chronomètre aux fesses... »! Donc, oui, il semble souvent difficile d’en faire des partenaires. « Les indicateurs d’évaluation dans le système éducatif »

journée d’étude

François Louis, sous-directeur de la mission évaluation, ministère de l’Education nationale J’ordonnerai mon exposé autour de deux points. Le premier : pourquoi développer une culture d'évaluation et des indicateurs de performance dans les systèmes éducatifs, et comment procéder ? Dans le second, j’évoquerai un certain nombre d'indicateurs de performance dans le champ éducatif avant d'aboutir à trois conclusions. 1er point : La démarche d’évaluation des systèmes éducatifs est relativement nouvelle, non seulement dans notre pays mais dans les pays membres de l’OCDE. La culture des systèmes éducatifs a longtemps été rebelle à cette démarche alors que, paradoxalement, le domaine éducatif est l’un des seuls champs de service public où l’on note quotidiennement et constamment les usagers, c’est-à-dire les élèves. Trois raisons militent pour le développement d’une culture d’évaluation et pour la production d’indicateurs. Première raison : le poids budgétaire de la dépense d'éducation. Le budget de l'éducation nationale, en France, dépasse les 300 milliards de francs, soit quelque 20% du budget de l’Etat. Faut-il dépenser plus? Ou bien faut-il dépenser mieux ? Le ministre, tout à l'heure, insistait sur la qualité de contribuable des citoyens et, de ce point de vue, il est indiscutable que le système éducatif doit rendre des comptes quant à l'utilisation des fonds publics. A ce sujet se pose la question des coûts d'opportunités. Est-il préférable d'investir, dans l'éducation, sur tel aspect plutôt que sur tel autre ? C'est une vraie question de politique éducative. Deuxième raison : la nécessité de répondre aux grandes attentes de l'opinion publique. Il y a d’abord celle du niveau d’apprentissage, le « niveau des élèves ». Est-ce qu’il monte ? Est-ce qu’il baisse ? Est-ce que des acquis essentiels pour s'insérer dans la vie active, tels que la maîtrise de la lecture, sont suffisamment transmis par l'école ? C'est une question parfaitement légitime. Il y a aussi celle de l'insertion. Est-ce que le système éducatif prépare vraiment les jeunes à s'insérer dans la vie active ? Quid de l’orientation à cet égard? Autre question, là encore parfaitement légitime parce qu'elle renvoie au principe d'égalité qui est un des principes fondateurs de notre République : celle de l'égalité des chances. Le système éducatif offre-t-il des chances égales à tous les jeunes citoyens, à toutes les familles? Ou bien l'équité n’implique-t-elle pas des politiques de discrimination positive pour mieux remonter les handicaps éventuels de certains élèves ? La troisième raison pour développer l'évaluation dans le champ éducatif, c'est qu’évaluer permet d’agir. Si l’on développe des indicateurs, c'est pour s'efforcer de mieux piloter le système éducatif par rapport aux objectifs initiaux d'une politique, d'un projet académique, d'un projet d'établissement, ou encore d'un projet pédagogique au sein même d'une classe, en s’interrogeant sur les besoins spécifiques de telle et telle catégorie d'élèves, par exemple. Enfin, c’est aussi mieux piloter par rapport à des problèmes qu'on a détectés et identifiés et qui appellent une solution de la part de l'institution. Si on se convainc que ces trois raisons militent pour la production d'indicateurs, comment procéder ? Il n’y a certes pas de solution idéale. Je verrais pour ma part quatre registres d’action. Premier registre : l'organisation indispensable d'un système d'information. Toute production d’un indicateur suppose de disposer au préalable de statistiques, de données, d'informations fiabilisées. L'Education nationale a beaucoup avancé sur ce point ces vingt-cinq dernières années en essayant d'utiliser au maximum les informations tirées des

journée d’étude

systèmes de gestion : gestion de quelque 13 millions d’élèves, de plus d’un million d’agents. A partir du développement, depuis la fin des années soixante-dix, de ce système d'information, nous avons produit plusieurs documents régulièrement : Repères et références statistiques sur les enseignements et la formation, qui est une somme de données sur notre système éducatif, L’Etat de l'école qui en est à sa neuvième édition, Géographie de l'école , et j’en passe. J'ajoute que la direction où je travaille, la direction de la programmation et du développement (DPD), s'est donné pour projet la constitution d'un véritable infocentre de l'éducation nationale. Mis à la disposition des utilisateurs à tous les niveaux et dans tous les domaines, il représente une mine de ressources professionnelles d'informations, d'outils communs et fiables d'aide à la décision. C'est cet infocentre ministériel qui structure les étapes actuelles du parachèvement du système d'information. Deuxième registre : c’est ce que j'appellerai des approches complémentaires. Très fréquemment, on souligne l'approche quantitative et l'approche qualitative, l'enracinement dans des données et l'enracinement tiré d'informations recueillies sur le terrain. On souligne aussi l'approche interne et l'approche externe, qu'il s'agisse du développement de l'auto-évaluation ou qu'il s'agisse, pour l'approche externe, d'instruments de démarches d'audit, par exemple. Je crois que toutes ces démarches ne sont pas exclusives les unes des autres, mais complémentaires. Pour ce qui concerne le champ éducatif, tout le travail que nous développons à la direction de la programmation et du développement et dans la mission d'évaluation, est un complément très utile des corps d'inspections générales (l'inspection générale de l'éducation nationale et l'inspection générale de l'administration de l'éducation), parce que ces corps d'inspection ont, eux, l'enracinement sur le terrain qui est l'autre source irremplaçable d'informations. J'ajoute que le concours d'équipes universitaires, de sociétés d'études, peut se révéler très utile pour mettre en lumière ce que nous appelons des effets de contexte, l'effet "établissement", l'effet "maître", l'effet "classe". Troisième registre : viser l'ensemble des niveaux de gestion du système éducatif. Pourquoi ? Parce que, à tous les niveaux du système éducatif, des décisions se prennent. Décisions de politique nationale éducative, décisions au niveau académique - le niveau majeur de gestion du système éducatif - décisions au niveau de l'établissement scolaire de premier et de second degré ou de l’établissement d'enseignement supérieur. Mais le niveau de la classe lui-même ne doit pas être négligé, parce qu'aucune de ses décisions n'est insignifiante. Elles sont mêmes plus importantes pour le destin scolaire de l’élève que celles prises au niveau de la classe et au niveau de l'établissement scolaire. Quatrième registre à mobiliser, pour avancer dans le sens de la production d'indicateurs : une animation qui s'inscrive dans la durée. Pourquoi ? Parce que des indicateurs peuvent être des instruments très bien élaborés, pertinents et utiles mais rester tout à fait inertes si les acteurs ne se les approprient pas. Et, pour cela, il y a tout un travail de « missi dominici » à lancer, pour faire comprendre aux acteurs tout l’intérêt qu'ils ont à mobiliser les instruments mis à leur disposition. On y arrive à travers la formation initiale des personnels, la formation continue, le développement de journées d'études, l'échange d'expériences, la valorisation de réussites. 2ème point : quels sont les outils d'évaluation et les indicateurs de pilotage essentiels dans le champ éducatif ? Premièrement, les outils d'évaluation des acquis des élèves. La plupart d'entre vous sont, comme moi, parents d’élèves. Vos enfants ont passé au niveau du CE2, de la sixième ou de la seconde des opérations nationales d'évaluation, à l'échelle de l'ensemble du

journée d’étude

territoire, au début de l'année scolaire. Ces opérations diagnostiques ont pour but d'aider les enseignants, les chefs d'établissements, les inspecteurs pédagogiques, à mieux détecter quel est le niveau des élèves, les difficultés ou les lacunes de tel ou tel, pour adapter l'acte pédagogique à cette détection des besoins. Ce dispositif existe maintenant depuis dix ans. Mais nous cherchons aussi à développer, en complément, des banques d'exercices d'évaluation que nous mettrons à la disposition des enseignants à tout moment de l'année scolaire. En effet, un diagnostic pertinent au début doit permettre d’ajuster la stratégie pédagogique tout au long de l’année scolaire, en fonction des acquis, des besoins et des difficultés des élèves. Deuxième type d'indicateurs : les indicateurs de pilotage pour les établissements scolaires. Le premier que nous ayons développé, chronologiquement, c'est le logiciel IPES : Indicateur de Pilotage des Etablissements Scolaires, dont la clé de voûte est la notion de valeur ajoutée. Autrement dit, on essaye d’évaluer l'apport effectif d'un établissement par rapport à son environnement, sachant qu'un bon établissement situé dans un environnement difficile peut par exemple "tirer" ses élèves beaucoup plus qu'un autre placé dans un contexte beaucoup plus facile. Chaque année depuis cinq ans, nous publions ainsi des résultats comparés des lycées ancrés sur cette notion de valeur ajoutée et non pas sur des palmarès trop brutaux et schématiques. Autre indicateur développé : le dispositif INPEC (Indicateur de Pilotage de l'Ecole au Collège) pour l'enseignement primaire. Là, le point clé, c'est l'articulation nécessaire entre le premier degré et le début du collège. Troisième type d'indicateurs, plus récent, mais tout aussi indispensable : les indicateurs dans le domaine de l'enseignement supérieur que nous appelons INFOSUP. Ce sont des indicateurs partagés pour la négociation entre l'Etat, (les directions de l'enseignement supérieur et la direction de la programmation et du développement) et les responsables des établissements d'enseignement supérieur. Dans le cadre d'une politique de contractualisation, on peut ainsi discuter à partir d’indicateurs fiables, non contestés. Ces indicateurs INFOSUP mettent à disposition des établissements d'enseignement supérieur des données sur les étudiants, sur les ressources humaines, sur leur patrimoine, leurs finances, sur la recherche, sur l'utilisation des ressources en bibliothèque… J'en viens à ma conclusion, en trois points. Première conclusion: j'’insiste à nouveau sur la finalité des indicateurs : ce sont des instruments pour l'action. A tous les niveaux d'intervention des acteurs du système éducatif, ils doivent permettre d'améliorer les conditions de réussite scolaire de l'ensemble des élèves et des étudiants. Deuxième conclusion : il faut être réaliste et ne pas minimiser les préventions et inquiétudes que peut susciter le développement d'indicateurs et d'une culture de l'évaluation. L'évaluation peut être déstabilisante. Elle interpelle sur les modes d'action et sur la façon de travailler. Il faut prévoir le réflexe, à vrai dire très humain, qui consiste à se réfugier dans l'idée que l'évaluation, comme l'accident, c'est pour les autres, pas pour soi-même. Par conséquent, dans le champ éducatif comme dans d'autres domaines d'intervention des services publics, l'évaluation correspond à ce que j'appellerai un consensus à géométrie variable. Troisième conclusion : c'est la modestie de ces instruments, en dépit du caractère irremplaçable du système d'information et de la production. Même si leur place est unique, il faut être bien conscient que d'autres facteurs peuvent intervenir dans la décision de politique publique, au niveau national, au niveau académique, au niveau d'un établissement ou au niveau d'une classe. Il peut s’agir de l’opportunité d’une décision, des rapports de forces, du dialogue plus ou moins difficile entre l'Etat et ses

journée d’étude

représentants, des représentants d'organisations syndicales puissantes et structurées. L’avantage d'une culture d'évaluation et d'indicateurs disponibles, c'est tout de même d'introduire des éléments d'objectivité, d'objectivation dans des débats qui, trop souvent, dérapent dans le passionnel. Introduire ou contribuer à faire une place à la raison plutôt qu'à la passion dans un champ sur lequel tout le monde a son mot à dire - parce que tout le monde a été élève et que la plupart sont parents d'élèves - ça n'est déjà pas si mal. « Management de la performance : quantité, qualité, comment les mesurer ? » Lionel DAVID, directeur de la modernisation et de la qualité à l'Agence Nationale pour l'Emploi. Je vais vous présenter comment nous avons mis en place un management par la performance, par le biais d'indicateurs, par les résultats, par un système d'objectifs, en

journée d’étude

introduisant la qualité des services qui est allée jusqu'à la certification de nos agences locales. Quelques chiffres pour resituer le contexte. 2 729 133 demandeurs d’emploi fin octobre 1999. Parmi eux, 482 000 demandeurs d’emploi ont une durée de chômage de plus d’un an. 5 487 877 demandes d’emploi ont été enregistrées fin 1998, toutes catégories : cela représente le flux des gens qui s’inscrivent à l’ASSEDIC et qui viennent ensuite à l’ANPE pour des entretiens sur la partie professionnelle. Nous pratiquons 12 500 000 entretiens par an. Concernant les entreprises, les offres d’emploi enregistrées étaient, en 1998, de 2 785 000. Nous allons atteindre 3 000 000 et certainement dépasser ce nombre en 1999. Sur ces 3 000 000, 47 % sont des emplois durables à temps plein ou des offres d’emploi à contrat à durée déterminée de plus de 6 mois. Nous mesurons chaque année la satisfaction des clients dans une enquête que nous commandons à de grands organismes de sondage : 80 % des entreprises se déclarent satisfaites du traitement des offres (addition des « très satisfaits » et des « satisfaits »). Des progrès restent à faire lorsqu’on a des problèmes pointus de recrutement. Du côté des demandeurs d’emploi, la dernière enquête de satisfaction indique une note de 6 sur 10. Il s’agit d’une note globale qui porte sur l’ensemble des services rendus. Cette note traduit la difficulté qu’il y a à trouver du travail pour tout le monde et à trouver de vraies solutions pour chacun des demandeurs d’emploi. Dernier nombre : celui du nombre d’agents. Nous avons 17 000 agents, dont 14 500 au contact direct avec le public, et nous avons un réseau de 768 agences locales, des directions générales et des directions départementales et des directions déléguées. Comment fonctionnons-nous ? Nous sommes dans un système de performances cadré à la fois vis-à-vis de l’Etat (en l’occurrence, le ministère de l’Emploi et de la Solidarité qui est notre ministère de tutelle), vis-à-vis d’objectifs opérationnels en interne et, en externe, vis-à-vis des engagements pris à l’égard de nos clients (demandeurs d’emploi et entreprises). Les mesures de la performance portent sur ces trois paramètres. En outre, nous sommes dans le cadre d'une relation contractuelle avec l’Etat, celle des contrats de progrès. Nous en sommes au troisième. Ses objectifs : prévenir et réduire le chômage de longue durée (nous nous situons dans le cadre des accords de Luxembourg). Cela implique tout un travail sur le service personnalisé "nouveau départ" : revoir une série de demandeurs d’emploi de longue durée, leur proposer quelque chose, faciliter les recrutements des entreprises. Notre métier d’intermédiation sur le marché du travail se double d’une mission de service public. L’Etat nous confie en effet une mission d’intervention sur le marché de réduction des inégalités de traitement. Nous devons travailler pour les plus défavorisés, ce qui est une partie importante de notre problème. Autre élément important, le développement de partenariats avec tous les acteurs. Cela fait partie de nos objectifs stratégiques. Notre méthode est simple, elle a sa dynamique et ses limites. Ses limites sont celles, classiques, du management par objectifs lorsqu’il est mal piloté : c’est de vouloir faire du chiffre à tout prix et parfois de faire n’importe quoi aux marges. Cela crée aussi une énorme dynamique dans la mesure où la contractualisation touche chaque niveau de la pyramide, de même que l’Agence est dans une relation contractuelle avec l’Etat. Et nous verrons tout à l’heure que nous avons des engagements contractuels aussi avec nos clients. Dans ce cadre de la programmation trisannuelle et des objectifs du contrat de progrès avec l’Etat, nous déclinons des objectifs opérationnels discutés au cours d’une séance de programmation annuelle. Le directeur général consacre à chaque directeur régional une journée au cours de laquelle se négocient les objectifs opérationnels de la région sur l’ensemble des versants indiqués plus tôt: offres, demandes, objectifs stratégiques, réduction du chômage de longue durée, recueil des offres d’emploi, parts de marché de

journée d’étude

l’agence sur les recrutements, etc. Un exercice identique se fait entre les directeurs régionaux. Ensuite, le directeur régional négocie avec l’ensemble du réseau, pour que chacune des 768 agences locales au contact direct des demandeurs et des entreprises ait des objectifs précis à réaliser dans l’année et soient évaluées dessus. Cela va même plus loin, puisque depuis le deuxième contrat de progrès, les agents ont une prime d’intéressement en fin d’année, calculée sur les résultats obtenus. Le montant de la prime de chaque agent est calculé par le biais d'un paramétrage des résultats nationaux et locaux. La performance est donc liée aux objectifs stratégiques du contrat de progrès, aux objectifs opérationnels déclinés jusqu’au niveau des agences locales et, aussi, à l’utilisation des moyens déconcentrés. Car notre système est complètement déconcentré. Un directeur d’agence a tous les moyens de ses objectifs, à commencer par les crédits, tous déconcentrés au travers d’un système informatique. L’ensemble des directeurs d’agence et, a fortiori, des directeurs régionaux, peuvent engager l’ensemble des crédits de fonctionnement et des crédits d’intervention, c’est-à-dire des prestations que nous sous-traitons pour les demandeurs: prestations d’orientation, d’accompagnement, de recherche d’emploi, etc. Les mesures pour l’emploi, les contrats "initiative emploi" etc., sont complètement déconcentrés et engagés sans contrôle a priori par chaque directeur d’agence. Autrement dit, nous faisons un pari sur la responsabilité. Nous pensons que la modernisation et la performance sont basées sur un système de responsabilité évalué dans un système d’objectifs. Quelques exemples concrets d’indicateurs de performance : D'abord, la mesure du service, qui nous distingue du monde industriel. Le problème de nos agents, c’est d’apprendre cette relation et cette attitude de service. Nous avons donc mis en place des indicateurs de performance pour mesurer le premier aspect, c'est-à-dire la capacité que l’on à coproduire le service avec son client, et le second, c’est-à-dire le sourire, l’accueil, etc., (tout ce qui fait que l’on se sent traité comme quelqu’un d’important, comme dans un avion par exemple). Dans notre cas, ce n’est pas nous directement qui allons trouver du travail à quelqu’un ou le faire embaucher par le DRH à qui on le présente, mais nous faisons ce DRH un travail de coproduction qui fait partie de la relation de service et que nous devons pouvoir mesurer. Je dirai comment tout à l’heure. A propos de l'attitude, je précise que nous avons mis en place ce que l’on appelle l’accueil actif, pour aller au-devant du client dès que la porte s'ouvre. Concernant le service lui-même, nous avons bâti une offre de service en consultant l'ensemble de nos usagers et clients. On fantasmait beaucoup sur les services attendus par les entreprises et les demandeurs d’emploi. En fait, ils veulent des choses relativement simples et efficaces et nous nous sommes adaptés à leurs attentes. Nous avons bâti une nouvelle offre de service, en cours de déploiement. Nous n’avons pas fait beaucoup de publicité là-dessus encore pour l'instant. Cette offre est assortie d'engagements qualité qui vont nous permettre d'entrer dans les engagements contractuels affichés avec l'ensemble des clients, entreprises et demandeurs. Du côté des agences, nous souhaitons que le système de production de service fonctionne. Nous avons donc édité au plan national des règles communes d'organisation. Tout le problème a été de ne pas tout imposer d'en haut, de donner les "fondamentaux" d'organisation et de demander à chacune de nos équipes locales de travailler sur les processus de travail et de décrire leurs règles particulières d'organisation compatibles, bien sûr, avec ces fondamentaux. Cette description de l’organisation fine s’est faite selon les règles de l'assurance qualité, c’est-à-dire dans le cadre de la certification (soit une qualification proche des normes

journée d’étude

ISO). Chaque collectif de travail a travaillé de manière participative avec une méthode d'accompagnement, de conduite du changement. Cent vingt consultants internes, tous cadres supérieurs, ont été formés à cette occasion pendant dix jours. Tout le système fonctionne évidemment sur le management et suppose des systèmes contractuels basés sur la responsabilité, d'où l'importance de la programmation stratégique. Ainsi, nous sommes évalués sur des indicateurs de performances consultés chaque mois. Chaque région y consacre une séance de son comité général. En fait, c’est ce travail sur les résultats qui a des chances de créer la dynamique. Du côté service au client, chaque agence locale lance des enquêtes. Elles avaient lieu tous les trois mois pendant la période de qualification et vont passer à six mois parce que les clients en ont assez de se faire enquêter ! Les enquêtes sont calées au plan national et dépouillées avec, en double, un logiciel national pour éviter les dérives, et avec un logiciel implanté localement pour éviter les dérives statistiques nationales. Tout repose sur les épaules du manager, qui doit gérer deux systèmes : le système interne et le système client. Il doit surveiller le premier avec les indicateurs de performance et réagir. Il faut donc lui en donner les moyens, ce que permet la déconcentration. Quant au management du système client, il consiste à permettre au client d'être l'acteur de son propre traitement. Ce n'est pas si simple, et nous apprenons actuellement à l'ensemble des équipes, avec leur responsable, à travailler avec le client, à lui apprendre à mieux utiliser le service et à faire lui-même le pas nécessaire pour coproduire ce service. Une bonne mesure des résultats vis-à-vis des clients, c’est le nombre d’offres d'emplois enregistrées, et le nombre d'embauches réalisé suite à la proposition de l'agence. Il est actuellement de 65 %. Cela signifie que sur les trois millions d'offres d'emploi, nous arrivons à en pourvoir 65 % avec des demandeurs d’emploi. Nous calculons également la part de marché de l'ANPE dans les recrutements en rapportant le volume d'offres d'emplois d'une durée de plus d'un mois proposé par l'agence au volume de recrutement effectué par les établissements du secteur marchand, non agricole. Nous avions comme objectif de réduire de 5 % le nombre de chômeurs de longue durée de plus de deux ans et, cette année, nous allons atteindre presque 9 % de réduction. Ce succès est dû à l'opération "nouveau départ" qui nous recentre fortement sur le chômage de longue durée, mais la reprise nous aide beaucoup. Nous en sommes à près de 50 % de sorties du chômage après quatre mois, dont 40 % par reprise d'emploi durable ou non durable. C’est un peu compliqué : il y a du chômage récurrent, un phénomène que je ne peux pas développer ici. Dernier élément : les indicateurs de performance sur le respect des engagements qualité. Nous avons quatre engagements qualité pour les entreprises, cinq pour les demandeurs. Ces engagements mettent sous tension tout notre système d'organisation. Avant de certifier une agence pour trois ans (comme en norme ISO), nous faisons une enquête de satisfaction client, au niveau local. Nous avons des indicateurs et un système de notation qui aboutit à une série d'items. Nous essayons de pointer 108 points de fonctionnement de l'agence locale pour contrôler la pratique du service et l'organisation du service dans le domaine de la qualité. A côté de ce « regard client », nous prenons en compte un deuxième regard, le regard du management. Nous avons des indicateurs permanents de qualité de service qui portent sur l'ensemble des processus, accueil, etc Le regard des agents, enfin, est systématiquement pris en compte. Nous avons mis au point un questionnaire qui interroge les agents, de manière anonyme, sur les 108 points. L’enquête est toujours dépouillée avec le même logiciel pour avoir le même type de notation statistique. Cela permet de demander aux agents : "Qu'est-ce que vous pensez de la manière dont on fonctionne, en vous mettant à la place du client et en faisant le parcours client ?".

journée d’étude

Tous ces questionnaires sont bâtis en envisageant ce parcours client : j'entre dans l'agence, je vois quelqu'un, je fais ceci, etc, sur 108 points fondamentaux. Quand on prépare la qualification d'une agence, on mobilise un observateur externe qui, sur la base d'un protocole, va aller pointer les 108 points par un audit et nous renouvelons, en veille-qualité, cette opération qui génère toute une batterie d'indicateurs à suivre. Le but, c’est de revoir ses dispositions particulières d'organisation, de réfléchir sur ce qui ne va pas, sur les attitudes de service. C’est sans fin et c’est un peu le rocher de Sisyphe !

QUESTIONS

(Anonyme) : Je voudrais intervenir sur une comparaison rapide entre les deux présentations, d'un côté l'agence pour l'emploi et de l'autre coté, le système éducatif. On remarque que dans le système éducatif, une des difficultés est sans doute de faire entrer des éléments d'évaluation de la performance dans la réalité du travail des praticiens de la prestation, les enseignants notamment. Dans l'agence pour l'emploi, on voit une dynamique de management qui fait en sorte que les indicateurs ne soient pas qu'un système de contrôle et d'évaluation. De quelle manière ce que vous nous avez présenté de façon macro sur l'éducation nationale s’articule-t-il à une évaluation locale de l'action des uns et des autres, par un processus de management ? J’aimerais avoir votre avis sur la façon dont le travail des agents doit être ancré à ce système d'évaluation, de manière à ce qu'il n'y ait pas un décalage entre l'un et l'autre. François Louis : Je crois que votre question renvoie à la notion « d’animation ». J’ai évoqué l'approche macro économique, c'est exact. J'ai insisté cependant sur des indicateurs à la disposition des maîtres dans leur classe, des chefs d'établissement, des équipes pédagogiques dans leurs établissements, donc ancrés vraiment sur le terrain. Toute la difficulté est de rendre cette animation réelle, à partir par exemple du diagnostic de septembre de chaque année. Ce qui est intéressant, ce n'est pas seulement de tirer les conclusions de cette évaluation, c’est de proposer des instruments homogènes qui puissent permettre des discussions partagées sur les méthodes d’évaluation. Ces instruments sont au demeurant conçus par des enseignants pour des enseignants, par des inspecteurs pédagogiques pour les acteurs de terrain. Les enseignants d'une même discipline peuvent ainsi confronter leurs méthodes, mais cela peut se faire aussi entre enseignants de diverses disciplines d'un même niveau de scolarité ou, plus largement, au sein de l'établissement. De ces discussions doit naître une synergie aboutissant à un projet d'établissement non pas limité aux activités périphériques (les sorties, etc) mais ancré dans la réalité de l'acte scolaire, de l’existence d’un public scolaire qu’il faut faire progresser dans le contexte et avec les moyens dont on dispose. Dans ce travail, les chefs d'établissements jouent un rôle déterminant mais difficile, parce que le réflexe fréquent, c'est de se replier sur sa classe. Il faut arriver à dépasser ces réactions éventuellement rebelles à cette démarche d'évaluation. Les inspecteurs pédagogiques, eux aussi, peuvent avoir un rôle très positif d'incitation, de partage d'expériences. Enfin, les inspecteurs d'académie, les recteurs au travers des stages ou du dialogue avec les chefs d'établissements et les représentants des enseignants, peuvent essayer de « tirer » là encore l'académie ou le département, à partir du constat établi par divers indicateurs, vers des objectifs les plus élevés possibles pour la réussite des élèves.

(Anonyme) Il y a eu à Lille une évaluation locale. Comment voyez-vous l'articulation entre ces éléments d'évaluation nationale et une évaluation locale qui, par les échos qu'on en a eus dans un autre séminaire de la DGAFP, était mieux acceptée ?

journée d’étude

François Louis : Vous avez raison d'évoquer cette démarche, introduite il y a plusieurs années, par M. Peyre, à l’époque recteur de l'académie de Lille. Il a organisé ce qu'il a appelé des audits d'établissement impliquant des acteurs du système éducatif et notamment, pour les collèges, d'autres principaux de collège, d’autres collègues, etc. Conduite sur trois ou quatre ans, cette démarche a donné des résultats mitigés, très variables d'un établissement à l'autre. Dans certains cas, certes, elle a permis de mieux cerner la réalité du fonctionnement de l'établissement scolaire. Dans d'autres, l’irruption d'équipes extérieures à l'établissement a pu être mal vécue, il faut l’admettre. Dans ces démarches d'audit, le tact est indispensable, faute de quoi les réactions de prévention ou de mise en cause de la légitimité de l'audit apparaissent très vite. Et une fois que les personnels sont braqués, il n'y a plus qu'à tirer l'échelle. Francis BAIGTS : Je suis au mouvement français pour la qualité, une association privée, même si j’ai une expérience de fonctionnaire (en tant que mis à disposition du ministère de l'Economie). Vu du privé, cependant, ce qui me frappe à écouter les différentes démarches et leur déroulement, c'est l'absence de comparaisons avec d'autres systèmes, que ce soit en France ou à l'étranger. Et, surtout, un grand mutisme quant à l'intervention d'intervenants privés. On se retrouve avec le secteur privé d'un côté, le secteur public de l'autre, deux se disputant sur le sens du mot de client. On a donc deux langages et deux approches différentes. Or je pense qu'un apport mutuel est tout à fait nécessaire, et que l'entreprise d'une démarche de qualité nécessite une espèce de « fécondation » qui suppose donc l'intervention d'un élément extérieur. Quand vous parlez d'auto-évaluation, il est bien évident qu'on ne s'auto-évalue pas soi-même, de même qu'on ne se photographie pas soi-même. De même, on ne peut pas s'auditer soi-même ou se faire auditer par ses pairs, parce que la bulle reste totalement fermée. La conséquence, c’est - et je trouve cela très frappant - une énumération considérable d'indicateurs que je vois comme des espèces de surveillances au-dessus des têtes de chacun des agents. C’est, à mon sens, l'inverse de la démarche qualité qui suppose une adhésion de chacun. Sans une appropriation véritable de chacun, dans une démarche qui ne soit vécue ni comme une contrainte, ni comme une surveillance, ni comme un contrôle, il y a un butoir infranchissable.

Bernard VERSET, chargé de mission usagers, à la Direction Départementale de l'Equipement de Côte-d'Or. La semaine dernière, en Côte-d'Or, à l'Equipement, nous avons organisé un forum des usagers. Nous avons sélectionné une douzaine de personnes pour venir parler des routes. A propos des petites haies qui sont à l'entrée des agglomérations, nous avons posé la question suivante : "Est-ce que vous ralentissez à ce moment-là ?" Ils nous ont répondu : "Ah bon, c'est fait pour ralentir ! Nous, on croyait que c'était fait pour faire joli". Au-delà de l'anecdote, cela montre que nous avons construit notre questionnaire avec notre logique de technicien, les usagers ont répondu avec leur logique d'usager. D'où ma question : "Comment les questionnaires ont-ils été établis? est-ce qu'ils ont été établis uniquement avec la logique du gestionnaire de l'ANPE ou aussi avec la logique de l'utilisateur de l'ANPE ?" Deux remarques aussi, toujours dans le prolongement de l'Equipement. Nous sommes très sensibles au tracé des routes et nous nous rendons compte que ce sont surtout les opposants à un projet qui s'expriment. Rares sont ceux qui viennent nous dire spontanément : "On est pour votre projet".

journée d’étude

Donc, là aussi, comment prendre en compte ce type d'usagers et à quel moment? Si on propose un tracé qui n'est pas encore défini, ce que nous appelons un « fuseau », on nous dit : "Comment voulez-vous qu'on se prononce puisque vous n'avez pas encore de précisions à nous apporter !" Et, quand on les consulte alors que le projet est déjà pas mal ficelé, on nous dit : "Oui, mais vous nous donnez un truc qui est tout ficelé !". Autre remarque, cette fois plutôt en direction de l'Education nationale. J'ai l'impression que progressivement, avec le militantisme des parents d'élèves, ce sont surtout quelques élites qui militent et qui orientent l'école, tandis que l'immense majorité des parents est complètement à l'écart. Et bien sûr, on tient compte des premiers et pas des seconds, qui sont complètement écartés et qui en auraient pourtant le plus besoin. (Anonyme) Une double question pour Monsieur DAVID. D'abord, quel est l'effet de la certification sur les différents protagonistes ? Sur les clients, on peut voir à peu près à quoi il correspond, mais est-ce qu'il a un effet sur les personnels ? Deuxièmement, vous avez parlé de possibilités, pour le directeur d'une agence locale, d'avoir une très grande souplesse dans l'utilisation des crédits. Cela veut-il dire qu'il peut aussi transférer des crédits d'un chapitre à un autre ? Est-ce que sa liberté de gestion porte aussi sur les crédits de personnel ?

(Anonyme) Est-ce qu'il existe des mécanismes d'évaluation de l'évaluation, et quelle est la place des usagers dans l'évaluation de la pertinence des indicateurs ?

Lionel DAVID : Concernant la première question, les questionnaires ont été faits en suivant un parcours « usager » et comprennent donc peu de préoccupations internes. Nous sommes partis des engagements clients. Dans ces questionnaires, nous regardons en quoi ces engagements sont tenus ou en quoi l'offre de service qui a été calibrée par des enquêtes clients donne satisfaction aux clients. Notre vision est donc complètement externe. Nous n’avons pratiquement pas de questions qui touchent à notre propre organisation interne.

Concernant les moyens dans les agences locales, les directeurs d'agences peuvent effectivement redistribuer leurs crédits sur les crédits de fonctionnement sur le même chapitre à deux chiffres. Autrement dit, les crédits sont redéployables dans la limite du chapitre à deux chiffres. C'est vrai aussi au niveau d'une région, sans décision modificative budgétaire qui fait intervenir notre conseil d'administration. Une région peut revoir, à tout moment, l'ensemble de ses crédits, dans la limite du chapitre à deux chiffres en bout de ligne. Le directeur régional peut introduire de la souplesse lui aussi en "rebrassant" ses crédits en cours d'année. Par contre, les crédits de personnel ne sont pas déconcentrés. François LOUIS : Le mot de contrôle et de surveillance a été prononcé, dans une des questions. Si, effectivement, les indicateurs sont vécus comme des instruments de contrôle et de surveillance, alors la partie est perdue. Par conséquent, tout un travail de pédagogie de l'utilisation des divers types d'indicateurs est indispensable pour que les acteurs surmontent des réactions éventuelles de prévention et se les approprient. Je crois qu'il est important aussi de bien mesurer quelle est la culture du milieu service public dont on parle. Dans le secteur sur lequel je travaille, l'Education nationale, il faut admettre que, jusqu'à une époque récente, les années quatre-vingt, le dialogue entre l'école et l'entreprise était impossible. C’étaient deux mondes qui, très largement, s'ignoraient et par conséquent, prononcer des mots tels que « productivité », sans parler

journée d’étude

de « rentabilité » (le ministre a bien dit tout à l'heure qu’il « récusait le terme »), je vous assure que ça n'avait rien d'évident. Avec des détours pédagogiques, des explications détaillées, on arrive à faire comprendre qu’il faut tout simplement rendre compte de l'action publique et que, même si la scolarité est obligatoire, il serait sans doute assez illusoire d'en rester à l'idée que l'Education nationale dispose d'un public captif. C’est beaucoup plus compliqué. Il faut donc vraiment prendre en compte le contexte culturel pour appliquer une démarche adaptée. « Synthèse : les indicateurs de performance à destination des usagers » Gilles JEANNOT, chercheur au Laboratoire Techniques, Territoires et Sociétés, Ecole nationale des Ponts et Chaussées Je vais reprendre et revenir sur ce qui a été dit ce matin, mais aussi apporter quelques éléments différents, autour de trois thèmes de difficulté croissante. Premier thème : on s’aperçoit que les indicateurs que produisent naturellement des administrations et des services publics pour leur mode de gestion quotidien ne correspondant pas forcément au point de vue de l'usager. Le représentant d'une DDE nous a cité les petites haies, conçues dans un objectif de régulation et de sécurité du point

journée d’étude

de vue de la DDE, et comprises par le public comme des éléments purement décoratifs. Pierre Lascoumes a évoqué ces critères flous, qui ne correspondent pas à des attentes ou en tout en cas qui n'offrent pas prise à un vrai jugement des usagers. On peut évoquer beaucoup de critères de ce type, qui semblent naturels et pourtant ne fonctionnent pas. J'en reviens au secteur que je connais, l’équipement. Il paraît tout à fait naturel à ce ministère de produire des indicateurs de qualité sur les routes nationales, parce qu'ils ont en charge les routes nationales. Sauf que, vous et moi, nous ne savons pas à quel moment nous sommes sur une route nationale et à quel moment nous sommes sur une route départementale. Un indicateur de qualité « route nationale » manifeste une bonne volonté de la part du ministère de l'Equipement, mais envisager des engagements sur la qualité sur les routes nationales n'a pas grand sens si on se place du point de vue de l'usager. Autre exemple : l’électricité. Les gens d’EDF disent souvent qu’en France, on a la meilleure qualité de l'électricité. Ça les rassure beaucoup, mais pour la plupart des utilisateurs, l'électricité se réduit à une chose : ça marche ou ça ne marche pas, et les 54 critères qui font la qualité et la fierté d'EDF au niveau international ne les passionnent pas franchement. Certains indicateurs semblent de bon sens, comme le taux de remplissage moyen dans les transports en commun. Mais l’usager, lui, vit plus souvent la situation de la rame de métro surchargée que de la rame vide. Le vrai indicateur n'est donc pas du tout la moyenne, c'est beaucoup plus compliqué que ça. Dernier élément : on a évoqué les aspects qualité, accueil, sourire avec l'idée qu'on allait faire comme dans le privé, et on a dit « il faut être gentil, souriant, etc » . On peut voir en ce moment une publicité assez décapante sur l'avion, (image classique de l'accueil soutenu) avec une hôtesse de l'air qui dit très poliment et très gentiment : "Bonjour, nous sommes heureux de vous accueillir et comme chaque fois nous aurons deux heures de retard". C'est d'ailleurs assez intéressant que le secteur concurrentiel mette en avant une notion de qualité qui reposerait uniquement sur des éléments comme le sourire, l’accueil commercial au sens propre. Deuxième thème, qui m'amène à une approche un peu plus sociologique. Quelle relation sociale forte y a-t-il entre la personne ou l'entreprise qui émet un indicateur, et l'usager ou la personne qui va utiliser cet indicateur ? Je me permettrai à ce sujet un petit détour fort instructif sur l'histoire de la comptabilité analytique dans les entreprises. Dans un premier temps, il n'y avait pas besoin de comptabilité, parce qu’on avait affaire à de toutes petites entités qui, d'une certaine manière, fonctionnaient entre elles par les marchés. Avec la concentration industrielle, les ingénieurs des grandes entreprises ont pris le pouvoir. Ils ont mis en place des comptabilités analytiques permettant de savoir, objet par objet, quels étaient les coûts, de dispatcher les moyens à donner, ou de réorienter l'activité sur ce qui était plus ou moins rentable. Les historiens de la comptabilité analytique nous apprennent que, très rapidement, avant même la seconde guerre mondiale, la comptabilité analytique dans les entreprises va complètement s'effondrer. Aujourd’hui, elle subsiste, mais finalement ne marche pas. énormément. Pourquoi? Parce qu’une autre comptabilité est maintenant beaucoup plus importante : la comptabilité financière, celle des actionnaires qui veulent vérifier si leur argent est bien utilisé. Ces deux comptabilités se situent dans deux relations sociales : d’un côté, l'ingénieur qui veut optimiser le système de production, et de l'autre l'actionnaire qui veut que l'entreprise gagne plus. Les deux sont liés, mais il n'y a pas une corrélation immédiate entre les deux points de vue. Si l'actionnaire a réellement le pouvoir, c’est la comptabilité de l'actionnaire qui va prendre le dessus. Une petite illustration qui nous ramène du côté des services publics: j’ai travaillé en 1998 pour France Télécom, juste au moment où se posait la question de l'ouverture à la concurrence. A l'époque, l’indicateur majeur était le nombre d'appareils

journée d’étude

qu'on vendait dans les guichets d'accueil de France Télécom. Un débat interne se déroulait pour définir l’indicateur juste : devait-on prendre en compte les appareils vendus ou la différence entre les appareils vendus et ceux que l’abonné rend ? Quand France Télécom s’est ouvert à la concurrence, on s’est aperçu que l'indicateur des appareils vendus n’avait plus de sens, parce que le métier de France Télécom n'est pas de vendre des appareils téléphoniques mais de vendre de l'usage du téléphone. Un nouvel indicateur a donc surgi pour ça: le « delta minute », soit le temps de consommation passé par les usagers. On peut poursuivre l'histoire parce qu’à il y a aujourd'hui, en particulier sur le mobile, un déplacement des enjeux. La lutte pour les parts de marché, on le voit autour de Noël, est serrée. L'indicateur, ici, n’est plus la consommation, c'est le nombre d'usagers qui auront pris un mobile, chez l'un des trois fournisseurs. Cette fois, c’est un indicateur assez direct. J’ai entendu dire à la radio qu'en cas d'OPA sur les secteurs téléphoniques de Bouygues ou d'un autre, chaque utilisateur de téléphone mobile était évalué en valeur capitalistique à plusieurs dizaines de milliers de francs. L’indicateur se déplace complètement et, dans un moment crucial, on peut accepter de perdre de l'argent pour gagner des parts de marché. Là encore, on voit bien que ces indicateurs ne doivent pas être considérés dans une perspective de bonne volonté – « il faut faire mieux, écouter etc. » - mais bien sur le terrain des rapports de forces. Alors, qu’en est-il des indicateurs pour les usagers, puisque les usagers ne sont pas en position de force ? Pierre Lascoumes a évoqué cette question du rapport de forces inégal et a souhaité qu'usagers et fonctionnaires (ou professionnels) soient à parité dans les lieux de discussion. Mais le fait de multiplier le nombre des usagers, à mon sens, ne va pas renverser ce rapport de forces. Je trouve plus intéressant ce qui a été évoqué à propos de l'IPES, des indicateurs de l’Education Nationale, ou du secteur hospitalier, avec la création des agences régionales d'hospitalisation. En effet, on voit là un jeu à trois entre une administration productrice de services, une autorité de contrôle et de régulation dotée d’un réel pouvoir (l’agence régionale) et l’usager. L’hypothèse optimiste est que ce jeu à trois pourrait s’étendre et toucher aussi les entreprises. Ces autorités de contrôle et de régulation émettraient des indicateurs qui pourraient passer en particulier par la presse. Je pense d’ailleurs que ce qui se joue autour des palmarès, avec toutes leurs limites, est assez important parce que ça crée du rapport de forces d'un autre type. On a alors un vrai basculement de pouvoir, avec une alliance d'une certaine manière « objective », entre d'un côté les usagers citoyens qui réagissent à la fois sous forme associative et médiatique, grand public, et de l’autre les autorités qui émettent des indicateurs et qui sont indépendantes. D’une certaine manière, les deux auront les moyens de peser sur des grandes entreprises qui, elles, ont leur logique propre. Voilà pour l'hypothèse optimiste. J'en viens à mon troisième thème : on a beaucoup parlé de services offerts. Or, très souvent et heureusement, l'administration des services publics n'offre pas que des services: les services publics participent à la production de biens publics. L’hôpital fournit à la personne un service qui est le traitement d’une maladie, mais il y a aussi un bien public, la santé publique, produit en partie par la qualité de l'hôpital, mais aussi par tout autre chose, comme l'hygiène. De même, en termes d’emploi, il y a un service offert aux demandeurs, mais aussi un bien public, à savoir le niveau de l'emploi. Il faut donc réfléchir à des indicateurs de service souvent assez faciles à trouver, mais aussi à des indicateurs de bien public. De ce point de vue, l'exemple de l'Education nationale était assez intéressant. Réfléchir à une mesure objective du niveau scolaire va bien au-delà de la question du service offert à une personne particulière: c'est bien un moyen de poser cette question du bien public et de l'amener à un débat plus large.

journée d’étude

« L’approche des indicateurs par la direction du budget » Sophie MAHIEUX, directrice adjointe du budget au ministère de l'Economie, des Finances et de l'Industrie Pourquoi la direction du Budget souhaite-t-elle se préoccuper de la question de la performance ? A cet égard, on peut faire trois remarques fondamentales. Premièrement, l'activité budgétaire, qui vise au premier chef à définir le niveau des moyens publics, de la dépense publique et de son allocation, ne peut à l'évidence pas être indifférente à la question de la performance. Cette activité pose en effet à la fois une question macro-économique, celle de la « soutenabilité » à l’échelon international (à

journée d’étude

savoir l'enveloppe globale de dépense publique économiquement tolérable), et celle, micro-économique, de la performance. Les deux aspects ne peuvent pas être dissociés. Une politique non soutenable oblige à des effets de stop and go défavorables au développement de la performance; inversement, une dépense publique inefficace conduit à la destruction de richesse, ce qui n’est pas souhaitable. Deuxième remarque fondamentale : il y a une certaine contrainte externe à évoluer dans ce sens. Je ne reviendrai pas sur les attentes des usagers. On peut observer, du point de vue de la dynamique internationale des procédures budgétaires, que nous sommes dans un contexte où, de plus en plus, se pose la question de la budgétisation orientée vers les résultats. Troisième élément qui peut justifier cet intérêt de la direction du Budget pour les questions de performance : la cohérence de la réforme de l'Etat qui, dans le cadre d'une stratégie macro-économique énoncée (ce qui est un des objectifs des programmes de stabilité), nécessite une responsabilisation des gestionnaires. On n'imagine donc pas que la fonction financière puisse demeurer étrangère à ce processus. Que veut dire concrètement l'établissement d'un lien entre budget et performance ? Que signifie se poser la question de la budgétisation orientée vers les résultats ? Fondamentalement, nous ne sommes pas dans une démarche mécanique, c’est-à-dire que nous prenons acte de l'échec de la RCB et de sa dimension hautement technocratique. Nous prenons acte également que ce qu'on a appelé l'activité budgeting ne trouve que des points d'application limités dans le secteur public. Nous prenons acte également du fait que nous ne sommes pas dans un schéma de régulation du secteur public par le marché, comme il peut exister dans d'autres pays, mais plutôt dans un scénario de liens relativement souples entre le processus de budgétisation et la performance. On essaie en fait de répondre à ce que les anglo-saxons appelaient le « value for money », autrement dit: qu'est-ce qu'on obtient en échange de l'argent public que l'on consacre à une politique publique ou à une fonction ? Autrement dit encore, Que fait l'Etat? A quoi cela sert-il? Combien est-ce que ça coûte? Quels sont les résultats? » Cela s'inscrit dans une démarche qui essaie d'enrichir le débat public sur l'allocation des moyens. Cela revient à déplacer un peu les conditions de la discussion budgétaire, à ne pas simplement s'intéresser à la masse de moyens qu'on injecte dans le système, mais bien aux résultats qu'on essaie d’obtenir. Cela pose des questions, pas forcément faciles à résoudre, concernant les « process » que met en œuvre l'administration, la production des programmes publics, dont la chaîne peut mettre en cause différents acteurs et ne se résume pas toujours à des responsabilités extrêmement segmentées qui caractérisent notre organisation administrative. Et si l’on veut inciter au changement des administrations, via la notion de résultats, la divulgation des performances obtenues est probablement le seul moyen de structurer une contrainte externe, puisque nous ne connaissons pas la contrainte du marché. Le deuxième élément fort qui nous paraît important dans cette démarche, c'est le souci de responsabilisation des gestionnaires. On espère y arriver à travers deux types de démarche : la première s’appelle la cohérence de la reddition des comptes. Elle permet de s’assurer qu’existe un processus un peu plus « en cascade » entre la façon dont se discute l'allocation des moyens budgétaires, celle dont se pilotent les administrations au cours de la gestion et celle enfin dont on rend compte au Parlement des résultats obtenus. Il est probable que, par le passé, une discussion extrêmement centrée sur les moyens et sur une approche un peu comptable restait éloignée d’un pilotage des administrations qui essayait de se développer plutôt autour d'objectifs. Pour intégrer la dimension des résultats et de la performance dans le processus budgétaire, il faut rétablir une chaîne logique, dans laquelle les conditions de la discussion avec le Parlement de la répartition des moyens, de l’organisation du dialogue budgétaire entre les administrations centrales et leurs services

journée d’étude

déconcentrés et du compte-rendu du déroulement de la gestion soient si possible non schizophrénique et un peu plus cohérentes. Cette responsabilisation, surtout, doit permettre la contractualisation, ou en tout cas de l’asseoir sur autre chose que sur une simple logique de moyens. Il faut donc essayer à la fois d’aller dans le sens de la globalisation, d'une visibilité pluriannuelle pour les gestionnaires et, symétriquement, de considérer que cette garantie de ressources pluriannuelles, cette autonomie accentuée par la globalisation a pour corollaire un certain nombre d'engagements pris par les services sur des résultats à obtenir et donc sur une transparence des résultats obtenus. Avec nos partenaires des départements ministériels, nous avons essayé d'intégrer dans le processus de la discussion budgétaire la fixation et le suivi de cible de performances. Comment cela s'est-il traduit concrètement ? D’abord par un premier acquis, qui va plutôt dans le sens de la transparence du débat public: assurer une meilleure information du Parlement. Ainsi, dans le cadre de ce que l'on appelle "les bleus budgétaires", qui sont la présentation détaillée du budget de chaque département ministériel à destination du Parlement, le ministre par une circulaire d'avril 1999 a demandé à ses collègues du gouvernement d'essayer de mieux répondre à la question de la performance et de la lisibilité des actions publiques. Nous avons utilisé les documents budgétaires à cette fin. Je rappelle qu’après la présentation traditionnelle par chapitres et articles, une présentation plutôt axée sur la nature des moyens ou la destination des crédits, on dispose dans les «bleus« de ce qu'on appelle des agrégats, c’est-à-dire des présentations plus transversales qui regroupent plusieurs catégories de moyens budgétaires et qui essaient normalement de présenter au Parlement une politique publique, un programme ou une fonction de l'administration. Avec nos partenaires des ministères gestionnaires, nous avons travaillé à structurer ces agrégats d'une manière lisible pour le Parlement et de façon à rendre compte du périmètre de responsabilité administrative. Nous avons donc essayé de faire émerger une notion d'acteurs publics ou de programmes publics, autour de laquelle structurer une responsabilité dans la mise en œuvre des moyens et des objectifs. Nous avons distingué trois types d'agrégats : des agrégats de prestations de service, gérés par des acteurs ; des agrégats qui retraçaient plutôt des programmes d'interventions, par exemple dans le domaine de la lutte contre le chômage où la logique n’est pas celle d’un acteur administratif remplissant une fonction mais celle d’un programme public ; et enfin des agrégats des fonctions-support dans les administrations. Par cet effort de structuration des diverses politiques publiques menées par les ministères, on a essayé d'identifier des responsabilités administratives. Pour adosser à ces agrégats une démarche de résultats et de performance, nous avons demandé aux ministères d'essayer de les décomposer en un certain nombre de missions confiées aux prestataires de service, en un certain nombre d'actions attendues des programmes publics ou en un certain nombre de fonctions à assurer par les responsables de fonction-support. Puis nous leur avons demandé d'identifier les coûts que représentaient ces différentes missions, actions ou fonctions. Ils pouvaient soit les identifier directement à partir de la nomenclature budgétaire, soit les extraire, via l'utilisation d'outils de contrôle de gestion dont ils seraient dotés. En essayant d'organiser progressivement cette segmentation des agrégats et cette connaissance des coûts, nous leur avons demandé d'essayer d'associer à ces missions et à ces coûts un certain nombre d'indicateurs de résultats, et d'abord de définitions des objectifs. Parce que, pour avoir des indicateurs, encore faut-il savoir ce que l'on cherche à mesurer, quels sont les objectifs que l'Etat assigne à chacune de ces missions, actions ou fonctions et si l'on est capable de quantifier ces objectifs. Peut-on, par exemple, donner une indication rétrospective mais aussi prospective, une « cible » que le gouvernement donnerait à ces services pour l'année, à l'issue de la discussion budgétaire ? De ce point de vue, nous n'avons pas retenu une approche univoque de la

journée d’étude

notion de performance. Selon la nature des agrégats, selon que l'on est plutôt dans le cadre d’une prestations de service, d’un programme ou d’une fonction support, nous avons demandé aux ministères d'essayer de regarder quel type de mesure de la performance il pouvait dégager : efficacité socio-économique (donc la performance finale de l'action de l'Etat), efficience ou qualité du service rendu. Et, pour boucler le dispositif, de présenter ces agrégats et ces indicateurs sur une base prévisionnelle pour l'année à venir, dans le cadre du projet de la loi de finance de l'année et, si possible, d'un enrichissement de la loi de règlement, puis du résultat obtenu une fois la gestion close. On espère ainsi que le débat avancera bien sur ses deux pattes. Cela nous a permis par ailleurs - et c'est le deuxième volet -, au-delà de la présentation de loi de finances, de développer des approches de contractualisation avec les ministères. Nous l'avons fait par exemple avec la direction générale des impôts, avec laquelle nous avons conclu un contrat de trois ans, sur l'évolution de ces moyens. Que peut-on retenir de cette expérience? D’abord, le gestionnaire de la DGI a obtenu une certaine visibilité sur l'évolution de ses moyens et, aussi, une certaine forme de globalisation, puisqu'il y a des possibilités de fongibilité à l'intérieur de cette enveloppe. Les contreparties sont non négligeables : la DGI a accepté, pour apprécier sa performance relative par rapport à d'autres administrations fiscales, de pratiquer un « benchmark »international qui a été rendu public avec des résultats pas toujours complètement satisfaisants pour elle. Cela veut dire que cette direction a accepté de changer et de se fixer des objectifs plus ambitieux. Cela veut dire aussi qu'elle s'est adossée sur son propre système de contrôle de gestion interne et qu'elle a accepté d'en partager les résultats et le contenu avec la direction du Budget. Cela veut dire enfin qu'elle a accepté d'externaliser un certain nombre d'objectifs en matière de qualité et d'efficience, de les intégrer dans un document stratégique et de les décliner pour chaque direction des services fiscaux dans le cadre du dialogue de gestion que les DSF (directions des services financiers) entretiennent avec elle. Dernier élément important, cela veut dire que la DGI a accepté que les résultats ou la mesure de la performance fassent l'objet d'un audit externe, en l'espèce par l'inspection générale des finances. Chaque année, donc, les résultats produits par la DGI seront audités. Dernier point et je conclurai là-dessus : ce qui peut être intéressant dans ce type de démarche, c'est la manière dont on arrive, à partir d'un certain nombre de problématiques budgétaires, à être cohérent avec d'autres démarches, et dont l'identification des acteurs et des programmes, la transparence sur les coûts et les résultats, et un certain nombre d'avantages tirés de la pluriannualité de la globalisation vont pouvoir contribuer, espère-t-on, à améliorer les conditions de la gestion interne des administrations. Dernier point non négligeable : cela suppose de notre part - et c'est ce qu'on essaie de faire notamment avec la délégation interministérielle à la réforme de l'Etat notamment - un assez gros travail sur les systèmes d'information. Pour pouvoir documenter tout cela, nous avons besoin de constituer des éléments de suivi de données que nous n'avons pas toujours aujourd'hui. QUESTIONS (Anonyme) Madame la directrice, la contractualisation est parfois perçue comme une espèce de donnant/donnant, Bercy s'engageant sur plusieurs années à apporter des moyens en échange d'une contrepartie qui sont des objectifs fixés que l'on suit. J'appartiens au ministère de la Défense. Nos interlocuteurs militaires nous font observer régulièrement que les armées disposent déjà d'une programmation, texte législatif

journée d’étude

qu’elles estiment rarement respecté, et ils nous disent "Vous nous proposez d'échanger une loi non respectée contre quelque chose qui est un accord entre administrations. Ce n'est pas le même degré de hiérarchie dans les normes". Que répondriez-vous à cette objection ? (Anonyme) J'appartiens au ministère des Affaires étrangères et j'ai été tout à fait intéressé par votre exposé. Nous sommes engagés, comme beaucoup d'autres administrations, dans un travail qui vise à produire un certain nombre d'indicateurs, appuyés sur des objectifs que nous nous fixons, mais il est clair que les indicateurs qu'on peut attendre de l'administration française sont extrêmement variables selon les ministères. Pour évaluer la performance d'un ministère à vocation régalienne comme le nôtre, aux fonctions extrêmement variables et variées du fait des fluctuations de la politique internationale, la tâche nous semble un petit peu rude. Vous qui avez réfléchi plus que nous sur cette notion d'indicateurs, pouvez-vous nous donner des conseils ? (Anonyme), ministère de l'Emploi, sous-direction des finances. Je suis parfaitement en phase avec votre exposé, puisque je travaille avec vous étroitement sur ce sujet des indicateurs de performance et je partage tout à fait ce que vous avez dit. Je voulais soulever quand même quelques interrogations. Ces indicateurs de performance sont étroitement liés à la qualité et aux modalités d'exécution du budget et donc très orientés vers le législateur qui vote le budget. Cet exercice, très important en profondeur, remet en cause énormément de choses mais pour l’instant il consiste surtout en un dialogue entre la partie budgétaire de l'administration et le législateur. Il n'y a pas de retours vis-à-vis de l'ensemble des services, pas d'irrigation de l'ensemble des services pour bien intégrer cette notion de performance. C’est là ma première remarque: il y a pour l’instant plus de confrontations de principe que de convergences. Ma deuxième remarque est plus conjoncturelle. Vu cette première année de mise en place des indicateurs de performance vis-à-vis du législateur, quel est le retour de ce législateur? comment a-t-il perçu le but de l’exercice? Sophie Mahieux : Pour ce qui est de la question concernant le ministère de la Défense, je crois que vos interlocuteurs ont à la fois raison et tort. Ils ont raison parce que l'expérience historique atteste qu'on n'a pas forcément, et loin de là, respecté les lois de programmation militaire. Ils ont éventuellement tort parce qu’il faut bien avoir en tête les deux "pattes" de la démarche que j'évoquais en introduction. Trop souvent, par le passé, la pluriannualité, en termes budgétaires, a été gérée de manière sectorielle, sans se préoccuper de sa compatibilité avec un cadre d'ensemble. Le résultat est généralement celui que vos interlocuteurs ont observé, c’est-à-dire que l’on promet et qu’ensuite, quand on fait les additions et qu'on ne peut pas les tenir, on remet tout en cause. Je caricature, mais c'est à peu près ça. La situation d’aujourd'hui est intéressante parce que des cadres de cohérence se mettent en place au niveau macro budgétaire, à travers notamment le processus européen en troisième phase de l'union économique et monétaire. Tous les ans, le gouvernement va présenter son scénario glissant de finances publiques, dans le cadre de l'actualisation annuelle du programme de stabilité discuté avec les pairs, au sein des instances européennes. Il y a ainsi une stratégie globale clairement énoncée. Ensuite, il nous semble que dès lors que cette règle du jeu existe, et que le travail gouvernemental est de nous la rendre commune, il y a un certain nombre de choix à faire, dont les conditions sont alors plus claires pour tout le monde. Il s’agit de faire des choix dans le cadre de l'enveloppe dont on dispose et à ce moment-là nous pouvons avoir, pour ce qui nous concerne comme pour ce qui peut relever de la décision de nos autorités politiques, la capacité à dire : peut-on tenir oui ou non ce sur quoi on

journée d’étude

s’engage ? Il est évident que plus un processus de contractualisation se développera, plus il couvrira un champ important de la dépense et plus il va, si on veut tenir notre parole, rigidifier la dépense publique, plus il va être fondamental que dans la décision gouvernementale sur ces contractualisations, il y ait une vision claire de la répartition de l'allocation des moyens entre les secteurs. Donc, plus nous allons développer la contractualisation, plus le gouvernement aura à faire des choix clairs et pluriannuels sur la façon dont il répartit ses moyens, ce qui est grosso modo, là aussi, plutôt la ligne de l'évolution internationale. Tout cela ne répond pas forcément complètement aux réticences de vos interlocuteurs mais il me semble qu'on est aujourd'hui en situation d'aller vers un système qui soit plus cohérent et donc mieux respecté de ce point de vue. Sachant qu’à ce stade, il est aussi plus facile de contractualiser sur ce qui relève de la gestion des services que sur ce qui relève de programmes beaucoup plus lourds. Pour l'instant nos expériences de contractualisation, qu'elles soient avec la DGI ou les préfectures, sont plutôt ciblées sur le volet gestion interne. Je répondrai plusieurs choses au représentant du Quai d’Orsay. La première, c'est qu'il y a sans doute des choses à gagner de l'observation des expériences internationales, et qu'en tout cas nous essayons, soit par nos contacts avec les ministères des finances d'autres pays de la zone européenne, soit via l'OCDE, de récupérer la façon dont d'autres pays ont analysé leur propre activité. Cela renouvelle significativement - et cela a été le cas pour le DGI par exemple - la façon dont on peut comprendre le déroulement d'un processus administratif. C’est toujours enrichissant. Sans aucun doute, un secteur régalien prendra plutôt des indicateurs en rapport avec les concepts d’efficience ou avec les concepts de définition du service attendu par les usagers plutôt que des indicateurs mesurant l'efficacité socio-économique, comme par exemple pour le programme du revenu minimum d'insertion. Indubitablement, le ciblage des indicateurs n'est pas toujours le même selon la nature des fonctions ou des services auxquels on est confronté. Reste qu’il est souhaitable - en tout cas, je crois que c'est profondément le sens de la démarche - que petit à petit l'utilisation des indicateurs ne soit pas simplement l'occasion d'une discussion entre les têtes de réseaux et le Parlement, mais que très profondément elle rentre dans la discussion au sein des ministères. C'est cette cohérence entre les indicateurs utilisés pour discuter avec le Parlement, et la façon dont les services perçoivent ou décrivent leur activité, qui va sans doute être un gage de leur bonne implantation et de leur suivi longitudinal dans le temps. Si les engagements de service qu'on peut prendre ne sont pas partagés au niveau des services qui doivent les mettre en œuvre, l'exercice risque de « cafouiller » assez vite.

Comment, par ailleurs, le Parlement a-t-il réagi ? De manière assez inégale. Globalement, les parlementaires ont plutôt été contents qu'on essaie d'améliorer la présentation des agrégats et le contenu des informations qui y étaient rattachés. Ils nous avaient beaucoup critiqués par le passé en trouvant qu'on mettait un petit peu tout et n'importe quoi et qu’on leur présentait des choses dont l'intérêt n'était pas forcément palpitant. Ils ont plutôt l'air de s'intéresser à la démarche en tant que telle. Pour l'instant, ils trouvent qu'on est restés au milieu du gué, qu'on n'est pas encore parfaits et nous en convenons bien volontiers : c’est un processus de longue haleine, il y a un travail qui va se dérouler dans le temps. On peut observer aussi que le Parlement a fait lui-même un travail, à travers le rapport sur l'efficacité de la dépense publique, ce qu'on appelle le rapport Fabius-Miguot. La préoccupation du Parlement d'une meilleure articulation entre les procédures de discussion parlementaire et d'évaluation nous paraît manifester, et Dieu merci, une certaine convergence des démarches entre ce qu’attend le Parlement aujourd'hui et ce que s'efforce de faire le pouvoir exécutif.

journée d’étude

Conclusions de la matinée Christian du Tertre, professeur de sciences économiques à l'Université de Paris IX Dauphine et directeur Adjoint d'Iris (laboratoire du CNRS), membre du réseau d'experts Athémis. On sait que les questions de performance, du point de vue des activités publiques, sont des questions extrêmement difficiles. Au moins trois grandes questions sont apparues ce

journée d’étude

matin, qu'il convient de garder à l'esprit: Concevoir des indicateurs, pourquoi faire ? Quel est leur objectif , quelle est la finalité que l'on vise à mesurer ? Pour quel type d'actions ? Immédiatement, quand on a en tête la question de l'action, on se pose la question pour qui et par qui ? On sent bien pointer de plus en plus l'idée que les usagers en général doivent être partie prenante de ce mode d'évaluation de la performance, voire même du mode de construction des indicateurs de la performance. Mais comment se construit cet usager ? Quel est l'effort de légitimité des organisations présentes? Quel type de rapport construire, mettre en place avec les usagers ? Cela semble évidemment à la fois difficile et quelquefois même conflictuel. La question du statut des usagers, de leur place dans les procédures d'évaluation et dans le mode d'édification des indicateurs de performance apparaît comme un sujet de préoccupation latente. Et puis, in fine, se pose la question de savoir sur quelles grandes questions portent ces indicateurs. La première idée qui vient à l’esprit c'est, finalement, la notion d'efficacité de la performance. Est-ce que l'on atteint les objectifs qu'on s'était fixés? Quel est le dispositif mis en place pour apprécier la façon dont on atteint les objectifs? Il faut, bien entendu avoir identifié ces objectifs, qui quelquefois ne sont pas si clairs que cela. Dans ce cas, c’est leur mode d'identification qui reste en suspens. La deuxième chose à mesurer, c'est la qualité de la relation qui s'établit avec l'usager, la qualité de la relation de services. C'est un thème récurrent qui a son importance, aussi bien du point de vue de la performance in fine qu'ensuite de la capacité à rebondir de manière dynamique, pour faire évoluer cette performance. Troisième aspect, la question de l'efficacité du processus : quel type d'organisations, quels types de méthodes sont mis en place, quels types de managements sont développés ? Ce qui est mesuré, ici, c'est la performance au sens de la qualité du processus mis en oeuvre pour réaliser les services dont nous avons les uns et les autres la mission. Enfin se pose la question de la charge de travail. Comment les hommes et les femmes assurent-ils leurs missions? En quoi cela intervient-il sur l'intensité du travail, sur la mobilisation subjective du travail, sur les formes d'engagement du travail? Il me semble en tout cas que lorsqu’on parle de performance, on est amené à traiter l'une de ces quatre facettes. Il faut avoir en tête que l'idée d'indicateurs, de mesure de la performance touche des champs de questions qui ne sont pas forcément toujours les mêmes et qui nous interrogent quant aux méthodologies que nous mettons en oeuvre pour assumer ce type de missions. APRES-MIDI « Les services relationnels : processus d’arbitrage et performance » Olivier Blandin, économiste, consultant, chercheur à l’Institut de recherche socio-économique Je vais présenter la façon dont procèdent les bureaux de poste, en mettant l’accent sur la manière dont se pose le problème de l'évaluation de la performance dans des activités productives et, plus particulièrement, dans les activités de services, qu'on appelle dans

journée d’étude

notre jargon « relationnelles et immatérielles » dans la mesure où la relation à un usager ou à un client y est centrale. Quelques mots d'introduction pour situer mon propos. Premier point : lorsqu'on commence à s'intéresser à la performance, on cherche à évaluer différents niveaux. En fonction de ces niveaux, les méthodes envisagées et la façon dont se posent les questions ne sont pas tout à fait identiques. On peut évaluer par exemple un organisme prestataire, un service, une administration particulière dans un acte productif particulier; on peut aussi évaluer une politique ou un programme qui ne sont pas directement dans un contact avec un usager mais qui incorporent un ensemble de processus, d'acteurs, etc. Je centrerai mon propos sur l'organisme prestataire, celui qui réalise une prestation particulière. La question de l'évaluation se pose, d’une part, pour la prestation directe, c'est-à-dire la manière d’évaluer l'action d'un agent par rapport à une relation de service avec un usager, mais aussi pour l'évaluation de l'organisme prestataire car, en définitive, l'un et l'autre niveaux sont extrêmement liés. On ne peut pas dissocier l'évaluation d'un agent au guichet, par exemple, de celle d'un ensemble d'un bureau de poste. Second point: l'action de la performance se pose à deux niveaux. Elle se pose bien sûr dans l'évaluation : comment évaluer, quelles méthodes, quels critères retenir pour évaluer une activité particulière, une prestation particulière ? Mais elle se pose aussi dans la façon dont on va être capable de réaliser de la performance, de la mettre en œuvre, ce qui n'est pas tout à fait la même chose. Autrement dit, qu'est ce que l'on cherche à évaluer et comment fait-on de la performance ? Dans nos travaux, nous essayons d'associer complètement ces deux éléments-là. En réalité, un indicateur de performance, quel qu'il soit, n'a aucune neutralité. On a rappelé ce matin qu'il était dans une dynamique de rapports de forces. En même temps, il sert de guide d'action, il renseigne un collectif de travail ou un agent particulier sur ce qu'il doit faire, ce vers quoi il doit aller, quelles sont les dimensions, le contenu de son travail. Et cela renvoie immédiatement au contenu des conditions d'obtention de la performance. Car 'un indicateur a une double fonction :l’une d'évaluation de la performance, et l’autre qui est d'indiquer, de manière sous-jacente, comment on obtient cette performance. Dans les activités de services, les indicateurs ont du mal à assumer en même temps ces deux fonctions alors que, dans l'industrie, elles sont souvent réalisée par un indicateur unique. On a dit aussi ce matin que le mot productivité était un mot un peu difficile à employer dans certains contextes, et je le comprends. De manière très classique, la productivité peut être décrite comme le rapport entre un output (un service, une action, un programme politique) et un input, c'est-à-dire, dans le jargon économiste, le travail. A partir de ces deux éléments, on peut voir que la particularité des activités de services repose premièrement sur le fait que l’output (le service, la prestation, le service rendu), possède des dimensions à la fois tangibles - le temps d'attente, le fait qu'on ait ou non distribué un timbre, les conditions, etc. -, et des dimensions non tangibles. Ces dernières résistent particulièrement aux procédures d'évaluation. Elles posent des problèmes quant à l'évaluation de ce qui est fait, de ce que l'on doit faire. Autre particularité des activités de services : ce sont des actes de coproduction. Cette coproduction peut être extrêmement réduite lorsque l'on va acheter un timbre. Mais dans d’autres activités, elle peut être complètement essentielle. L'exemple de l'ANPE ce matin le montrait, en soulignant la capacité des demandeurs d'emploi de travailler eux-mêmes sur leur capacité d’être « employable ». Voilà les deux caractéristiques majeures des activités de services et plus particulièrement des activités de services relationnelles et immatérielles : la dimension non tangible d'une partie du service rendu et, en même temps, la dimension de coproduction. Le problème de l'évaluation se pose dans la mesure où il existe dans tout acte de travail de services, un processus d'arbitrage. Concrètement, un agent est amené, pour faire quelque chose, à

journée d’étude

engager un processus d'arbitrage entre trois dimensions qui peuvent être parfois sources de tension. D'une part, il doit mettre en oeuvre ce que la hiérarchie ou les procédures lui demandent, appliquer ce pour quoi il est employé. Mais, en même temps, il est confronté à une demande spécifique parfois extrêmement éloignée de ce que l'on appelle l'offre générique, ou les produits génériques. C'est particulièrement le cas des bureaux qui sont implantés le long des ZUS, où la spécificité même des caractéristiques socio-économiques des habitants crée des demandes assez éloignées de la façon dont La Poste présente l’offre générique. En même temps, les agents ont eux-mêmes une vision de la finalité de leur travail, même si cette subjectivité individuelle rejoint parfois le collectif, lorsque les agents sont aussi amenés à en parler. Mais l'ensemble de ces éléments fait qu'il y a un décalage entre la représentation qu'on peut avoir du service et le service réellement effectué. Cela pose un problème pour l'évaluation dans la mesure où ses processus sont construits non pas sur les actes de travail réellement mis en oeuvre, mais sur une représentation. Comme ces arbitrages s’effectuent en majeure partie de manière individuelle et sont peu discutés, cela pose trois types de problèmes : Premier problème, les usagers et leur demande. Les usagers ont en effet du mal à définir ce qui doit être fait ou non; ils obtiennent des réponses plus ou moins disparates en fonction des interlocuteurs et, donc, vont donc avoir du mal à comprendre quel est le contenu de ce que l'on doit leur donner. Deuxième problème: l'organisation productive, dans la mesure où elle cerne difficilement ce qui est réellement presté, a du mal à penser - je vais employer un jargon d’économiste - un « processus de rationalisation de l'activité productive ». En d’autres termes, dans la mesure où on n'a pas une vision exacte de ce qui est fait, comment rationaliser son travail pour s’améliorer, en termes de productivité mais aussi en termes de qualité? La troisième difficulté, bien entendu, c'est la solitude dans laquelle se trouvent les agents pour effectuer ces arbitrages. Je prends rapidement un exemple dans les ZUS. Un agent guichetier peut très bien être confronté à une demande de découvert de faible montant sur un livret qui est utilisé comme un compte courant. Or la consigne hiérarchique c'est: pas de découvert. Que faire si la personne vient avec son bébé en disant, "je n'ai plus d'argent pour nourrir mon enfant"! Ce sont des cas fréquents. Et il est extrêmement difficile de traiter ce genre de problème quand on est renvoyé à sa propre subjectivité. Il est donc nécessaire de tendre vers une socialisation de ces processus d'arbitrage. Revenir sur le service réel, essayer d'avoir une vision un peu plus concrète des activités prestées engage en fait un processus d'évaluation de l'activité. C’est pourquoi je disais en introduction qu’il y a une dualité entre l'acte de travail et l'acte d'évaluation. Ce retour sur l'évaluation peut d’ailleurs aussi, parfois, conduire à revoir la manière dont on travaille. On peut par exemple engager des innovations sur les procédures, fût-ce à la marge(il ne s'agit pas de permettre que chaque bureau de poste travaille à sa façon). A terme, cette procédure d'évaluation peut donc permettre un retour sur l'offre générique, et diminuer l'écart qui peut exister entre le produit générique et le service réel. Je reviendrai pour finir sur la question de l’évaluation. Comment faire pour évaluer ? Quelles sont les dimensions qualitatives dont il faut tenir compte ou non dans ce que doit être le service rendu, et comment les évaluer? Dans les services publics qui ne connaissent pas de sanction par le marché, il est préférable, pour gagner en légitimité, de définir et de mettre en oeuvre un construit social. Cela implique l’intervention d'un tiers externe, qui peut être interne à l'entreprise, mais n’est en tout cas pas directement engagé dans des rapports hiérarchiques ou dans l'acte concret du travail. La place des usager dans tout cela ? Là aussi, il apparaît nécessaire de mettre en oeuvre de nouveaux dispositifs d'ordre institutionnel qui puissent les associer. Introduire dans ce processus d'évaluation des tiers externes usagers qui puissent revenir sur les critères à

journée d’étude

retenir dans tel ou tel type de services, c’est important. Ensuite, il faut voir quelle procédure mettre en oeuvre pour évaluer les dimensions définies de manière sociale. « ministère de la Justice : le jugement et la norme » Frédérique Pallez, ingénieur civil des mines, professeur au Centre de gestion scientifique de l’Ecole des mines de Paris. Je vais vous parler du problème de la mesure de la charge de travail des magistrats, plus précisément dans les Tribunaux de Grande Instance. A travers ce cas, je voudrais tirer des enseignements généraux sur les processus introduisant des quantifications dans des univers qui, a priori, ne semblaient pas faits pour cela. S’il n'est ni question de performance, ni d'usagers, il est question de mesure, de quantification. Nous sommes donc en amont de la performance, qui passe par des

journée d’étude

indicateurs quantifiés. Traiter ce problème dans un univers comme celui de la justice, service public régalien, permet d'apprécier « les conditions aux limites » d'une telle démarche. Si, face à un univers a priori aussi rebelle à la mesure et au contrôle, on arrive à faire quelque chose, cela devrait être encore plus facile dans des univers peut-être plus acclimatés à ce genre de choses. Je m’appuierai sur une intervention que j'ai menée avec un de mes collègues, en collaboration avec le ministère de la Justice. Elle a duré plus de trois ans et a conduit à la construction d'un modèle permettant d'évaluer la charge de travail des magistrats. Au départ, la Chancellerie nous a demandé d’élaborer une méthode d'évaluation de cette charge dans les Tribunaux de Grande Instance. Avec comme objectif principal : rationaliser l'allocation budgétaire des postes, à la fois, comme ils sont peu nombreux chaque année, pour mieux les répartir entre les différents tribunaux (en fonction de leurs contentieux spécifiques) et, au final, pour mieux justifier cette répartition auprès des magistrats et des chefs de juridiction. Mais le but était aussi de permettre un plaidoyer plus argumenté auprès de la direction du Budget, car avant de répartir les postes, il faut évidemment les obtenir. L’outil devait aussi pouvoir être utilisé en simulation, pour déterminer (en cas d'augmentation de tel type de contentieux, voire de création d'un nouveau type de législation aboutissant à de nouveaux traitements judiciaires), l'augmentation des moyens qui devaient en découler. Deux réflexions importantes en ont également découlé: l’une, sur l'organisation interne des tribunaux et les effets de cette organisation sur leur efficacité; l’autre, sur les missions du juge au sens où certaines de ces missions, plus périphériques, pouvaient peut-être basculer vers d'autres acteurs de la vie administrative (tribunaux en interne, autres fonctions administratives en externe). On le voit : les objectifs étaient donc relativement ambitieux. La construction du modèle repose sur deux piliers : une nomenclature et des normes. On a donc d’abord construit une nomenclature d'activités pertinente pour les magistrats. J’insiste beaucoup là-dessus, car cela correspond à un mode d'élaboration très concret. Pendant un an, on a passé au peigne fin un Tribunal de Grande Instance qui a servi en quelque sorte de tribunal étalon, et élaboré avec les magistrats du tribunal, la nomenclature d'activités en question. Le ministère ne disposait pas jusque-là d’une nomenclature et les ratios qu'il utilisait pour distribuer les subsides aux Tribunaux de Grande Instance, sous forme de postes, étaient essentiellement fondés sur deux grandes catégories : les affaires civiles et les affaires pénales. Nous avons raffiné cette nomenclature pour qu'elle représente un peu mieux la charge de travail correspondant à chaque type d'activité. Le deuxième pilier, c'est l'établissement des normes d’activité. Ce mot norme est à prendre avec des pincettes; on ne l'a utilisé d'ailleurs que très tard dans l'étude, parce qu'il fait très peur à tous les fonctionnaires et notamment à des magistrats qui ne supportent pas a priori ce genre d'idée. En fait, ils y sont venus et de manière tout à fait coopérative pour la plupart. L'idée de ces normes était toute simple. Nous avons établi un nombre pour chacune des activités mises en évidence dans la nomenclature grâce à des observations, des recoupements statistiques, des mesures. Ce nombre, accepté par les magistrats - j’insiste là-dessus - représentait le nombre d’unités de production qu’un magistrat équivalent temps plein (magistrat ETP) pouvait produire en n’exerçant que cette activité pendant un an. Pour la catégorie "affaires familiales", par exemple, qui regroupe tout ce qui tourne autour des divorces, des problèmes de garde d'enfants et de pensions alimentaires (l’une des grosses catégories de l'activité des Tribunaux de Grande Instance), on était arrivé à la norme de 750 jugements de ce type, par an et par magistrat ETP. Ce magistrat étant un magistrat virtuel, précisons-le. A partir de là, si je suis dans un tribunal qui traite 1 500 affaires ce type par an, j'en déduis qu'il faudra deux

journée d’étude

magistrats temps plein pour exercer cette activité et, en faisant la somme, on obtient l'effectif théorique. Ce modèle, élaboré sur un tribunal, a été validé ensuite sur d'autres tribunaux voisins et expérimenté, pendant deux ans de suite, sur l'ensemble d'une Cour d'appel. Il s’agit donc d’un processus très long et très minutieux. Comme tout modèle, il est imparfait, étant un compromis entre différents choix de modélisation. Il fallait trouver des quantifications un peu plus fines que celles que la Chancellerie utilisait auparavant – c’est d'ailleurs ce qu’elle nous demandait -,et susceptibles notamment d’être mieux reconnues et admises par les magistrats. Mais il ne fallait pas que cela devienne une "usine à gaz". L’ensemble devait rester manipulable au niveau central, d’où le compromis obtenu. Et comme ce modèle n'était pas parfait, il a été sujet à un certain nombre de critiques. On lui a reproché son côté conservateur, puisqu'il reproduit des fonctionnements antérieurs (je n'ai pas le temps de rentrer dans les détails mais ce n'est que partiellement vrai). Des critiques ont aussi été formulées sur la prise en compte limitée de la diversité. Celle des contentieux a été intégrée, mais pas (pour des raisons de simplicité) celle d’autres éléments comme l’environnement socio-économique des tribunaux, les caractéristiques des magistrats (débutants ou expérimentés), etc. Cela dit, d’une certaine manière on peut retourner positivement les critiques. A partir du moment où un modèle est imparfait, c'est-à-dire où des acteurs, des professionnels, ne se retrouvent pas complètement dans ces résultats, si la critique ne porte que sur un certain nombre de points ponctuels, ce modèle permet d'ouvrir une discussion et d'aller un petit peu plus loin dans la connaissance d'un certain nombre de pratiques. D’où l’idée d’utiliser l'imperfection du modèle comme outil, comme le début d'un processus et non pas son achèvement. Nous donc avons introduit un certain nombre de clignotants, surnommés variables de contrôle, qui permettent de déterminer les endroits où il faut s’interroger par rapport à la situation réelle du tribunal qu'on est en train d'examiner. J’en viens à mon deuxième point, c’est-à-dire aux deux types de légitimité qui me semblent des ingrédients essentiels pour que ce type d’outil s’insère véritablement dans une organisation sans être rejeté par les acteurs du système. J'ai appelé la première la légitimité de représentation, celle qui fait que les professionnels se reconnaissent majoritairement dans l’outil. Par quoi l’obtient-on ? D’abord, par la méthodologie d'élaboration, faite conjointement avec les magistrats. Ensuite, en veillant que les caractéristiques de l'activité soient cohérentes avec la nature de l'outil construit. Ce n’était pas gagné d'avance. On a découvert ainsi que, paradoxalement, le système judiciaire, au moins au niveau des Tribunaux de Grande Instance, est un système qui se prête particulièrement bien au type de quantifications telles qu'on a été amené à les faire. Cela s’explique pour deux raisons essentielles. D'abord, parce que c'est un système de production au sens industriel. Schématiquement, il y a des « entrées », les affaires, et des « sorties », les jugements, avec un traitement relativement séquentiel et un caractère relativement modulaire des activités : les magistrats qui ont plusieurs activités au sein d'un tribunal les font de manière juxtaposée mais sans trop de télescopage. Autre point important : en dépit du discours : « tout juge est un homme seul face à une affaire et toute affaire est singulière », on s'aperçoit en discutant avec les magistrats, et ils en conviennent eux-mêmes, qu'il y a une assez grande homogénéité des pratiques professionnelles, du moins au niveau de précision qui était requis par l'outil mis au point. C’est cette très grande homogénéité, associée à une production de masse pour beaucoup de ces activités, qui autorise à utiliser des statistiques. Pour reprendre l'exemple des affaires familiales, au niveau national, il y a une centaine de milliers d'affaires de ce type par an. Donc, au niveau d'un tribunal, ça se compte en milliers, voire en dizaines de

journée d’étude

milliers d'affaires de ce type, ce qui autorise quand même à utiliser la loi des grands nombres. L’homogénéité des pratiques professionnelles provient essentiellement de l'existence du corps des magistrats, de leur mode de formation et de leur mode de mobilité qui brasse bien leurs pratiques parce qu'ils se déplacent souvent de tribunaux en tribunaux au fil de leur carrière. Cela provient d'un élément essentiel qui est l'existence de la règle de droit, ce cadre à l'intérieur duquel ils agissent même si chacun a ses petites manies et des modes opératoires légèrement différents. Il inclut toute une série de procédures imposées précisément par les Codes de procédures, civils ou pénaux, mais aussi les rituels judiciaires qui figent un certain nombre de règles, de pratiques professionnelles. Et l’ensemble permet cette homogénéité. Deuxième type de légitimité : celle que j’ai appelée légitimité de l’usage. Elle provient des règles du jeu qui vont être fixées pour déterminer dans quel contexte et dans quel type de règles va s'insérer l'outil en question. La fabrication de l’usage d’un indicateur est tout aussi importante que la fabrication de l’indicateur. L’univers de la justice est totalement hostile à l'usage des quantifications et des indicateurs s'il n'y a pas un minimum de volonté politique d'utiliser ces outils de manière à ce qu'ils soient acceptés par l'ensemble des parties. Si, par ailleurs, les ressources ne sont pas en expansion - un outil qui gère la pénurie, ça n’est pas intéressant-, cet outil ne sera pas accepté. Ces éléments sont donc indispensables et ils existaient dans le cas du ministère de la Justice. Il était ainsi très frappant de voir que, contrairement à ce qu'on nous avait annoncé, les magistrats n’étaient pas hostiles à tout chiffre. Au contraire, les chefs de juridiction avaient mis en place pour la plupart des multitudes d'outils, de tableaux de bord, des normes d'activité pour contrôler l’activité de leur chambre, etc. Et beaucoup de magistrats se fixent en quelque sorte des normes d'autocontrôle. L'usage du nombre n'est pas du tout inconnu, ni méprisé. Par ailleurs, chez toute une catégorie de magistrats, notamment dans la jeune génération, il correspond à une demande plus générale d'équité dans le processus d'allocation des ressources. Ils ont donc adhéré assez massivement à cette démarche. Dans ce contexte, le point fondamental a été de mettre en place ce que j'ai appelé une ingénierie pour élaborer un usage non mécanique de ce genre d'outil. Car c'est là qu'est l'enjeu. On a beaucoup parlé de d'appropriation par les acteurs ce matin. A mon avis, cette appropriation n'a rien de naturel; elle est fondée sur des dispositifs de gestion. Cela nécessite des structures qui permettent d'assurer le fonctionnement, la mécanique de l'outil. Elle nécessite aussi une collecte fiable et homogène des statistiques; en somme, il faut faire vivre l'outil lui-même, c'est-à-dire faire vivre les normes d'activité, car elles ne sont ni intangibles ni éternelles. Pour y parvenir, et à partir du moment où l’outil est utilisé au niveau national, il faut au niveau du ministère un centre d'expertise doté de moyens, une sorte de « bureau des méthodes », tel qu'on en trouve dans les usines. Enfin, il faut mettre en place des procédures pour organiser le dialogue et éviter cet effet mécanique qui est la pente fatale de toute quantification dans une organisation. En conclusion, je voudrais mettre en évidence quatre points qui me paraissent importants dans les enseignements de cette recherche et qui me semblent dépasser le seul cas de la Justice. Premièrement, les quantifications, les indicateurs, les formalisations en tout genre doivent être cohérents avec l'activité, ce qui n’est jamais gagné. Paradoxalement, la Justice s'y prête très bien, alors qu’on peut rencontrer des activités où cette quantification, en dépit des apparences, n'a en fait pas de sens. Il faut vraiment aller y regarder de très près.

journée d’étude

Deuxième point : ce processus est coûteux, long, tellement long qu'il en devient permanent. Pourquoi ? Parce que non seulement la construction de l'indicateur, si l’on veut aboutir à des résultats qui aient un certain degré de légitimité vis-à-vis des professionnels, prend du temps, mais aussi parce que l’élaboration des usages est, elle, nécessairement permanente. C’est comme une bicyclette : si on arrête de pédaler, la bicyclette tombe. De même, un outil ne peut pas se maintenir uniquement sur sa lancée. Le troisième point, c'est de créer une passerelle entre mesure et performance. Ce sont deux notions très proches : de la mesure on est très vite amené à la comparaison, de la comparaison à l'évaluation et de l'évaluation à la performance, en une chaîne extrêmement resserrée. Mais il faut passer par cette étape de la mesure avant même de se poser les questions d'évaluation et de performances, pour deux raisons. D’abord, parce que la mesure amène à prendre en compte le problème de l'équité -(je vous renvoie à ce que j'ai dit sur la répartition des moyens) avant celui de l'efficacité, ce qui est peut-être finalement plus fondamental, au moins dans le secteur public. Ensuite, parce que la mesure permet d’acquérir la connaissance nécessaire à l'évaluation, celle des pratiques professionnelles, des logiques des acteurs. Dernier point, d’ordre plus général : l’outil dont j’ai parlé entre dans la catégorie des outils dits « de gestion » en jargon professionnel, à savoir toute forme de quantification et de formalisation servant à caractériser et à mesurer une activité professionnelle. Toutes les observations que l'on peut faire, dans tous les types d'organisations, privées ou publiques, mènent à l'idée que les outils de gestion ont en quelque sorte deux faces inséparables. J’appellerai l’une la « conformation », l’étape où les agents vont essayer de se conformer à ce que les indicateurs quantifiés disent sur eux. C’est un effet mécanique insuffisant, même s’il peut s’avérer intéressant comme outil de changement. Pour parvenir à la seconde étape, qui est la face d'apprentissage ou de connaissance, il convient de mettre en place des dispositifs tels que ceux que j'ai évoqués. QUESTIONS Yves Bentzly, Association française de normalisation. Je ferai deux remarques. Tout d’abord, en tant qu'acteurs, nous devons être très vigilants à l'utilisation des mots « norme, normé, normalisation". Car si l’on parle de normes sans comprendre qui a établi le document, on risque un contresens complet sur l’usage qu’on va en faire. La normalisation est un processus collectif et volontaire d'élaboration vers un consensus validé, final, autour d'un document auquel tous les partenaires peuvent se référer. Ensuite, il faut se demander si les organismes -(entreprises, ministères…) élaborent une norme interne ou, au contraire, « externe », une norme à laquelle tous puissent se référer, y compris les usagers. Un exemple: certaines professions industrielles ont élaboré des normes professionnelles fermées, écrites seulement par l'offre industrielle. Cinq ans après, ils viennent voir l’AFNOR et se plaignent: "Dites donc, on a fait un papier, nous sommes bons, il est bon, mais les clients ne nous croient pas, vous ne pourriez pas faire quelque chose pour nous ?" On leur répond: "Vous avez simplement oublié de tenir compte de votre environnement ". En tant que normalisateurs, notre métier est en effet de réunir l'ensemble des partenaires autour de la table. Il faut certes un peu de courage pour y accueillir les usagers, des prescripteurs divers, des gens auxquels on ne pense pas, éventuellement quelques chercheurs ou enseignants, l'ensemble des rapports de forces et des catégories. Et d’après ce que j'ai entendu depuis ce matin; la réflexion est encore assez largement axée sur des documents internes. L’un des défi, c'est donc de trouver le

journée d’étude

moyen de faire participer des usagers de l’extérieur. Je ne vous dirai pas que c'est facile. Nous avons par exemple des commissions de certification sur des marques NF Services pour le tourisme, et il n’est pas évident de mettre les utilisateurs d'un office de tourisme autour de la table! Mais une partie de la réponse se trouve là : avoir le courage de mettre l'environnement dans les processus collectifs, de l’élaboration à la banalisation. Gilles Depain, consultant J'ai deux questions pour Frédérique Pallez. Tout d’abord, je suis étonné que les indicateurs présentés soient principalement des ratios de gestion. Est-ce vraiment nouveau? Sinon, comment procédait-on avant dans le domaine en question? Deuxième question : la réflexion a-t-elle inclus des indicateurs de type « satisfaction au client » ou « qualité de prestation »? Christophe de Lassus, consultant interne au ministère de l'Education nationale. Je trouve votre travail au ministère de la Justice est tout à fait intéressant, parce que j'ai exactement la même problématique au ministère de l'Education nationale. Vous avez donné le nombre de 750 affaires familiales par juge et par an. Or, dès qu'on cite un nombre, on ne manque pas de réagir. Donc, très rapidement, on fait le calcul: cela fait 3 à 4 jugements par jour. Si c’est une évaluation de la réalité du terrain, y a-t-il eu une réflexion sur la norme à fixer (plus ou moins de jugements par an et par juge) pour une meilleure qualité de service? Docteur PRIVAT, ANAES Il est très intéressant de retrouver à la Justice la même problématique que dans le milieu de la santé et j'ai apprécié, Madame Pallez, vos quatre points de conclusion. J’apporterai quelques commentaires. Sur le premier point, concernant la nécessaire cohérence entre la formalisation et l’activité, il y a aussi dans le milieu de la santé ces « multimétiers » et ces diverses facettes, avec les gestionnaires, les patients, les professionnels de la santé et bien sûr les usagers. Un deuxième point sur lequel vous avez beaucoup insisté, c’est la longueur et la permanence du processus. Une des fonctions de l'ANAES est d'inciter les professionnels de la santé à installer des démarches qualité dans les 3 500 établissements de santé français. Le troisième point concerne la mesure et la performance. La base de l'installation d'une démarche qualité, c'est l'évaluation des pratiques professionnelles, ce qui reste encore difficile dans le milieu de la santé. Mais avec l'apprentissage des audits de pratiques professionnelles que nous effectuons, nous essayons d’aboutir à l’auto-évaluation des professionnels. Le quatrième point porte sur les outils de gestion. Je crois que l'accréditation des établissements de santé qui se met en place est aussi un moyen d’avoir confiance dans le système de santé, dans l'hôpital, dans le médecin ou l'intervenant que le patient a face à lui. Cela permet aussi aux établissements de mener des démarches qualité en interne. Je prendrai comme exemple le droit à l'information du patient. J’ai entendu dire ce matin qu’on ne s’y intéressait pas assez. Mais je rappelle que le tiers du manuel de l'accréditation est consacré à la charte du patient, à la confidentialité, à la façon dont on mène la formation, l'écoute et la réaction aux dysfonctionnements. Christian du Tertre Les questions se rejoignent sur toute une série d'enjeux qui portent à la fois sur des éléments quantifiables, notamment en force de travail, et sur des éléments qualitatifs. L’exposé d'Olivier Blandin et le vôtre, Madame Pallez, paraissent a priori

journée d’étude

contradictoires. Pour Olivier Blondin, les indicateurs donnent une idée de la performance et de la charge, par exemple, et en même temps une indication de forme sur la rationalisation à mettre en œuvre. Il y a donc une double fonction des indicateurs et sans être explicite, elle est, d’une certaine manière, induite. Finalement, tout indicateur est porteur d'un constat et d'une indication sur ce qu’il faudrait faire pour améliorer le constat. Comment cette contradiction est-elle apparue dans votre expérience à la justice ? Vos indicateurs sont dynamiques, sont pris dans un mouvement d'amélioration des prestations et de l'organisation. En quoi finalement ce mouvement tient-il compte d'éléments quantitatifs mais aussi qualitatifs quant à la prestation pour l'usager final, à savoir les personnes, les familles ? Frédérique PALLEZ Je pense qu'il y a une différence fondamentale entre l'expérience de la Poste et celle de la Justice. C’est un stade d'évolution différent. Quand nous avons commencé à utiliser le terme de production, au ministère de la Justice, on nous a d’abord regardés avec étonnement. La Poste au contraire est déjà, me semble-t-il (pour y avoir aussi travaillé), entrée dans cet univers. Si donc les indicateurs de gestion que j'ai mis en avant, comme l’a fait remarquer un participant, sont relativement classiques, extrêmement intuitifs, sans beaucoup d’innovation derrière, ils représentent déjà un progrès par rapport à ce qui existait, non pas conceptuellement, mais simplement sur le plan de la mise en œuvre. Parce que, pour reconstituer un nombre et le faire accepter par les professionnels (le nombre de jugements d'affaires familiales traités par an par les magistrats), il a fallu un processus extrêmement long et compliqué. Je crois que sur ce plan la Poste est bien en avance sur le ministère de la Justice. J’en viens maintenant au problème de la qualité, qui s’est posé en permanence. Tout d’abord, je ne pense pas que l’augmentation de la production entraîne mécaniquement une baisse de la qualité. Ensuite, le modèle que nous avons construit est en quelque sorte un modèle relatif. l’idée de départ n'était pas en effet d’imposer pour telle ou telle activité une norme absolue à tous les tribunaux de France et de Navarre, mais plutôt de donner une norme permettant de positionner les besoins en effectifs des uns et des autres dans une situation de pénurie. Vous objecterez qu’on est vite tenté de prendre un système ordinal pour un système cardinal, c’est-à-dire de considérer les valeurs absolues et non plus les valeurs relatives. Mais nous avons fait observer qu'on pouvait tout à fait, si surgissait un consensus chez les professionnels pour juger la normée élaborée trop « serrée », augmenter cette norme, à condition de le faire de la même manière pour tout le monde. Troisième et dernier point : on nous a demandé s’il ne serait pas possible d'avoir en quelque sorte des contrepoids à nos indicateurs de production, sous forme d'indicateurs de qualité. Après un examen minutieux, nous nous sommes aperçus d'une chose : les indicateurs de qualité que nous pouvions trouver ne faisaient absolument pas l'objet d'un consensus entre les différents acteurs, ni au sein des magistrats, ni au sein des justiciables. Nous en avons été amenés à conclure qu’il était certes possible de construire de tels indicateurs, mais qu’il ne faut en aucun cas les laisser « flotter en l’air ». D’autant que, finalement, tous les systèmes d'évaluation de la qualité mis en place dans d'autres professions intellectuelles, comme l'évaluation par les pairs, ont quant même fait la preuve d’une certaine efficacité. Par exemple, nous nous sommes rendus compte que le simple fait de réunir des magistrats, de même type, de six tribunaux différents, sur une zone géographique correspondant à une Cour d'Appel, les amenait à parler de leur pratique et à découvrir des choses qu'ils ne s'étaient jamais dites. Autrement dit, dès ce

journée d’étude

stade, on peut mettre en place non pas des évaluateurs de la qualité ou des indicateurs quantifiés, mais des dispositifs pour faire parler de la qualité. Olivier Blondin La question de la productivité et celle de la qualité sont en relation étroite, mais tout le problème est de construire cette relation. En réalité, les indicateurs interviennent directement sur la façon dont les uns et les autres vont travailler. Ce n’est pas l'homogénéisation des pratiques qui est à la source de la construction d'indicateurs: c'est l'inverse. C'est l'indicateur qui va tendre à accélérer le rythme du travail, parce que ce qui est sous-jacent dans un indicateur de ce type c'est l'idée de l'intensité du travail, l’idée qu’il faut aller de plus en plus vite pour traiter des dossiers ou, en tout cas, respecter un certain délai. Mais toute la dimension du service rendu, du « cas par cas » est niée par ce type d'indicateur. On échappe donc totalement aux procédures d'évaluation, c'est-à-dire qu'on élabore un artifice d'évaluation qui, à mon avis, n'évalue pas grand-chose. Et cela a des effets pervers sur la pratique, sur l'acte même de rendre la justice. A notre avis, mieux vaut donc tenter d’évaluer aussi ce qui n’est pas tangible, pas quantifiable, et articuler productivité et qualité, mais à travers l'idée que tout cela est un « construit social » complexe mais nécessaire si on ne veut pas perdre le sens même de l'activité même. Un acte de justice n'est pas une automobile. L’idée qu'on puisse comparer, avec un même outil, ce que l'on fait dans l'automobile et ce que l’on fait dans la justice - le nombre de voitures sorties et le nombre de dossiers traités -, est à terme assez dangereux et même assez pervers. Exemples européens Présentation du système danois “ Mesure de la performance au Danemark - management et renforcement des droits des citoyens” Jens Kromann Kristensen, chef du bureau chargé des relations avec la citoyenneté

au ministère des Finances danois

journée d’étude

Le contexte danois : . Le pays compte 5,1 millions d'habitants . Les dépenses du secteur public se montaient à peu près à 56% du PNB (= PIB), en 1998 . Le niveau élevé de décentralisation, vers 275 communes et 14 régions, est élevé . La population a confiance dans le gouvernement . Elle accepte bien la fiscalité . Les institutions publiques sont très autonomes en matière de la gestion, y compris pour

la mesure de la performance Quelle mesure de la performance? Elle se fait dans deux grandes directions: . Par des « contrats de management », au niveau institutionnel . Par un « Benchmarking » de la performance du secteur public, entre institutions et entre

régions Exemple 1 : Statistics Denmark (620 employés) . Statistics Denmark, institut national de la statistique danois, planifie sa stratégie sur 4

ans. Cette stratégie précise des missions, des valeurs et des objectifs de performance. . les objectifs de performance (au nombre de 5) se basent sur le principe que la

satisfaction de l'usager de Statistics Denmark doit être au moins égale à l’indice moyen de satisfaction de l'usager des organismes publics du Danemark établi par le ministère des Finances lors d'enquêtes nationales.

. La progression de la performance est évaluée tous les ans dans le budget, en même temps que la comptabilité financière.

Exemple 2 : La mesure de la performance dans les hôpitaux du département du Jutland Nord . Des « contrats de performance » sont établis pour chacun des 7 hôpitaux de la région . Ces contrats visent, entre autres, 8 objectifs de service communs à tous les hôpitaux . Ces objectifs de service sont évalués tous les trimestres et les résultats publiés sur

internet. . En général, la presse locale relaie la publication des performances de chaque hôpital de

manière critique, permettant une « mise en alerte » du management quant aux objectifs Exemple 3 : la mesure de la performance dans la municipalité de Skanderborg . Tous les organismes de services sociaux mettent en place des commissions d’usagers . Chaque organisme établit un « contrat de performance » fixant les budgets, les objectifs

généraux et des objectifs de performance . Les contrats sont négociés entre le conseil municipal et les commissions d’usagers . Chaque année, le conseil municipal et les commissions d’usagers de chaque organisme

évaluent la performance et discutent de la façon de l'améliorer. Exemple 4 : Fixation d’une base de référence pour l'accessibilité du secteur public L’ accessibilité du secteur public :a été évaluée en fonction des 4 paramètres suivants: . Le nombre d’organismes publics que le citoyen ou l’entreprise doit contacter pour

obtenir un service donné . Le laps de temps pendant lequel le citoyen ou l’entreprise doit attendre pour obtenir la

prestation de service . L'étendue du choix des citoyens.

journée d’étude

. Les nouvelles technologies d'information utilisées pour permettre aux citoyens et aux entreprises d'obtenir des renseignement et, le cas échéant, de communiquer avec les organismes publics. Quelles leçons tirer de ces expériences? . Les objectifs et les mesures de performance facilitent le management de proximité et, de

ce fait, permettent des gains d'efficience et d'efficacité. . Il s’avère possible, même si ce n’est pas toujours facile, de formuler des objectifs de

performance pertinents pour les usagers comme pour les gestionnaires. . Le management doit continuer à jouer sur plusieurs outils de gestion différents: la mesure de la performance ne doit être qu’un supplément, et non un substitut d’autres outils. Dans le même esprit, les objectifs doivent rester accessibles et équilibrés. DES INDICATEURS POUR UN DEVELOPPEMENT DURABLE Une démarche de construction d’indicateurs avec les usagers en Allemagne Manfred Born, Econtur (Agence internationale pour les projets de développement durable), biologiste, chercheur en matière d’indicateurs de développement durable.

journée d’étude

La progression vers un développement durable implique de développer de nouveaux types d’information, et de nouveaux moyens de communiquer cette information. Le problème, c’est que les statistiques officielles ont tendance aux yeux des usagers à être ennuyeuses, confuses, voire suspecte, si ce n’est les trois à la fois. Bien trop souvent, les indicateurs de performance, qu’il s’agisse du taux de chômage ou de la qualité de l’air urbain, ne sont tout simplement pas en accord avec l’expérience quotidienne des gens. Comment ces derniers peuvent-ils donc agir sur leur quotidien? C’est à cette question que s’efforce de répondre, en Allemagne, l’opération « Agenda 21 ». Le principe est de réunir, dans une grande ville, les habitants, les politiciens et le monde des affaires, pour chercher un terrain d’entente sur des problèmes de développement cruciaux. Dès lors, la mise au point de méthodes de mesure s’impose: il faut en effet mesurer et communiquer les changements, l’évolution des modes de vie, permettre aux politiciens, aux entreprises, aux fonctionnaires et citoyens de juger de la portée de leurs efforts, établir enfin si la cité devient plus ou moins viable. C’est donc là que les indicateurs entrent en scène. Un indicateur, cela représente l’état des lieux, la situation d’un domaine donné. Sur la base de plusieurs indicateurs, on peut déterminer où en est l’évolution pour le long terme, la « marche vers le futur » des secteurs sensibles, environnementaux, économiques, sociaux. L’idée directrice est d’avoir plusieurs indicateurs pour chaque secteur, mais en nombre suffisamment limité pour pouvoir en tirer une vue d’ensemble compréhensible. D’une manière générale, un indicateur, cela n’a rien de mystérieux: c’est tout simplement un moyen de mesurer et de rendre compréhensible un élément, un domaine qu’on juge important. Les heures, les, minutes, les secondes sont des indicateurs du temps qui s’écoule. Une température corporelle élevée est un indicateur de maladie. Un saumon qui fait des sauts est un indicateur d’eau propre. Les indicateurs peuvent être d’ordre quantitatif, comme la facture d’eau d’un propriétaire, qui donne le nombre de litres d’eau potable utilisés chaque jour ou chaque mois. Quand ils sont qualitatifs, même s’ils peuvent eux aussi être exprimés en termes précis (comme la beauté d’une composition naturelle), il peuvent s’avérer plus difficiles à interpréter. En plus de donner « l’état de lieux », un indicateur peut être rétrospectif, décrire les conditions passées d’un système ou l’historique des mouvements qui nous éloignent ou nous rapprochent d’un objectif. En sens inverse, il peut être prédictif et décrire l’état, les qualités, les problèmes futurs d’un système ou, une fois encore, le mouvement qui nous rapprochera ou nous éloignera du but. Un bon indicateur avertit d’un problème avant qu’il ne devienne trop grave; il aide à trouver à temps des solutions. Qu’est-ce maintenant, plus précisément, qu’un indicateur pour le développement durable? C’est, là aussi, une information qui résume ou mesure: . les conditions, les qualités, les interdépendances ou les problèmes d’un vaste système complexe tel qu’un écosystème, ou . la tendance à se rapprocher ou à s’éloigner d’un objectif souhaité, comme la protection du gibier ou l’amélioration des écoles. Les indicateurs de développement durable mettent en relief les maillons les plus fragiles des liens entre l’économie, l’environnement et la société. Ils permettent de cerner les

journée d’étude

secteurs à problèmes et de chercher des solutions. Il ne faut pas les confondre avec les indicateurs traditionnels de la réussite économique et de la qualité de l’environnement; le développement durable exige une vision beaucoup plus intégrée et, de ce fait, ses indicateurs doivent faire le lien entre économie, environnement et structure sociale de la collectivité. Un indicateur économique qui ne tient pas compte des effets sociaux ou environnementaux, par exemple, n’aidera en rien. De même, un indicateur environnemental qui ne prendrait pas en considération les incidences économiques ou sociales interdira une vision claire des améliorations possibles. Les indicateurs traditionnels tendent à ne considérer qu’une partie d’une communauté. Par exemple, le Produit National Brut donne une mesure des importations et des exportations d’un pays, et illustre un état de santé économique. Mais, comme il ne relie pas la santé économique à la santé sociale et environnementale de la communauté, il peut orienter les choix d’évolution dans une mauvaise direction. Par exemple, quand le pétrolier Exxon Valdez s’est échoué, le pétrole répandu a tué des millions d’animaux et coûté des millions de dollars pour le nettoyage. Les emplois créés pour les activités de nettoyage ont fait remonter le PNB des Etats-Unis... Il faudrait donc en conclure qu’on devrait amener davantage de pétroliers à heurter plus souvent des rochers! Indicateur unidimensionel, le PNB mesure la santé de l’économie aux dépens de l’environnement et de la société. Il faut souligner que l’utilité des indicateurs de développement durable varie d’une collectivité à une autre. Dans le cas d’une collectivité en bonne santé, ils aident à surveiller cette santé pour déceler et rectifier les tendances négatives avant qu’elles ne deviennent un problème. Pour les collectivités qui connaissent des difficultés économiques, sociales ou environnementales, ils peuvent indiquer la voie menant à un meilleur avenir. mais dans tous les cas, ils peuvent permettre à des personnes de points de vue différents de dialoguer et, peut-être, d’aboutir à une communauté d’opinion sur ce que devrait être la collectivité. Quels sont les usages des indicateurs? Ils sont nombreux et incluent: . la mesure des progrès . l’explication du développement durable, rendu plus concret . l’éducation de la collectivité sur ce qui est important . la mise en évidence de liens entre différentes parties d’une collectivité . la motivation des personnes à agir . le ciblage de l’action sur les questions critiques Quelques exemples: . Mesure des progrès: Combien de déchets ont été laissés dans l’environnement des 20 dernières années ? . Mise en évidence de liens Une collectivité est une sorte de réseau interconnecté. Par exemple : une forêt procure les matériaux nécessaires à la production, ce qui fournit des emplois. Les emplois permettent à la population d’éviter la pauvreté, de même que l’éducation, qui améliore les compétences des travailleurs, ou encore leur santé. Autre exemple: la pauvreté qui augmente la criminalité, les problèmes de santé, l’insuffisance de l’éducation, et donc à terme réduit les chances des générations à venir de devenir membres à part entière de la collectivité.

journée d’étude

Tous ces liens sont connectés d’un mécanisme complexe. Le développement durable consiste à comprendre les connexions et découvrir la façon de faire « tourner plus rond » la mécanique. Mieux on comprend les liens, plus on aura de solutions. . Motivation, ciblage de l’action: Combien de gens ont-ils un compteur électrique chez eux? Où se trouve-t-il ? Au sous-sol ? A combien de gens arrive-t-il d’aller vérifier la quantité d’énergie qu’ils utilisent ? Quels sont, au final, les caractères d’un bon indicateur de développement durable? . il tient compte de la charge admissible . il est applicable à la collectivité . il est compréhensible par tous . il est utilisable par la collectivité . il donne un aperçu de l’évolution à long terme (25-50 ans) . il indique les liens entre l’économie, l’environnement et la société . il n’est pas aux dépens d’une autre collectivité - Prise en compte de la charge admissible: il s’agit d’indiquer si la collectivité utilise les ressources à une vitesse supérieure à celle de leur renouvellement ou de leur reconstitution. - Application à la collectivité: Ce qui est viable à Hambourg n’est pas ce qui l’est à Brême ou à Puna. Les solutions viables en métropole ne seront pas celles des zones rurales. Les collectivités doivent sélectionner des indicateurs en rapport avec leur situation. - Compréhension par tous: Qui a déjà vu -à l’oeil nu- une fraction de milliardième de quelque chose ? Personne! Les indicateurs doivent être « parlants », pour que les gens comprennent ce qui, dans leurs actions, cause des problèmes, et perçoivent les solutions éventuelles. - Utilisable par la collectivité Si les indicateurs ne sont pas utilisés, ils n’auront aucun impact sur les actions des citoyens. Au contraire, ils doivent les aider à voir comment changer leur comportement de façon positive pour tous. - Aperçu de l’évolution à long terme Le développement durable est un objectif à long terme. Nous avons besoin de prévisions pour les 25 ou 50 ans à venir, pas les 2 ou 4 ans entre deux élections. - Indiquer les liens Les indicateurs traditionnels ont tendance à être focalisés sur un seul aspect. Par exemple, si on augmente le nombre d’emplois sans faire attention à leur type, à leur durée, à leur effet sur la santé... on risque fort d’aggraver les problèmes de la collectivité dans l’avenir. . Ne pas être aux dépens d’une autre collectivité Si on développe un indicateur qui améliore votre collectivité au détriment d’une autre, on ne mesure pas le développement durable! Comment améliorer la qualité des indicateurs? Il faut:

journée d’étude

1. Se concentrer sur le bon objectif. Autrement dit, avant d’utiliser un indicateur, s’assurer qu’il mesure vraiment ce que l’on souhaite obtenir. 2. Utiliser une mesure qui parle aux gens, que tous puissent comprendre et utiliser 3. Mesure la cause et pas seulement l’effet. Dans un groupe d’indicateurs, mieux vaut s’assurer que certains mesurent les causes des problèmes, et pas seulement les résultats. Comment choisir les indicateurs? La Table Ronde d’Alberta sur l’Environnement et l’Economie, pour réduire à 59 une liste initiale de 80 indicateurs, a utilisé les sept critères suivants: 1. L’indicateur reflète les préoccupations des parties prenantes 2 Il mesure le problème ou l’objectif avec fidélité et d’une manière scientifiquement défendable 3 Il est ou peut être traduit dans un format compréhensible au public visé 4 Il est à même de déceler des différences significatives 5 Il peut être comparé à des mesures présentes et passées pour définir des tendances et variations. 6. Il est relativement facile à obtenir et à interpréter et de préférence peu coûteux Il mesure la progression ou la régression par rapport à un objectif, une cible, un repère, un seuil... spécifiques On peut ajouter des critères additionnels: une mesure géographique ou temporelle (L’indicateur mesurant une zone géographique et/ou un laps de temps appropriés (un, deux, cinq ans), - Il avertit précocement des changements, - Il est axé sur les résultats, met l’accent sur la mesure des réalisations (par exemple, le pourcentage d’adultes alphabétisés) plutôt que sur les efforts ou les dépenses (par exemple, l’argent dépensé pour un enseignement d’alphabétisation), permettant ainsi d’ajuster les efforts, - Il est fiable à longue échéance (deux décennies voire plus, délai nécessaire à une planification stratégique), - Il est suffisamment flexible pour tenir compte des nouveautés scientifiques et des évolutions de l’opinion. Comment identifier son public? Dès que l’on a dressé une liste d’indicateurs potentiels, il faut déterminer quel sera le public visé, sachant que des groupes différents nécessitent des indicateurs différents. Par exemple, les scientifiques privilégieront un grand nombre d’indicateurs détaillés, pas nécessairement accessibles aux non-spécialistes, tandis que les décideurs préféreront un groupe d’indicateurs plus restreint, mais en rapport direct avec les objectifs des politiques. Quant au grand public, il s’intéresse en général à des indicateurs en nombre encore plus réduit, faciles à comprendre et portant sur des sujets qui le touchent. Trouver des indicateurs répondant à tous les critères ne sera donc pas facile, mais il ne faut pas se décourager. Aucun critère n’est absolu, et l’on peut parfois se contenter d’un indicateur moins satisfaisant qu’un autre si ce dernier manque de données fiables. Le développement durable, qui implique une réflexion sur le long terme, a conduit certaines collectivités, faute d’indicateurs suffisamment fiables, à privilégier des mesures traditionnels. Ils ont l’avantage de disposer de données aisément disponibles et permettant des comparaisons. Ces indicateurs traditionnels peuvent donc être intéressants sur le court terme, tandis que l’on élabore d’autres sources de données; ils peuvent aussi aider à définir les domaines à problèmes. Cela dit, le danger subsiste qu’ils ne focalisent

journée d’étude

l’attention sur les solutions traditionnelles, celles-là même qui ont nuit au développement de la collectivité, et il faut en avoir conscience. Une bonne solution, c’est de choisir les meilleurs indicateurs pour la collectivité, et ensuite seulement de décider où et comment on obtiendra l’information. Si on trouve cette information n’importe où, c’est qu’on n’a pas assez réfléchi aux indicateurs du développement durable. Mieux vaut donc tenter de définir les meilleurs et de n’en utiliser provisoirement que quelques-uns, le temps de développer d’autres sources de données. D’ailleurs, à la question: « de combien d’indicateurs a-t-on besoin ? La réponse est : combien en veut-on? » Car le nombre d’indicateurs que choisit une collectivité est entièrement son affaire. Il dépend d’un certain nombre de facteurs, dont la taille de la collectivité, le nombre de problèmes critiques, les ressources disponibles pour suivre les indicateurs... Au final, on a des chance de ne négliger aucun secteur critique, sans que la liste soit si longue que la tâche n’en devienne écrasante. Le plus important, c’est le nombre d’indicateurs sélectionnés et les secteurs qu’ils couvrent. A-t-on absolument besoins d’indicateurs? En toute sincérité, non, pas plus pour le développement durable que pour le bien-être économique. La plupart des gens savent s’ils sont à l’aise ou s’ils ont du mal à joindre les deux bouts. Mais les indicateurs sont utiles pour savoir si on progresse. Sentir que l’argent se faire rare, c’est une chose. Mesurer et comparer les recettes et les dépenses, pour prévoir les changements et pouvoir nourrir sa famille et assurer sa retraite, c’en est une autre. Les indicateurs du développement durable permettent de voir l’on pourra continuer à vivre de la même manière pendant les 10, 20 ou 50 prochaines années. A Brême, la procédure de l’Agenda Régional 21 fonctionne depuis deux ans. Durant ces deux ans, la consultation s’est poursuivie avec toutes les partenaires de la collectivité: écoles, pouvoirs publics, églises, entreprises... Une table ronde et des projets de réseaux se sont mis en place. L’Agenda Régional 21 provisoire est en discussion. Un état d’avancement sera publié au printemps 2000. De nombreux projets traitent du développement durable, pour lequel la participation de tous est nécessaire. Concrètement, la table ronde de Brême est répartie en 7 groupes de travail, intitulés: 1 Développement durable et indicateurs pour l’éducation et la communication 2 Partenariats internationaux 3 Utilisation des ressources 4 Communauté de Neustadt 5 De la région vers la région 6 Economie et entreprises 7 L’avenir du travail La table ronde compte 27 participants qui représentent tous les partenaires sociaux (administration, entreprises, fédérations patronales et syndicales, organisations non –gouvernementales, recherche, médias, écoles, églises...). Son but est de permettre à chacun, dans sa vie quotidienne, au travail ou dans ses loisirs, de bénéficier du développement durable. La communication entre les partenaires est importante, même si elle n’est pas toujours facile. Mais les experts et le citoyen lambda apprennent à se comprendre et à trouver un langage commun.

journée d’étude

D’ores et déjà, au bout de deux ans, un petit groupe d’experts des divers groupes a commencé à développer des indicateurs régionaux. De nombreux ateliers ont été organisés pour les définir. Par la suite, une fois les suggestions recueillies, le nombre d’indicateurs sera réduit pour être ramené à un niveau gérable. L’essentiel est qu’ils définissent la direction dans laquelle la population de Brême souhaite voir bouger la société: de l’ai plus propre, moins de criminalité, plus d’énergies renouvelables.... Sur ces objectifs, le consensus existe, en dépit même des divergences d’opinion sur la vitesse à laquelle il faut les atteindre. QUESTIONS Gilles Tenoux, directeur de la modernisation de la Ville de Lyon : Je suis très content d'entendre des Européens parler du territoire, parce que depuis ce matin, on a entendu beaucoup de personnes de l'administration centrale. Or, dans les collectivités locales, on a depuis dix ans fait pas mal de choses avec l'usager. C’est sans doute plus facile car les usagers connaissent les élus et connaissent l'administration. J’invite les agents des administrations centrales à venir voir aussi ce qui se passe dans les collectivités, notamment en matière d'indicateurs de performances. Françoise Waintrop, délégation interministérielle à la réforme de l'Etat: Notre collègue allemand semble assez positif lorsqu'il parle de l’élaboration des indicateurs avec les citoyens. Mais je pense, comme l'a dit Pierre Lascoumes ce matin, que ce doit être un peu plus compliqué. J'aimerais avoir quelques informations sur la façon dont vous avez travaillé avec les citoyens, savoir s’il n'y a pas eu des contradictions dans les orientations souhaitées pour les indicateurs. Quant au Danemark, je crois que la quatrième expérience dont on nous a parlé, sur l'accessibilité des services publics, constitue une piste très importante pour la France. On y réfléchit d’ailleurs ensemble au niveau européen, en essayant de comparer la simplicité des procédures. Lesquelles mettre en jeu, du point de vue du citoyens? Combien de personnes voit-on pour obtenir un service? Quel est le temps d'attente? L’information qu'on reçoit? Quelle capacité avons-nous, en tant que citoyens, d'intervenir sur la qualité du service rendu? (Anonyme): J'ai été très intéressé par vos exposés. Toutefois, il aurait été intéressant de mettre l'exposé sur le développement durable au début, après l'exposé sur les usagers. Car au fond, la question c'est: quel est le sens de l'action publique? Au travers de l’exposé sur les indicateurs de développement durable, on voit bien que l'excellence publique s'inscrit d’une certaine manière dans une excellence territoriale qui touche au bien vivre, à l'environnement, aux générations futures, et qu’un observatoire s'intègre dans l'autre observatoire. Concernant par ailleurs l’exposé sur le calcul des moyens de la Justice, j'ai quand même l'impression que ces réflexions, même si elles progressent, existent depuis une vingtaine d’années. Il faudrait, à partir des exemples européens, se demander en quoi la transparence et l'appropriation par la société sont ou non un vecteur d'accélération de la modernisation et de la réforme. Christian du Tertre Cet après-midi, nous avons fait trois grands constats. Le premier, c'est que les indicateurs de performance ne sont pas neutres. Ils sont porteurs de sens, à travers trois dimensions. Tout d’abord, les effets attendus des prestations, quand on regarde après coup ce qui a évolué et qu’on peut mesurer les effets de nos services. Ensuite, les indicateurs donnent

journée d’étude

un sens à l'action: quelle dynamique engager pour transformer les besoins auxquels nous faisons face? Enfin, on sent bien que les questions d'efficacité, de productivité, de rentabilité, sont intrinsèquement liées au problème de la qualité. Notre monde n’est pas complètement industriel au sens d’une qualité normalisée, matérialisée. C’est un monde plus fluctuant, où les enjeux de productivité et de qualité sont liés: quand on touche à l'un, on touche à l'autre! On peut faire évoluer les éléments de performance par les moyens engagés, et toucher en fait à des enjeux de qualité, ou au contraire faire évoluer les performances en termes de qualité et voir aussitôt surgir la question des moyens. En d'autres termes, ces indicateurs portent sur le sens de l'action que l'on veut donner au service. Cela m'amène au deuxième constat: il faut mettre en oeuvre une batterie d'indicateurs intervenant sur des champs complémentaires. L'exemple allemand est là tout à fait explicite. Pourquoi ? Parce que les actions sont extrêmement interdépendantes les unes des autres. Dans le monde instable où nous sommes, l'incertitude des entreprises est une question essentielle, y compris du point de vue des administrations. Et cette instabilité renforce l'interdépendance de nos actes. Nous avons vu les relations qui, à Brême, existent entre le développement économique territorial, l'environnement et la dimension sociale, et je suis sûr que nous serions tous en mesure, dans nos administrations, de décrire l'ensemble des implications de nos services de la même façon. Nous sommes souvent amenés, par exemple, à participer à plusieurs à la formation des usagers ou, dans certaines formes d'activités de conseil, à établir des arbitrages. Il y a donc des logiques de développement ou d'amélioration qui ne sont pas identiques. C’est là qu’une batterie d'indicateurs est nécessaire, au regard de la finalité des actions de service et du mode de réalisation de prestations qui varient. Cela me conduit au troisième constat. Ce qui est intéressant c'est moins l'indicateur pour lui-même que la dynamique qu'enclenchent plusieurs indicateurs. Là aussi, je verrais trois dimensions. D'abord, la légitimité. Comment construire celle des indicateurs, dans la mesure où cela met en oeuvre des acteurs différents (usagers, salariés, magistrats...)? Comment aussi, par là même, faire évoluer les acteurs les uns par rapport aux autres? Notre ami allemand a montré que des acteurs différents, une fois engagés dans un processus d'élaboration, évoluent eux-mêmes, comment une dynamique sociale au sens d’un "construit collectif" s’élabore. Je suis d’ailleurs persuadé que cette question de la construction de la légitimité est liée à la procédure ou à la méthodologie mise en oeuvre, à la confrontation des différents types d'acteurs liés aux prestations visées. Deuxième point: il ne peut pas y avoir d'indicateurs sans procédures d'évaluation. Les techniques de benchmarking sont intéressantes, mais ne peuvent vraiment fonctionner que si elles s'appuient sur des procédures d'évaluation fondées, reconnues, acceptées elles aussi par les acteurs. Et il faut ici se méfier parfois de techniques apparemment faciles mais qui posent en réalité une redoutable question: comment chaque partenaire accepte-t-il la façon dont s'engagent ces procédures d'évaluation? Dernier point, la dimension contractuelle. Je trouve tout à fait intéressant que la logique contractuelle soit aussi introduite dans nos procédures. Conclusion de la journée Pierre Seguin, chef de la mission « Service à l’usager et management public » à la délégation interministérielle à la réforme de l’Etat

journée d’étude

Au terme de cette journée riche et dense, je pense que nous repartirons tous avec la conviction que les indicateurs de performance ne sont pas une vue de l'esprit, mais un réel besoin et une aide effective à l'action de nos administrations. Ils correspondent à une demande des usagers et ils existent de plus en plus. Il ne tient donc qu'à nous de les utiliser, à notre profit de manager et au profit de nos usagers. Nous sommes tous, d'ailleurs, des usagers et nous y avons donc nous-mêmes doublement intérêt. Je voudrais souligner que ces indicateurs sont présents au coeur des différents chantiers de modernisation de l'Etat. C'est le cas bien sûr en ce qui concerne les démarches de qualité et le service à l'usager, où ces indicateurs permettent de mesurer l'efficacité des actions entreprises.Il existe un risque dans ces démarches, qui est de dériver vers la procédure, en oubliant le but fondamental du service rendu: les indicateurs sont justement là pour nous rappeler de ne pas dériver. Ils sont indispensable aussi dans le cas du contrôle de gestion, dans celui des procédures de contractualisation entre services, qui doivent être « documentées » (comme dit la direction du Budget) par la fixation d'objectifs et par un système de « reporting ». Ils le sont enfin pour la généralisation des rapports d'activité, où la communication vers le grand public trouve une illustration concrète dans la publication des indicateurs associés. Vous aurez reconnu, dans la liste de ces différents chantiers, une bonne partie du programme de travail fixé par le Comité interministériel par réforme de l'Etat lors de sa réunion du 13 juillet dernier 1999. A cette occasion, je voudrais évoquer une question de terminologie. Nous avons utilisé aujourd'hui le terme « d'indicateurs de performance » pour l'intitulé de notre journée, car il nous a semblé à la fois parlant et assez fédérateur. Néanmoins, ce terme n'est pas entendu de la même manière par tout le monde. Le monde français et le monde anglo-saxon, notamment, n’ont pas la même conception des choses. Dès qu’on sort du cadre simple des indicateurs de moyens et d'activités, qui sont les indicateurs de base, les dénominations fleurissent. Cela entraîne un certain « flou » dans les échanges. Un groupe de travail sur la modernisation de la gestion publique actuellement à l’oeuvre aura donc pour tâche, entre autres, de clarifier les concepts et de définir un lexique susceptible d'être adopté comme référence commune par les administrations. C’est un point important, car nommer les objets c’est le reconnaître et, de ce fait, les maîtriser. Des interventions de cette journée, je retiendrai quelques grandes idées sans prétendre bien sûr épuiser la richesse des interventions. Celle de Pierre Lascoumes a rempli la fonction que nous attendions, celle de nous interpeller, et je considère que c'est une très bonne chose. Comme il l’a dit lui-même, l'usager n'en fait qu'à sa tête, et c'est bien heureux. Mais, dans ces relations avec l’usager, il est plus facile de dire ce qu'il ne faut pas faire que ce qu'il faut faire. Pierre Lascoumes à cet égard nous a bien montré les écueils à éviter. Ce sujet mériterait en soi une journée d'étude, et je ne vais donc pas le traiter. Mais on voit bien que c'est dans une combinaison de plusieurs facteurs -représentation institutionnelle des usagers, enquêtes de satisfaction, combinaison de diverse démarches de consultation...-qu'est sans doute la solution à cette question. François Louis nous a parlé de l'expérience de l'Education Nationale, déjà relativement ancienne et bien connue pour sa grande valeur. Il a employé une expression que j'aime bien, "Evaluer pour agir" -une bonne devise- et il a mis en évidence l’intérêt de se brancher sur ce qui existe déjà pour construire nos futurs indicateurs et garantir leur pérennité.

journée d’étude

Lionel David nous a bien montré dans quelle mesure ces indicateurs de performance s'inscrivent dans un cadre beaucoup plus général d'une démarche de modernisation de la gestion. Effectivement, à l'ANPE, cela va jusqu'à la notion de certification, c’est-à-dire d’une démarche particulièrement globale. L'appropriation de la démarche « usager » par le niveau local se fait par le biais des enquêtes de satisfaction, donc un des modes possibles de consultation de l'usager. Gilles Jeannot a expliqué pour sa part dans quelle mesure les indicateurs sont liés à un rapport de forces. Il est vrai que tout système que nous tissons n'est jamais neutre de ce pont de vue, et qu’il n’y a de sens à construire des indicateurs mettant en évidence les besoins des usagers que dans la mesure où nous donnons parallèlement à ces usagers leur vraie place dans le dialogue. Quant à l'idée de développer des autorités de régulation comme moyen terme entre le service producteur et les usagers, elle est sans doute intéressante, mais les autorités administratives indépendantes n'ont pas que des qualités. A cet égard, je renvoie à un certain nombre d'appréciations du Conseil d'Etat qui gardent toutes leur valeur. Sophie Mahieux a replacé la démarche de la direction du Budget dans la perspective des indicateurs de performance, en soulignant à quel point la réforme de l'Etat est une procédure globale. Je tiens à souligner à ce propos que la délégation interministérielle à la réforme de l'Etat et la direction du Budget travaillent en la matière en parfaite coordination, avec des objectifs certes différents, mais d'une manière aussi harmonieuse que possible. Olivier Blandin a développé l'idée que le bénéficiaire d'un service contribue à la production de ce service. Il est important de se rappeler qu’exigeant des démarches de la part de nos usagers, nous consommons en fait une certaine force productive. Il faut donc chercher à minimiser cet investissement. L’idée d'introduire un tiers (les usagers) dans ce processus de « sociabilisation de la variabilité individuelle » pour construire une évaluation et pouvoir innover me semble forte et intéressante. Frédérique Pallez a décrit, avec l’exemple de la justice, comment l’on peut bâtir des indicateurs dans un domaine pourtant réputé ne pas s'y prêter. Ce simple fait est fondamental. Elle a également bien souligné qu'un indicateur n'a de sens que par rapport à son usage et que, par conséquent, l'usage doit être clairement défini et clairement reconnu par tous ceux qui participent à la production du système de gestion. Jean Kromann Kristensen nous a donné un exemple de faisabilité d'une démarche d'orientation vers l'usager et de construction d'indicateurs au Danemark. Malgré les paroles louangeuses qu'il a eues à l'égard de notre pays, je tiens à souligner que, de ce point de vue, le Danemark est indubitablement, pour la France, un exemple à suivre. Il a eu aussi l'honnêteté de souligner que ce genre de démarche n'était pas facile et que tout un chacun se heurtait à certaines limites. Cela nous montre bien que nous ne sommes pas non plus, en France, si loin du peloton de tête en matière de prise en compte des besoins des usagers et ça ne peut que nous rendre optimiste. Enfin, Manfred Born a développé une notion d'indicateurs communautaires durables qui me paraissent plus orientés vers le niveau local. Or nous sommes tous ici avant tout des représentants d’administrations centrales, même si certaines membres d’administrations locales nous ont fait l'amitié de venir. Manfred Born a souligné, et c’est très important, que la construction d'un système vaut presque autant que les résultats que l'on tire de ce système. En termes de management et en termes de dynamique de groupe, c'est absolument fondamental. Une constante me semble ressortir de ces débats, c'est que le management a un rôle déterminant à jouer dans les développements de l'utilisation des indicateurs, ces indicateurs donc que j'appellerai de « performance » jusqu'à ce qu'on ait trouvé un meilleur terme. Ce management doit faire preuve en cela d'une volonté permanente. En

journée d’étude

effet, il intervient pour définir et mettre en place des indicateurs et pour veiller à ce que ceux-ci soient bien orientés vers le service à l'usager. Nous avons donc les uns et les autres une responsabilité particulière en la matière, sachant qu’il faut bien entendu agir avec les agents et avec les usagers. Le management doit aussi faire en sorte que la structure, sous sa responsabilité, utilise effectivement les indicateurs. Il est en effet fréquent qu'une fois l'outil mis en place, il ne soit plus entretenu que par routine administrative, en perdant de vue le service qu'il rend. Le management doit donc lui-même utiliser l'outil et le faire évoluer en fonction des besoins. On le constate actuellement au ministère de l’Equipement: ne fonctionnent bien que les indicateurs utilisés dans le but d’avoir une allocation de moyens, d’obtenir un certain nombre de décisions et d'actions, ce qui incite bien évidemment toute la structure à entretenir soigneusement le système d'indicateurs. Enfin, il faut se comparer, pour provoquer une saine émulation, avec des structures équivalentes et avec les services publics étrangers, notamment européens. C’est ce que nous avons essayé de faire cet après-midi. J'insiste sur cette nécessité de remettre périodiquement en question les indicateurs utilisés. Car les attentes des usagers, elles-mêmes, évoluent avec le temps. Le management doit donc faire preuve d’une volonté sans failles.