1. La place des indicateurs dans les ESSMSauditpro.org/cnam/LPro-ESSMS-2017-2018/Textes-cnam/statistique po… · Les tableaux de bord chronologiques La possibilité de regrouper

CNAM PARIS Formation: licence professionnelle gestion des établissements sanitaires par Gabriel Cohen E-mail [email protected] Site : http://auditpro.org BP 90 009 34 006 Nîmes CEDEX 4 N° SIRET 500 007 331 00019 Numéro d’enregistrement de prestataire de formation 91 30 03373 30

Habilité à l’évaluation externe des établissements et services médicaux sociaux par l’ANESM décision H2009-11-280 Page 1

LES INDICATEURS POUR LES NULS (EN ESSMS)

1. La place des indicateurs dans les ESSMS

L’importance des indicateurs dans le pilotage d’un ESSMS implique, pour les personnels de direction l’acquisition d’un minimum de repères. Ce complément apporte dans un premier temps, une réflexion sur la nature des indicateurs puis sur des explications imagées de l’utilisation élémentaire des statistiques incontournables.

a. La nature des indicateurs

Si on recherche sur internet le mot « indicateur », on trouve sur Wikipédia des indicateurs économiques avec une définition barbare : « En économie, un indicateur est une statistique

construite afin de mesurer certaines dimensions de l’activité économique, ceci de façon aussi

objective que possible. Leurs évolutions ainsi que leurs corrélations avec d'autres grandeurs sont

fréquemment analysées à l'aide de méthodes économétriques».

Si on recherche « indicateur scolaires » on trouve des sites qui parlent de « Taux de réussite » de

toutes sortes.

Parfois on voit apparaître le mot indice à la place d’indicateur. Si on recherche sur internet on trouve

des exemples comme l’indice de la construction mais rien sur des indices scolaires.

La recherche dans le dictionnaire Larousse pour le mot « indice » donne : « Signe apparent qui

indique avec probabilité ». Si on regarde la définition de l’indicateur on trouve énormément de

définitions qui sont surtout des exemples : « indicateur de niveau » ; « indicateur de

pression » ;……sans parler des indicateurs de police !!!

Toute cette imprécision est assez dérangeante car dans tous les discours les responsables utilisent des

indicateurs pour justifier leurs politiques.

Il est légitime de donner un sens précis à ces termes.

D’après les définitions du Larousse on suppose qu’un indicateur est une méthode pour faire

correspondre à toutes les situations connues un nombre. C’est bien le cas de la note qui à tout devoir

d’usager fait correspondre un nombre sur un total de vingt points.

Plutôt que donner une nouvelle définition de l’indicateur nous allons préciser ce que nous appelons

indicateurs et indices correspondants :

Il y a trois sortes d’indicateurs suivant le niveau où on se place. Ce sont, comme dirait Monsieur de

La Palice, les indicateurs sur des personnes physiques qui se placent au niveau de l'individu (usagers,

résidents, personnels), les indicateurs de services qui se placent au niveau d'un sous groupe

(infirmières, service de malades, restauration,..) et les indicateurs d'établissements qui se placent au

niveau de l’établissement.

b. Indicateurs d’usagers et de personnels

Un indicateur d’usagers est une façon pragmatique de faire correspondre à tout usager (ou tout

personnel) d’un groupe connu de l’établissement une information qui dans la grande majorité des

cas est un nombre ou un mot.

Exemple : La liste des usagers et la liste de leur âge ou la liste des usagers et leur nom.

L’important dans un indicateur c’est de connaître l’ensemble précis du contexte et en particulier être

capable de lister les usagers et de faire correspondre à chaque usager la valeur de l’indicateur (ici

l'âge ou le nom).

http://fr.wikipedia.org/wiki/Statistique

http://fr.wikipedia.org/wiki/Activit%C3%A9_%C3%A9conomique

http://fr.wikipedia.org/wiki/Corr%C3%A9lation

http://fr.wikipedia.org/wiki/%C3%89conom%C3%A9trie



Quant on ne connaît l'âge d'un seul individu c'est un indice, c'est-à-dire un élément de l’indicateur.

L’indice apporte une indication très faible (sauf si le contexte est bien connu). Cependant cet indice a

la propriété d’attirer l’attention. Par exemple savoir que l'âge minimum dans un service est de 81 ans

est un indice. On ne peut rien déduire de cette donnée sur l'usager mais on peut penser qu'on est dans

un service de gériatrie.

c. Indicateurs de services

C’est la même idée mais à la différence de prendre comme individu un usager ou un personnel on

prend le service.

Par exemple les budgets d’un établissement service par service pour l'année 2008.

L’indicateur fait correspondre à chaque service son budget pour l'année 2008.

d. Indicateurs d’établissements

Là encore on fait appel aux mêmes idées mais l’élément de base est l’établissement. Pour pouvoir

parler d’indicateurs, il faut avoir un ensemble d’établissements et si possible un ensemble important.

C'est le point de vue des services départementaux ou de l'ARS.

Le GMP (GIR moyen pondéré) est un indice pour attribuer l'APA(Aide au Personnes Âgées)

L'ensemble des GMP est l'indicateur qu'utilise un département pour établir son budget sur l'aide aux

personnes âgées.

e. Les autres types d’indicateurs

Les types d’indicateurs sont très nombreux. Par exemple il se peut que le résultat soit une image.

C’est le cas du trombinoscope. Il se peut aussi que les objets étudiés soient indexés par le temps

(Tableau des GMP en fonction des années pour un EHPAD).

f. Les indicateurs et le temps

Si on a un indice pour un usager (exemple GIR actualisé par mois) et que l’on suit cet indice sur

plusieurs mois, voire années, on a forcément une information plus riche et qui est porteuse de

prédictions. C’est un indicateur dont les individus sont les instants où l'information est relevée (pour

notre exemple les mois) . Ces indicateurs sont un peu particuliers car ils transportent l’information

liée à la chronologie. On passe un peu de la photo au cinéma ! Comme exemple on peut évoquer les

relevés de température d'un malade, l'évolution de la dimension d'une tumeur, le nombre d'absences

de personnels d'un hôpital sur l'année, etc.

i. Les tableaux de bord chronologiques

La possibilité de regrouper dans un tableau, différents indicateurs chronologiques, donne des

informations intéressantes. Nous allons donner quelques éléments de méthode pour mettre en place

un tableau de bord à partir d'un questionnaire de satisfaction des usagers d'un hôpital.

Voici quelques questions issues d'un questionnaire réel:

Prise de contact téléphonique Très

satisfaisant Satisfaisant

Assez satisfaisant

Peu satisfaisant

Insatisfaisant Catastrophique

Délais de rendez-vous Très


Assez satisfaisant

Peu satisfaisant




Amabilité, courtoisie Très


Assez satisfaisant

Peu satisfaisant


Explications fournies sur le déroulement de l'intervention Très


Assez satisfaisant

Peu satisfaisant


Déroulement des formalités administratives Très


Assez satisfaisant

Peu satisfaisant


Par exemple la troisième question sur l'amabilité pour le premier trimestre 2006, une fois dépouillée,

donne les résultats suivants

Amabilité, courtoisie Très


Assez satisfaisant

Peu satisfaisant


20% 65% 5% 7% 3% 0%

Si on désire suivre l'évolution du fonctionnement de l'hôpital, on sera amené à simplifier ces données.

Un technique habituelle est de construire un indice de satisfaction en faisant la somme des résultats

dans la partie verte (trois premières cases) qui devient alors un indice de satisfaction pour l'Amabilité

et la Courtoisie.

Le résultat gardé sera : 90% en additionnant les valeurs positives 20%+65%+5%

Sur le plan technique on dépouille les questionnaires chaque trimestre et on reporte les résultats

dans un tableau, pour se donner une idée de la qualité du service tout au long de l'année.

Le tableau ci-dessous (un extrait) donne une idée la réalisation pratique.

2009 2010 2011

Indicateur de satisfaction des usagers

Trim

estr

e 1

Trim

estr

e 2

Trim

estr

e 3

Trim

estr

e 4

Trim

estr

e 1

Trim

estr

e 2

Trim

estr

e 3

Trim

estr

e 4

Trim

estr

e 1

Trim

estr

e 2

Trim

estr

e 3

Trim

estr

e 4

Prise de contact

téléphonique 83% 85% 77% 77% 67% 68% 87% 87% 89% 88% 85% 92%

Délais de rendez-vous 32% 35% 30% 28% 29% 50% 52% 51% 55% 52% 56% 50%

Amabilité, courtoisie 83% 85% 77% 77% 67% 68% 87% 87% 89% 88% 85% 92%



Explications fournies sur

le déroulement de

l'intervention

57% 60% 55% 55% 53% 52% 63% 63% 65% 66% 63% 62%

Déroulement des

formalités administratives 78% 76% 66% 66% 65% 64% 82% 82% 80% 85% 82% 79%

En observant les résultats on détermine facilement qu’au début de l'année 2008 la qualité de l'accueil

téléphonique s'est dégradée pendant deux mois, certainement suite à un problème de maladie.

ii. Les processus ou l’analyse des indicateurs dans le temps

Pour facilité la lecture et l'analyse on utilise la courbe suivante qui donne une vision globale de

l'évolution dans le temps.

Pour faciliter la lecture du tableau des résultats, le plus simple est de transformer ces données en

courbes.

50%

55%

60%

65%

70%

75%

80%

85%

90%

95%

Prise de contact téléphonique


Remplacement

difficile



Courant du second trimestre 2010, les évolutions positives (croissantes) des courbes montrent qu'une

réorganisation a été réalisée par l'équipe de direction.

Quand on veut aller plus loin dans l'analyse la richesse des données est plus un handicap qu’un

avantage. Pour analyser l’information apportée par ces données il faut des techniques sophistiquées.

On a de fait un ensemble de processus à une dimension (une seule question dans le temps) liés entre

eux. Les théories d’analyse s’appellent analyse des processus multi-variés. Au delà de la

représentation graphique ces techniques sont sans intérêt pratique pour une direction tant qu'on n'est

pas au niveau régional ou national. Au niveau d'un département ou d'une administration comme

l'ARS, avec plus de données, l’utilisation d’outils d’analyse des processus multi-variés proposerait

des outils de prévision intéressants. Dans la pratique on est loin de cette vision là.

2. La forme des indicateurs couramment utilisés

a. Les indicateurs « dit objectifs »

Les indicateurs utilisés généralement par les établissements sont des données objectives et

descriptives.

Comme indicateurs d’usager on trouve : l’âge, la profession des usagers, etc.

Comme indices d'établissement on trouve les GIR, les Pathos, Les dotations, le nombre de résidents,

la surface des bâtiments,.... ..

Ces indices d'établissements regroupés permettent de créer des indicateurs au niveau des instances

dirigeantes (Conseil Général, ARS, etc.).

Tous ces indicateurs ont pour avantage d’être apparemment incontestables et pour limite leur

incapacité de décrire directement la qualité relationnelle du fonctionnement de chaque établissement.

b. Les opinions élémentaires

La prise en compte de l’opinion des usagers et du personnel est au centre d’une direction efficace.

Les indicateurs les plus adaptés qui permettent de mesurer les opinions sont ce que nous nommerons

« opinions élémentaires » et que l’on trouve sous la forme d’échelle. Pour les usagers (ou les

personnels), ce sont des indicateurs qui associent à tout individu du groupe concerné, des valeurs

ordonnées comme l’exemple du tableau ci-dessous :

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Trim

estr

e 1

Trim

estr

e 2

Trim

estr

e 3

Trim

estr

e 4

Trim

estr

e 1

Trim

estr

e 2

Trim

estr

e 3

Trim

estr

e 4

Trim

estr

e 1

Trim

estr

e 2

Trim

estr

e 3

Trim

estr

e 4


Délais de rendez-vous

Amabilité, courtoisie

Explications fournie sur le déroulement de l'intervention

Réorga-

nisation

des

services



Très satisfaisant Satisfaisant Assez satisfaisant Peu satisfaisant Insatisfaisant Très insuffisant

ou toute autre réponse ordonnée.

Ce type d’indicateur je l’ai nommé opinions élémentaires, car celles-ci ressemblent aux informations

données par les sens. Pour les yeux par exemple on dira

Éblouissant Lumineux Assez lumineux Sombre Très sombre Noir

On retrouverait aussi des qualificatifs identiques pour le bruit et pour le toucher

Si les sens donnent des informations ordonnées, c’est que ces dernières sont nécessaires à notre

appréhension du monde extérieur dans sa diversité et sa globalité. Il n’est pas étonnant que les

questions qui essaient d’appréhender la complexité du monde des relations prennent des formes

comparables.

Dans les deux exemples que j’ai présentés, il y a 6 réponses possibles, 3 positives et trois négatives.

Pour quelle raison ?

Ce type d’indicateurs a pour objectif d’appréhender une situation inconnue et où on désire mesurer la

proportion des satisfaits ou des capables. On recherche à se déterminer sur la proportion des

personnes satisfaites et par différence celles qui sont insatisfaites. Comme souvent il s’agit de

déclaratif, il est nécessaires que les possibilités soient divisées en positif et en négatif (Les satisfaits

et les insatisfaits). On pourrait imaginer un indicateur avec uniquement deux cases :

Satisfaisant/insatisfaisant ; Travailleur/fainéant ; blanc/noir.

Mais on se rend compte que c’est une information trop grossière et qui risque de ne pas être fiable.

Voici deux des raisons parmi bien d’autres.

Quand on demande l’opinion d’une personne sur ce qu’elle vit, dans sa réponse rentre en

compte son sentiment mais aussi son caractère. S’il n’y a que deux possibilités un personne

qui est plutôt satisfaite mais très partagée risque de répondre négativement si elle est du genre

pessimiste. A contrario une personne respectueuse des autres qui serait insatisfaite et indécise,

risque de répondre positivement, préférant être imprécise plutôt que d’être injuste.

On pourrait penser que les pessimistes compensent les optimistes. C’est en partie vrai mais la

possibilité de deux réponses rend les informations moins fiables. Les nuances permettent à

chacun de trouver une réponse plus adaptée à son opinion et à son caractère.

L’autre raison est dans l’utilisation des résultats. Si on sait qu’il y a 60% des personnes qui

sont satisfaites et que l’on désire améliorer le service, on n’aura pas la même politique si ces

60% se décomposent en 20% de très satisfaits ; 30% de satisfaits et 10% d’assez satisfaits que

s’il s’agit de 40% de très satisfaits ; 15% de satisfaits et 5% d’assez satisfaits. Dans le premier

cas une bonne politique améliorera les résultats et dans l’autre, elle sera peu efficace. Les

nuances sont donc nécessaires. Alors combien de nuances ? et pourquoi trois positives et trois

négatives ? Il n’y a pas de règle logique et indiscutable mais on doit ici aussi se baser sur les

évaluations spontanées de la vie de tous les jours. Quand on parle de la taille des personnes on

les partage en première approximation en trois catégories : petit, moyen et grand. Il en est de

même de beaucoup de jugements : la couleur (claire, normale, foncée) la richesse (riche, aisé,

pauvre) etc..

D'où la proposition suivante: trois réponses du type positif (Très satisfaisant ; Satisfaisant ; Assez satisfaisant) et trois réponses de type négatif (Peu satisfaisant ; Insatisfaisant ; Très insuffisant) on obtient ainsi six cases :

Très satisfaisant Satisfaisant Assez satisfaisant Peu satisfaisant Insatisfaisant Très insuffisant



Tout ceci est fort discutable, mais la pratique tranche pour cette solution ; avec des indicateurs

structurés en trois réponses positives et trois négatives on a des outils assez fiables et pas trop

complexes.

Comme pour tout indicateur il ne faut pas sacraliser les résultats mais ne jamais perdre de vue qu’un seul résultat est toujours suspect et qu’il faut le consolider par toutes sortes d’informations.

c. Les indicateurs à réponses multiples Une question à réponses multiples est une question où plusieurs choix non ordonnés sont proposés. Ces questions sont utilisées pour éviter de poser autant de questions qu’il y a de réponses proposées. Voici une question à choix multiples :

On aurait pu poser la question pour chacune des réponses sous forme d'opinion élémentaire : Avez-vous des problèmes de santé ? Et proposer les réponses ; « Énormément » ; « Beaucoup » ; « Pas trop » ; « Assez peu » ; « Pas du tout » ; « Je suis en pleine forme ». Puis faire de même pour les autres items. En utilisant une question à choix multiples le questionnaire gagne en clarté et en place. Mais la contrepartie de cette façon de faire est une perte d’informations importantes par rapport aux opinions élémentaires correspondantes. Le choix dépend des enjeux et des objectifs du questionnaire.

3. Les indicateurs pour les nuls

Ce texte s’adresse aux étudiants qui n’ont pas une culture scientifique et qui ont besoin de commenter des indicateurs. La notion de moyenne est généralement acquise mais l’interprétation des indices de dispersion (comme l’écartype) ou la manipulation des tableaux croisés est souvent délicate. Heureusement les logiciels d’enquête permettent de manipuler des statistiques et d’exploiter les données sans avoir des connaissances approfondies. Il faut cependant avoir un minimum de notions intuitives pour comprendre ce que l’on fait.

a. De l’évaluation à la statistique Quand on fait de l’évaluation on est amené à analyser les réponses qu’on a obtenues à partir de questionnaires. Les questions les plus fréquentes sont des échelles que nous avons nommées opinions élémentaires. D'autres questions sont des questions à choix multiples. Pour une question du type opinion élémentaire, on a autant de réponses que de personnes interrogées. Ce qui génère un ensemble de nombres que l’on essaie d’interpréter. Le but de la



Statistique est de résumer en quelques indices le comportement de cet ensemble de valeurs. Le plus connu de ces indices est la moyenne. Il y a bien d’autres indices comme la médiane et l’écartype. Quand on a analysé les réponses à une question, on essaie de caractériser les réponses à deux questions puis trois et ainsi de suite. L’analyse simultanée de deux questions est plus complexe que l’analyse de chacune de ces deux questions séparément. Plus que la nature des résultats on est amené à regarder le lien entre les questions. Pour cela on crée des tableaux croisés. Au delà de deux questions les techniques sont complexes et pour la majorité des cas pratiques peu utiles.

b. Les indices associés aux opinions élémentaires

Quant on a un indicateur sous forme d’une opinion élémentaire pour réaliser les premières analyses

on doit penser à 4 indices courants : La moyenne, l’écart à la moyenne (appelé écartype) et les

extrêmes. Peu importe la définition exacte de ces termes mais il est important pour un évaluateur de

comprendre l’objectif de ces indices.

Ces indices ont pour objectif de se donner très rapidement une idée de la distribution (répartition) des

usagers sous le regard de l’indicateur. C’est à dire la façon dont le groupe a répondu.

Prenons un exemple pour comprendre.

On demande à des usagers : quel souvenir gardez-vous de votre dernier mois de travail ?

Les réponses proposées sont :

+++ ++ + - -- ---

Qu’on représente par des valeurs numériques de 3 à -3:

Réponses proposées

+++ ++ + - -- ---

Codage 3 2 1 -1 -2 -3

Pour simplifier l’exemple on suppose que l’on interroge 200 employés.

Les données récoltées sont alors :


+++ ++ + - -- ---

Codage 3 2 1 -1 -2 -3 Nombre d’ employés 60 76 36 8 2 18

Pourcentage 30% 38% 18% 4% 1% 9%

Si on représente les employés un à un (ici par un rond), on a le tableau suivant :



La valeur centrale des graduations se trouve être 0 ; Cette valeur est importante lorsqu’on pose la question mais ne permet pas d’analyser les réponses. Ce qui prend en compte les réponses c’est la moyenne. Les réponses étant décentrées il est normal que la moyenne des réponses se déplace vers la gauche. La moyenne a ici la valeur 1,51. Ce qui est normal car il y a plus de réponses positives que négatives. Calcul de la moyenne Pour information donnons la méthode de calcul et le raisonnement qui va avec. Si vous êtes allergique aux calculs « sautez » le paragraphe. Si on raisonne de la façon suivante. Chaque individu a un poids (son importance) de 1/200 car il représente 1 individu sur 200. S’il choisit la réponse codée « 2 » il apportera deux fois plus que s’il avait coché la réponse 1. S’il coche « 1 » il apporte 1/200 de point soit 0,005 points ; s’il coche « 2 » il apporte 2x1/200 de point soit 0,01 point. Pour la valeur 3 on a 60 employés qui apportent chacun 1/200

ème de point soit 60x(3/200) = 0,9 point

Pour la valeur 2 on a 76 employés qui apportent chacun 2/200ème

de point soit 76x(2/200) = 0,76 point Pour la valeur 1 on a 36 employés qui apportent chacun 1/200


Pour la valeur -1 on a 8 employés qui « perdent » chacun 1/200ème

de point soit 8x(1/200) = 0,04 point Pour la valeur -2 on a 2 employés qui « perdent » chacun 2/200


Pour la valeur -3 on a 8 employés qui « perdent » chacun 3/200ème

de point soit 18x(3/200) = 0,27point La moyenne et donc de 0,9+0,76+0,18-0,04-0,02-0,27 = 1,51 que nous arrondirons à la valeur de 1,5

La moyenne n’est pas une information suffisante pour décrire un groupe et la représentation ci-

dessus est trop lourde pour être utilisée. Dans le langage courant on a« le gros de la troupe » pour

désigner les employés qui ne s’écartent pas trop de la moyenne. Pour repérer les employés qui ne

sont pas dans le gros de la troupe on les positionne par rapport à la moyenne.

Pour positionner chaque individu on calcule la distance de sa réponse à la moyenne. Ainsi un individu qui répond avec deux plus (réponse 2) on calcule la distance entre 2 et 1,5 qui est de 0,5.

La

mo

yen

ne

-2 -1 -3 1 2 0 3 1,5



Si l’individu a répondu par trois moins (réponse -3) sa distance à la moyenne est de 4,5. D’où le graphique des écarts Avant de parler du tableau des écarts, il faut faire quelques remarques d’ordre « philosophique». Même si les mathématiques laissent un souvenir de vérité « vraie » on voit dans cette façon de représenter les résultats qu’on est dans le monde de l’imaginaire (qui veut dire monde de l’image). En effet l’usager qui répond n’a pas le choix de répondre zéro qui serait la valeur entre un plus et un moins. D’ailleurs les indécis le font parfois. Le 0 est donc une valeur imaginaire qui caractérise une position neutre entre ceux qui ont gardé un bon souvenir de leur travail et ceux qui en ont gardé un mauvais. La moyenne est encore plus une image « fabriquée » de toute pièce (d’autres valeurs centrales sont utilisées comme la médiane). Contrairement aux croyances populaires la statistique n’a pas la prétention d’atteindre « La vérité », mais de donner une image de la réalité qui nous aide à mieux comprendre. C’est d’ailleurs un objectif plus satisfaisant car ce que nous appelons la réalité n’ est que des images formées par notre cerveau qui nous permettent de mieux vivre. Ce côté imaginaire de la statistique explique l’importance qu’elle a dans l’analyse du fonctionnement des groupes. Le fonctionnement des groupes étant très complexe, nous avons besoin d’images pour nous situer. Afin de vivre ensemble, il est important que ces images soient partagées par le plus grand nombre d’acteurs. Ce besoin d’images partagées explique l’importance des questionnaires associés à la statistique. Le couple « questionnaire, statistique » est un couple d’une efficacité redoutable qui fabrique des images du relationnel au sein des groupes. Revenons à notre explication. Notre but est de déterminer autour de la moyenne une zone dans laquelle les employés seront « dits» appartenir au groupe. Les écarts à la moyenne donnent le tableau suivant :


+++ ++ + - -- ---

Codage 3 2 1 -1 -2 -3

Écarts à la moyenne

1,5 0,5 0,5 2,5 3,5 4,5

Nombre d’employés

Pourcentage Par réponses

30% 38% 18% 4% 1% 9%

Les valeurs des

réponses

Les valeurs des

écarts 1,5 0,5 0 0,5 2,5

-2 -1 -3 1 2 0 3 1,5

3,5 4,5



Pour dire qu’un individu est dans le « gros de la troupe » on va dire que cet individu s’écarte moyennement de la moyenne. Cet écart moyen sera simplement calculé par la moyenne des écarts. Qui est ici 1, 27 que nous arrondirons à 1,3 Pour ceux qui veulent plus de détail on a : Pour l’écart de 1,5 on a 60 employés qui apportent chacun 1/200

ème de point soit 60x(1,5/200) = 0,45 point

Pour l’écart de 0,5 on a 76 employés qui apportent chacun 2/200ème

de point soit 76x(0,5/200) = 0,19 point Pour l’écart de 0,5 on a 36 employés qui apportent chacun 1/200

ème de point soit 36x(0,5/200) = 0,09point

Pour l’écart de 0,5 on a 8 employés qui « perdent » chacun 1/200ème

de point soit 8x(2,5/200) = 0,01 point Pour l’écart de 0,5 on a 2 employés qui « perdent » chacun 2/200

ème de point soit 2x(3,5/200) = 0,035 point

Pour l’écart de 0,5 on a 8 employés qui « perdent » chacun 3/200ème

de point soit 18x(4,5/200) = 0,405point Ce qui fait un total de 0,45+0,19+0,01+0,035+0,450= 1,27

Pour qu’un individu soit dans le « gros de la troupe » il faut qu’il soit écarté de la moyenne d’une valeur inférieure à 1,3. Pour être dans le gros de la troupe il faut avoir répondu moins de 1,5 + 1,3 = 2,8 ou plus de 1,5- 1, 3 = 0,2. D’où le graphique : Ainsi ceux qui ont répondu par deux plus (+ +) ou un plus (+) sont considérés comme étant dans le gros de la troupe. Ceux qui ont répondu trois plus (+++) sont des employés qui ont un souvenir meilleur que la moyenne des employés. Enfin les employés qui ont répondu par des moins sont des employés qui ont un plus mauvais souvenir de l’école primaire que la moyenne. C’est certainement dans cette zone qu’on aura le plus de chance de trouver les employés en difficulté. Pour des raisons strictement mathématiques l’écart moyen de 1,3 que j’ai calculé est rarement utilisé quoique son calcul soit le plus facile. On utilise un autre type d’écart moyen appelé écartype que vous trouverez sur Excel [=ÉCARTYPE(C4:H4)]. La valeur trouvée par Excel est de 1,7. Cette valeur étant plus forte ce qui englobe les réponses des employés qui ont coché la case trois plus (+++). Là aussi on se rend compte que les types d’outils qu’on utilise modifient la perception de la réalité. Ce n’est pas plus gênant que dans la vie courante où, suivant votre vue et les lunettes que vous portez, la réalité diffère. Ce qui reste important c’est que le groupe de tous les acteurs d’un établissement puissent avoir des points de vue communs. Peu importe les outils humains ou techniques utilisés.

c. Les représentations graphiques habituelles d’un indicateur

La représentation graphique est une technique très synthétique et très « parlante ». Vous

connaissez peut-être l’expression : « il vaut mieux un bon graphique qu’un long discours ». Elle

est commode car elle est simple à lire et facile à mettre en œuvre sur Excel.

0

Les valeurs des

réponses -3 1,5 1 2 3 -2 -1

Les valeurs des

écarts 4,5 3,5 2,5 0,5 0 0,5 1,5

Le gros

de la troupe

0,2 2,8



Avec les mêmes données que ci-dessus :


+++ ++ + - -- ---

Codage 3 2 1 -1 -2 -3 Nombre

d’employés 60 76 36 8 2 18

Pourcentage 30% 38% 18% 4% 1% 9%

i. Les diagrammes en bâtons

Quel souvenir gardez-vous de l’école primaire ?

La lecture du graphique est plus globale que celle des tableaux de nombre. Le graphique désigne

automatiquement les employés en opposition. Ici un groupe important a un mauvais souvenir de son

travail. La conséquence sur la politique d’établissement est immédiate.

Note : On remarquera que le graphique est identique si on prend les valeurs brutes ou les valeurs en pourcentage. Faites

l’expérience sur Excel si vous n’en êtes pas convaincu.

a) Les secteurs

0

20

40

60

80

100

120

140

160

180

200

3 2 1 -1 -2 -3



Les secteurs sont une représentation commode pour communiquer mais moins facile à analyser que les diagrammes en bâtons.

d. L’analyse de deux indicateurs : les tableaux croisés

La connaissance de deux indicateurs sur un même groupe est bien plus riche que la juxtaposition des connaissances apportées par chaque indicateur. C’est la notion de croisement d’indicateurs. Voici un exemple que nous prenons dans le monde de l'éducation pour bien comprendre l’intérêt et le fonctionnement des tableaux croisés. Dans une classe de 32 élèves, on demande aux professeurs d’estimer les capacités des élèves et les comportements. La direction propose pour cela les grilles suivantes qu’ils remplissent: Pour la capacité :

Nombre d’élèves capables

Nombre d’élèves moyennement

capables

Nombre d’élèves peu capables

Total

19 10 3 32

Nombre d’élèves stables

Nombre d’élèves peu stables

Nombre d’élèves instables

Total

17 11 6 32

Si on essaie d’estimer d’après ces données, les élèves qui sont aptes à réussir, on peut raisonner sur le premier tableau et dire que seuls 3 élèves sont en grande difficulté et estimer à 29 les élèves qui peuvent réussir. Si on raisonne sur le second tableau on va estimer que les 6 élèves instables ne vont pas réussir et dire que l’on attend 26 succès d’élèves. On comprend que ce type de raisonnement est incomplet car il y a des élèves stables qui peuvent ne pas comprendre et des élèves instables qui peuvent être brillants. La représentation proposée par ces deux tableaux juxtaposés est trop simpliste et requiert d’autres outils. Pour répondre à cette difficulté, la solution la plus simple est de créer le tableau avec la liste des élèves, le faire remplir par les professeurs comme nous l’avons fait ci-dessous.

60

76

36

8 2 18



F/G

Capables Moyennement

capables Peu

capables Stables

Peu stables

Instables

Élève N°1 G X X

Élève N°2 F X X

Élève N°3 G X X

Élève N°4 F X X

Élève N°5 G X X

…………….

Ce tableau contient la totalité des informations. Il est possible de répondre à la question en faisant des tris multiples par exemple sur Excel. Mais c’est une démarche très abstraite qui ne permet pas d’imaginer des stratégies pédagogiques de remédiation. C’est celle qui est utilisée dans les procédures d’affectation. A la place de donner la grille ci-dessus on peut donner le tableau (dit tableau croisé) ci-dessous où les filles sont en rose et les garçons en bleu :

Ce tableau a l’avantage de montrer d’un coup d’œil la situation de la classe dans toute sa complexité. On se rend compte que suivant les pédagogies mises en place et suivant le charisme des enseignants, les résultats seront très différents. Par exemple un professeur très sévère qui ne prend pas en compte les difficultés des élèves, répondra aux besoins entourés ci-dessous :



D’où une attente de réussite de 28 élèves

Un autre professeur manquant d’autorité mais se préoccupant des élèves en difficulté répondra aux besoins des élèves suivants :

Le résultat n’est plus le même et il y aura 22 réussites attendues. On pourrait faires d’autres scénarios avec d’autres profils de professeurs. Mais l’intérêt ici est de prendre conscience de la puissance explicative des tableaux croisés dans la gestion des établissements. D’ailleurs, à partir de ce type de tableaux on peut imaginer la mise en place des politiques éducatives. En partant des besoins des élèves, on obtient le tableau suivant qui a pour avantage de décrire tous les besoins d'un établissement scolaire:



La zone entourée de pointillés qui détermine deux bandes : une bande verticale à droite et une bande horizontale en haut, est la zone de toutes les difficultés rencontrées par un établissement. La politique de l’établissement doit mettre l’encadrement de ce type d’élèves comme priorité. Regroupons les élèves stables et peu stables ainsi que les élèves capables et moyennement capables qui en principe ne posent pas de problème aux établissements. Nous obtenons sur l’exemple choisi ci-dessus le tableau croisé suivant :

Ce tableau résout au niveau de l’établissement deux questions fondamentales. Une qualitative qui présente toutes les politiques qui sont incontournables pour un établissement. L’autre quantitative, car on a une estimation des moyens à mettre en œuvre.



Le soutien scolaire doit prévoir un encadrement minimum de deux élèves pour cette classe. La discipline un encadrement pour 5 élèves. Il y a un élève qui doit être pris en charge et accompagné vers d’autres structures plus adaptées. J’espère vous avoir convaincus de l’utilité des tableaux croisés. Les tableaux croisés peuvent être utilisés dans les ESSMS pour analyser différentes situations. Croisement de l'âge des personnels avec leurs fonctions pour prévoir les renouvellements à

long terme Croisement de la satisfaction des usagers avec leur ancienneté dans l'EHPAD Croisement de la satisfaction des familles avec les GIR des résidents (l'individu est alors le

couple (résident/famille) Croisement de l'absentéisme des personnels avec la fonction pour déterminer le

fonctionnement des services les uns par rapport aux autres. Et ainsi de suite. A chaque fois il faut imaginer un outil simple de dépouillement et respecter à travers les individus (usagers ou personnel) le citoyen.

e. L’analyse de trois et plus indicateurs

Il est tout à fait naturel de penser que si l’analyse de deux indicateurs sous la forme de tableaux croisés permet de mieux comprendre les enjeux de fonctionnement d'un ESSMS, l’analyse de trois indicateurs ou de plusieurs indicateurs sera encore plus efficace. Par exemple on pourrait ajouter aux deux indicateurs d'usager « Qualité de la restauration» et « Qualité de l'hébergement» l’indicateur « qualité des soins ». C’est une excellente idée, mais c’est une idée infaisable dans la pratique. En effet si les résultats pour un indicateur se représentent sur un segment, pour deux sur un carré pour trois il faudrait un cube et en plus un cube transparent du type Rubiscub !!! Ne parlons pas de la situation pour 4 indicateurs et plus. Cette difficulté est tellement grande et le besoin d’étudier simultanément des indicateurs tellement important, qu’une science est née dans les années 1960-1970 (quand les ordinateurs ont été à la disposition du grand public). Cette science est l’Analyse des Données. Ce n’est pas le lieu pour présenter ces techniques. Il faut simplement savoir, à titre de culture que les deux techniques les plus employées sont l’ACP (Analyse en Composantes Principales) et la Régression. L’ACP est la plus utile et je l’utilise couramment lors d’audits. L’idée en est simple, comme la bonne photo technique qui essaie avec plusieurs clichés bien choisis de représenter un objet, l’ACP essaie de représenter sur une feuille les données sous le meilleur angle. Pour les directeurs d’établissement, ces techniques sont peu utiles. A titre d’information, toutes ces techniques sont disponibles dans les logiciels statistiques.

4. Conclusion Les informations que je viens d’apporter sont à mon avis largement suffisantes pour un responsable d’établissement et devraient faire partie de la culture de tout cadre. Au-delà de ces outils techniques la culture d’évaluation est avant tout un état d’esprit et là les difficultés ne sont pas que techniques !

Documents

1. La place des indicateurs dans les ESSMSauditpro.org/cnam/LPro-ESSMS-2017-2018/Textes-cnam/statistique po… · Les tableaux de bord chronologiques La possibilité de regrouper