1 JOURNEE DETUDE FANCMPP – 1 er Février 2008 LEVALUATION – LOI DU 2 JANVIER 2002 Michel-Henri...

1

JOURNEE D’ETUDE FANCMPP – 1er Février 2008

L’EVALUATION – LOI DU 2 JANVIER 2002

Michel-Henri Walter – COFOR08/01/126 Boulogne-Billancourt, le 1 février 2008

2

Directeur de départementQualité – Certification - Evaluation

MICHEL-HENRI WALTER

3

Société créée en 1977

2 pôles de compétences :

Management, Gestion, Relations clients Qualité, Certification, Évaluation

(Sanitaire, médico-social, services)

4

Une approche, une « signature » particulière :

L’ACCOMPAGNEMENT POUR L’ATTEINTE D’OBJECTIFS PRE-DEFINIS

L’ACCOMPAGNEMENT DE DYNAMIQUES DE CHANGEMENT

5

UNE INTERVENTION CENTREE :

Dans une premier temps plutôt sur le « quoi ? » et le « pourquoi ?»

Dans un second temps plutôt sur le « comment ? »

6

1) L’EVALUATION INTERNE : Fondements règlementaires – ESPRIT CONTENU – thèmes incontournables Ce que l’évaluation interne ne doit pas être

2) L’EVALUATION EXTERNE : Articulation évaluation interne/évaluation

externe Contenu – objet Du CNESMS à L’ANESM Bonnes pratiques professionnelles : références,

critères, indicateurs

PROGRAMME

7

3) QUELQUES « BONNES QUESTIONS » pour mieux préparer la mise en œuvre d’une démarche :

Vision, visées En termes de contenu Création d’outils, reprise ou adaptation ? Durée, phases, périodes autour d’une première

évaluation interne Organisation pour et autour de la démarche, en cours

et après Système de cotation, …

PROGRAMME, suite

8

4) EXEMPLES (étapes d’une démarche)

5) QUESTIONS-REPONSES

PROGRAMME suite

9

Pour le petit Larousse illustré, l’évaluation :

« Action consistant à mesurer l’activité et l’efficacité (d’institutions) et à proposer des améliorations »

Pour la loi du 2 janvier 2002, évaluer :

« Porter une appréciation sur l’activité et la qualité des prestations »

DEFINITION

10

L’EVALUATION INTERNE

11

LOI DU 2 JANVIER 2002 :• Introduit l’obligation d’évaluation, définit son cadre

DECRET DU 15 MAI 2007 :• Précise ses principes, des éléments de contenu et

modalités de réalisation

GUIDE POUR LES ETABLISSEMENTS ET SERVICES SOCIAUX ET MEDICO-SOCIAUX DE SEPTEMBRE 2006 (CNESMS) :

• Détermine des principes et apporte des repères incontournables pour faciliter sa mise en œuvre

NOTES D’ORIENTATIONS – CNESMS ANESM :• Reviennent sur certaines notions, notamment sur celle

de « bonnes pratiques »

FONDEMENTS REGLEMENTAIRES - ESPRIT

ENTRE AUTRES :

12

Pour la loi du 2 janvier 2002 :

De faire pratiquer une évaluation externe tous les 7 ans

Crée un Conseil National de l’évaluation sociale et médico-sociale, organe de régulation

FONDEMENTS REGLEMENTAIRES – ESPRIT suite

Sa sixième orientation définit l’exigence pour les structures médico-sociales et sociales :

De réaliser une évaluation interne tous les 5 ans, transmise à l’autorité chargée des autorisations

13

Pour le décret du 15 mai 2007 l’évaluation interne pour être valable nécessite :

La construction d’un cadre spécifique d’évaluation

Le choix d’outils de mesure et d’appréciation adaptés(une certaine latitude laissée aux établissements)

FONDEMENTS REGLEMENTAIRES – ESPRIT suite

Un diagnostic partagé (auto-évaluation, co-construite et co-réalisée)

14

Pour le décret du 15 mai 2007 l’évaluation interne doit :

Etre différente par rapport aux approches du type « contrôles des normes » et de « certification »

Déboucher sur la mise en place d’actions d’amélioration continue

FONDEMENTS REGLEMENTAIRES – ESPRIT suite

Porter une appréciation dans un but, une logique « d’INTERVENTION » ET « d’AIDE A LA DECISION »

15

L’évaluation interne :

À réaliser un « ETAT DE SITUATION » et à donner lieu à des actions concrètes de progrès

DONC EVALUATION = CONSTAT + ENGAGEMENT DANS DES ACTIONS + PREUVES DE CES ACTIONS

FONDEMENTS REGLEMENTAIRES – ESPRIT, suite

Ne consiste donc pas seulement à réaliser « un ETAT DE SITUATION »Mais bien …

16

POUR LE DECRET DU 15 MAI 2007

Article 2.2 :

« Les champs des évaluations interne et externe

doivent être les mêmes afin d’assurer la

complémentarité des analyses portées sur un

même établissement ou service »

FONDEMENTS REGLEMENTAIRES – ESPRIT, suite

17

Article 2.2 :

« Les évaluations successives internes et externes

doivent permettre d’apprécier les évolutions et les

effets des mesures prises pour l’amélioration

continue du service rendu »

FONDEMENTS REGLEMENTAIRES – ESPRIT suite

Evaluation interne Evaluation externe Evaluation interne

Actions de progrès Actions de progrès Actions de progrès

Evaluation externe

18

Pour l’évaluation interne :

Certains thèmes et éléments de contenu sont incontournables, au regard des textes… (guide pour les établissements et services sociaux et médico-sociaux de d’évaluation septembre 2006 – pages 17-20)

CONTENU DE L’EVALUATION

19

Ainsi les établissements vont devoir revisiter leurs pratiques pour ce qui concerne, …

CONTENU DE L’EVALUATION, suite

20

Les droits et participation des

usagers + personnalisation des

prestations

L’établissement ou le service par rapport à son environnement

Leur projet d’établissem

ent et sa mise en œuvre

L’organisation de

l’établissement

CONTENU DE L’EVALUATION, suite

Les incontournables :

21

La pertinence du projet d’établissement au regard de la structure : Des attentes des publics concernés Des besoins de l’établissement De l’évolution de l’établissement (avec mise en œuvre d’un

suivi)

La cohérence des missions confiées à la structure au regard : Des politiques publiques Des admissions réalisées par rapport aux critères

d’admission déterminés pour l’agrément

La cohérence du projet d’établissement vis-à-vis des moyens disponibles (efficience)

CONTENU DE L’EVALUATION, suite

L’EVALUATION INTERNE VA DEVOIR REINTERROGER :

22

Les pratiques de l’établissement : Le respect des droits des personnes accueillies, prises en charge L’accès à la connaissance du public accueilli ou de ses

représentants La pratique des droits au quotidien Le respect de la charte applicable La participation des usagers, des représentants, des proches : Au fonctionnement de l’association À l’évaluation elle-même La personnalisation de l’intervention : Chaque cas (individualisation du projet) Au regard du contrat de prestation (admission – sortie – suivi)

La sécurité des usagers et la gestion des risques : Gestion au quotidien Prévention de la maltraitance

L’EVALUATION INTERNE VA DEVOIR REINTERROGER :

CONTENU DE L’EVALUATION, suite

23

La manière de mobiliser ses ressources humaines : En personnel En bénévoles En intervenants ponctuels

Son organisation du travail : Sa formalisation (organigramme, définition des

activités,…) Ses pratiques effectives (activité) Les améliorations mises en œuvre à ce sujet L’existence continuité des interventions

Son cadre de vie : Qualité de vie (situation, locaux, confort,…) Qualité du restaurant

CONTENU DE L’EVALUATION, suite

L’EVALUATION INTERNE VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT :

24

Son système d’informations : Pertinence du système d’informations

(informations individuelles et collectives) Respect de la confidentialité

CONTENU DE L’EVALUATION, suite

L’EVALUATION INTERNE VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT(suite)

suite

Sa manière de gérer ses ressources financières : Stratégie de gestion Les moyens financiers mobilisés La répartition des moyens mobilisés

25

L’insertion de la structure dans le contexte territorial : La pertinence de sa prestation au regard des besoins

sociaux locaux La valeur ajoutée de sa prestation au regards des réponses

proposées par les autres établissements Son ouverture sur l’environnement : Interactions vertueuses avec l’environnement Mobilisation de compétences complémentaires Ses partenariats – Son travail en réseau

Son accessibilité : Sa communication externe

(comment l’établissement se fait connaître ?)

CONTENU DE L’EVALUATION suite

L’EVALUATION VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT :

26

CONTENU

A lire ces textes, on s’aperçoit qu’en fait

l’évaluation s’inscrit dans une perspective

relativement ambitieuse…

27

de cohérence (les actions menées sont-elles en cohérence avec les orientations prioritaires ?)

de pertinence (les actions menées sont-elles des réponses adaptées aux problèmes ?)

d’efficacité (les résultats obtenus sont-ils conformes aux objectifs prévus ?)

d’efficience (les résultats sont-ils à la mesure des moyens employés ?)

d’impact (quels sont les effets voulus ou non des actions menées)

Apprécier à certains intervalles réguliers des éléments :

OBJET DE L’EVALUATION

28

Ne pas, cependant s’inquiéter outre mesure !

EVALUATION INTERNE

Oui une ambition certaine…

29

UN CONTRÔLE DE « FLICAGE  »» à la recherche des bons élèves et des coupables

UNE ANALYSE MENEE PAR QUELQUES-UNS, « happy few »

CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE

UNE ANALYSE BINAIRE DU TYPE « EST / N’EST PAS »Une énorme « check list » avec des questions auxquelles on répond par oui ou non

30

Une évaluation individuelle (clinique ou des personnels)

L’évaluation des besoins en équipement

Du contrôle technique

Un moyen de comparaison des services ou établissements entre eux,…

CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE

31

Un extrait de discussions quotidiennes

Un travail sans méthode préétablie

Une analyse sans formalisation ni synthèse

Une étude, sans support de référence (guide de bonnes pratiques, référentiels,…)

Une analyse dénuée d’une organisation pour la porter, de responsabilités définies et d’un projet

CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE

32

A instaurer et entretenir une dynamique institutionnelle par et à travers cette évaluation interne ainsi que les suivantes ?

Visez-vous à répondre uniquement aux textes règlementaires (conformité) ?

et/ou

CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE

UNE DES PREMIERES QUESTIONS, ESSENTIELLE, A VOUS POSER ?

33

Comment allez-vous faire pour rendre pérenne cette nouvelle pratique ?

CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE

UNE SECONDE QUESTION EN COROLLAIRE

34

L’EVALUATION EXTERNE

35

Tous les 7 ans

Ses résultats conditionnent les modalités du renouvellement de l’autorisation tous les 15 ans

L’EVALUATION EXTERNE

Sera réalisée par un organisme extérieur habilité

36

EVALUATION EXTERNE

EVALUATION EXTERNE

7 ans 7 ans 7 ans

Tous les 15 ans

Renouvellement, autorisation de fonctionner

Tous

EVALUATION INTERNE

EVALUATION INTERNE

EVALUATION INTERNE

5 ans 5 ans 5 ans 5 ans

ARTICULATION EVALUATION INTERNE/EXTERNE

37

ARTICULATION EVALUATION INTERNE/EXTERNE

POUR LE DECRET DU 15 MAI 2007

EVALUATION INTERNE

EVALUATION EXTERNE

« Même champs » 

(Même texte, même référentiel ? On peut le penser)

38

Les droits et participation des

usagers + personnalisation des

prestations

L’établissement ou le service par rapport à son environnement

Leur projet d’établissem

ent et sa mise en œuvre

L’organisation de

l’établissement

CONTENU DE L’EVALUATION EXTERNE

39

L’EVALUATION EXTERNE

APPRECIENT LES SUITES DONNEES PAR L’INSTITUTION APRES L’EVALUATION

INTERNE

LES EVALUATEURS EXTERNES (d’après le décret du 15 mai 2007)

APPRECIENT• La pertinence de

l’évaluation interne produite (modalités, priorités issues de la synthèse)

• La communication et l’implication des acteurs

• La dynamique générale mise en œuvre (amélioration des prestations)

• La propension de la démarche à s’inscrire dans un développement pérenne

ANALYSENT• Les mesures

d’amélioration prises

IDENTIFIENT• Les modalités de suivi

de l’évaluation dont l’institution s’est dotée

• Bilans périodiques réalisés

• Indicateurs• Réunions - revues• Accumulation

d’expérience

40

Devenu l’ANESM en 2007, c’est-à-dire : L’Agence Nationale de l’Evaluation et de la qualité des Etablissements et Services sociaux et Médico-sociaux

DU CNESMS à l’ANESM

LE CONSEIL NATIONAL DE L’EVALUATION SOCIALE ET MEDICO-SOCIALE (loi du 2 janvier 2002)

41

Valider ou élaborer des outils et instruments formalisant les recommandations de bonnes pratiques professionnelles, les références et les procédures

DU CNESMS à l’ANESM

AUJOURD’HUI, ROLE DE L’ANESM (reprise de celui du CNESMS) :

Habiliter les organismes appelés à réaliser les évaluations externes

Définir un cahier des charges pour une « bonne » réalisation des évaluations externes

42

Bonnes pratiques

professionnelles

qui peuvent s’exprimer sous forme de :

Recommandations

elles-mêmes pouvant donner lieu à des :

REFERENCES

que l’ANESM valide ou ne valide pas

et des

PROCEDURES

Les outils d’évaluation

BASE

S

LES BONNES PRATIQUES PROFESSIONNELLES

Critères (comment ?) Indicateurs (combien ?)

Manière de faire

43

Les bonnes pratiques :Valeurs partagées et passages obligés qui éclairent les actions professionnelles à mener.

DES RECOMMANDATIONS : Grandes lignes d’action

Elles s’expriment dans :

DES RÉFÉRENCES : énoncés d’exigences au regard d’objectifs à atteindre (complétées par des critères (comment) et des indicateurs (combien))

Précisées par :

DES PROCÉDURES : séquences ordonnées d’une activité

Précisées par :

44

Généralement le document qui définit les recommandations de bonnes pratiques auxquelles les acteurs vont devoir se référer :

Références (critères, indicateurs) Voire les procédures

= UN REFERENTIEL (document auquel on se réfère)

NOTION DE REFERENTIEL

45

QUELQUES BONNES QUESTIONS A SE POSER

(avant de se lancer dans la DEMARCHE)

46

EN TERME DE CONTENU :

MINIMALISTE ? (les 4 domaines incontournables)• Projet d’établissement• Droit et participation des usagers• Organisation• Établissement dans son environnement

… ou intégrant d’autres exigences de l’institution ?

Quel degré de précision dans les questions ?

UNE CERTAINE LIBERTE LAISSEE A L’ETABLISSEMENT

QUELQUES BONNES QUESTIONS

47

Axe principalement de conformité et/ou chercher d’emblée à viser une dynamique progressive ?

Quel (s) outil (s) d’évaluation ?

Création d’un référentiel, reprise ou adaptation d’un référentiel existant ?

Quelle organisation pour et autour de la démarche ? Au cours de la période d’évaluation et après ?

QUELQUES BONNES QUESTIONS

48

Quelles période et durée pour l’évaluation interne (ressources à mobiliser) ?

Quel système de cotation ? A. B. C. D. – couleurs – nombres ?

Quelle information aux salariés avant pendant et après ?

Y-aura-t-il des évaluations internes, intermédiaires ?

Vous placer d’ores et déjà en perspective d’aller plus loin (certification) ?

QUELQUES BONNES QUESTIONS

49

EXEMPLES – ETAPES D’UNE DEMARCHE

50

SCHEMA D’INTERVENTION (à titre d’exemple)

Sensibilisati

on des personnels

Mise en place d’une organisation pour l’évaluation

Création des outils pour l’évaluation (référentiel) -

Adaptation d’outils existants (référentiel)

Appropriation (formation à l’utilisation des outils)

Réalisation de l’évaluation interne

Actions de progrès

Mise en forme d’une

synthèse

Restitution aux personnels

Phases de communication sur la démarche (point d’étape)

Groupe chargé du suivi du projet (comité de pilotage)

2008 2009

51

Comment faire pour que la démarche d’évaluation interne s’intègre dans l’organisation courante du travail ?

Cela renvoie notamment à des questions de : Stratégie (vision, visées à plusieurs années) De sens (compatibilité avec les valeurs des acteurs et de

l’établissement) D’ergonomie (pourquoi passer, « perdre » du temps à

pratiquer l’évaluation ?) D’appropriation des outils d’évaluation D’éthique d’évaluation De changement (donc de résistance au changement) De ressources à consacrer (notamment du temps)

ENCORE DE BONNES QUESTIONS A SE POSER ?

52

Quelle organisation autour du 1er projet d’évaluation interne et après ?

Quelle place pour les directions dans un tel dispositif (administrative, médicale) : retrait, surimplication ?

Une démarche qui se construit « au fil de l’eau » ou ultra planifiée ?

ENCORE DE BONNES QUESTIONS A SE POSER ?

53

Une évaluation à charge ou à décharge ?

Quelle densité en matière d’actions de progrès à mener (nombre à traiter, par rapport à l’importance et à vos possibilités de réellement les mener à bien)

ENCORE DE BONNES QUESTIONS A SE POSER ?

54

La dernière peut-être

Quand démarrez-vous ?

ENCORE DE BONNES QUESTIONS A SE POSER ?

APRES TOUTES CES QUESTIONS ET BIEN D’AUTRES ENCORE :

55

Le processus d’évaluation du secteur social et médico-social

Recommandations

Références

Procédures

Référentiels

Evaluation interne

Planification

Actions Indicateurs

Ajustements

Système d’informationSur l’évaluation

Des établissements

Habilitation desOrganismes indépendants

Evaluation externeDans les 7 ans après autorisation

et au moins deux ans avant renouvellement

Tous les 5 ansBilans

à l’autorité ayant délivré l’autorisation

(DDASS, CG…)

Rapports d’activité périodiques

56

VOS QUESTIONS –

NOS REPONSES