Upload
henri-louis
View
112
Download
9
Embed Size (px)
Citation preview
1
JOURNEE D’ETUDE FANCMPP – 1er Février 2008
L’EVALUATION – LOI DU 2 JANVIER 2002
Michel-Henri Walter – COFOR08/01/126 Boulogne-Billancourt, le 1 février 2008
2
Directeur de départementQualité – Certification - Evaluation
MICHEL-HENRI WALTER
3
Société créée en 1977
2 pôles de compétences :
Management, Gestion, Relations clients Qualité, Certification, Évaluation
(Sanitaire, médico-social, services)
4
Une approche, une « signature » particulière :
L’ACCOMPAGNEMENT POUR L’ATTEINTE D’OBJECTIFS PRE-DEFINIS
L’ACCOMPAGNEMENT DE DYNAMIQUES DE CHANGEMENT
5
UNE INTERVENTION CENTREE :
Dans une premier temps plutôt sur le « quoi ? » et le « pourquoi ?»
Dans un second temps plutôt sur le « comment ? »
6
1) L’EVALUATION INTERNE : Fondements règlementaires – ESPRIT CONTENU – thèmes incontournables Ce que l’évaluation interne ne doit pas être
2) L’EVALUATION EXTERNE : Articulation évaluation interne/évaluation
externe Contenu – objet Du CNESMS à L’ANESM Bonnes pratiques professionnelles : références,
critères, indicateurs
PROGRAMME
7
3) QUELQUES « BONNES QUESTIONS » pour mieux préparer la mise en œuvre d’une démarche :
Vision, visées En termes de contenu Création d’outils, reprise ou adaptation ? Durée, phases, périodes autour d’une première
évaluation interne Organisation pour et autour de la démarche, en cours
et après Système de cotation, …
PROGRAMME, suite
8
4) EXEMPLES (étapes d’une démarche)
5) QUESTIONS-REPONSES
PROGRAMME suite
9
Pour le petit Larousse illustré, l’évaluation :
« Action consistant à mesurer l’activité et l’efficacité (d’institutions) et à proposer des améliorations »
Pour la loi du 2 janvier 2002, évaluer :
« Porter une appréciation sur l’activité et la qualité des prestations »
DEFINITION
10
L’EVALUATION INTERNE
11
LOI DU 2 JANVIER 2002 :• Introduit l’obligation d’évaluation, définit son cadre
DECRET DU 15 MAI 2007 :• Précise ses principes, des éléments de contenu et
modalités de réalisation
GUIDE POUR LES ETABLISSEMENTS ET SERVICES SOCIAUX ET MEDICO-SOCIAUX DE SEPTEMBRE 2006 (CNESMS) :
• Détermine des principes et apporte des repères incontournables pour faciliter sa mise en œuvre
NOTES D’ORIENTATIONS – CNESMS ANESM :• Reviennent sur certaines notions, notamment sur celle
de « bonnes pratiques »
FONDEMENTS REGLEMENTAIRES - ESPRIT
ENTRE AUTRES :
12
Pour la loi du 2 janvier 2002 :
De faire pratiquer une évaluation externe tous les 7 ans
Crée un Conseil National de l’évaluation sociale et médico-sociale, organe de régulation
FONDEMENTS REGLEMENTAIRES – ESPRIT suite
Sa sixième orientation définit l’exigence pour les structures médico-sociales et sociales :
De réaliser une évaluation interne tous les 5 ans, transmise à l’autorité chargée des autorisations
13
Pour le décret du 15 mai 2007 l’évaluation interne pour être valable nécessite :
La construction d’un cadre spécifique d’évaluation
Le choix d’outils de mesure et d’appréciation adaptés(une certaine latitude laissée aux établissements)
FONDEMENTS REGLEMENTAIRES – ESPRIT suite
Un diagnostic partagé (auto-évaluation, co-construite et co-réalisée)
14
Pour le décret du 15 mai 2007 l’évaluation interne doit :
Etre différente par rapport aux approches du type « contrôles des normes » et de « certification »
Déboucher sur la mise en place d’actions d’amélioration continue
FONDEMENTS REGLEMENTAIRES – ESPRIT suite
Porter une appréciation dans un but, une logique « d’INTERVENTION » ET « d’AIDE A LA DECISION »
15
L’évaluation interne :
À réaliser un « ETAT DE SITUATION » et à donner lieu à des actions concrètes de progrès
DONC EVALUATION = CONSTAT + ENGAGEMENT DANS DES ACTIONS + PREUVES DE CES ACTIONS
FONDEMENTS REGLEMENTAIRES – ESPRIT, suite
Ne consiste donc pas seulement à réaliser « un ETAT DE SITUATION »Mais bien …
16
POUR LE DECRET DU 15 MAI 2007
Article 2.2 :
« Les champs des évaluations interne et externe
doivent être les mêmes afin d’assurer la
complémentarité des analyses portées sur un
même établissement ou service »
FONDEMENTS REGLEMENTAIRES – ESPRIT, suite
17
Article 2.2 :
« Les évaluations successives internes et externes
doivent permettre d’apprécier les évolutions et les
effets des mesures prises pour l’amélioration
continue du service rendu »
FONDEMENTS REGLEMENTAIRES – ESPRIT suite
Evaluation interne Evaluation externe Evaluation interne
Actions de progrès Actions de progrès Actions de progrès
Evaluation externe
18
Pour l’évaluation interne :
Certains thèmes et éléments de contenu sont incontournables, au regard des textes… (guide pour les établissements et services sociaux et médico-sociaux de d’évaluation septembre 2006 – pages 17-20)
CONTENU DE L’EVALUATION
19
Ainsi les établissements vont devoir revisiter leurs pratiques pour ce qui concerne, …
CONTENU DE L’EVALUATION, suite
20
Les droits et participation des
usagers + personnalisation des
prestations
L’établissement ou le service par rapport à son environnement
Leur projet d’établissem
ent et sa mise en œuvre
L’organisation de
l’établissement
CONTENU DE L’EVALUATION, suite
Les incontournables :
21
La pertinence du projet d’établissement au regard de la structure : Des attentes des publics concernés Des besoins de l’établissement De l’évolution de l’établissement (avec mise en œuvre d’un
suivi)
La cohérence des missions confiées à la structure au regard : Des politiques publiques Des admissions réalisées par rapport aux critères
d’admission déterminés pour l’agrément
La cohérence du projet d’établissement vis-à-vis des moyens disponibles (efficience)
CONTENU DE L’EVALUATION, suite
L’EVALUATION INTERNE VA DEVOIR REINTERROGER :
22
Les pratiques de l’établissement : Le respect des droits des personnes accueillies, prises en charge L’accès à la connaissance du public accueilli ou de ses
représentants La pratique des droits au quotidien Le respect de la charte applicable La participation des usagers, des représentants, des proches : Au fonctionnement de l’association À l’évaluation elle-même La personnalisation de l’intervention : Chaque cas (individualisation du projet) Au regard du contrat de prestation (admission – sortie – suivi)
La sécurité des usagers et la gestion des risques : Gestion au quotidien Prévention de la maltraitance
L’EVALUATION INTERNE VA DEVOIR REINTERROGER :
CONTENU DE L’EVALUATION, suite
23
La manière de mobiliser ses ressources humaines : En personnel En bénévoles En intervenants ponctuels
Son organisation du travail : Sa formalisation (organigramme, définition des
activités,…) Ses pratiques effectives (activité) Les améliorations mises en œuvre à ce sujet L’existence continuité des interventions
Son cadre de vie : Qualité de vie (situation, locaux, confort,…) Qualité du restaurant
CONTENU DE L’EVALUATION, suite
L’EVALUATION INTERNE VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT :
24
Son système d’informations : Pertinence du système d’informations
(informations individuelles et collectives) Respect de la confidentialité
CONTENU DE L’EVALUATION, suite
L’EVALUATION INTERNE VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT(suite)
suite
Sa manière de gérer ses ressources financières : Stratégie de gestion Les moyens financiers mobilisés La répartition des moyens mobilisés
25
L’insertion de la structure dans le contexte territorial : La pertinence de sa prestation au regard des besoins
sociaux locaux La valeur ajoutée de sa prestation au regards des réponses
proposées par les autres établissements Son ouverture sur l’environnement : Interactions vertueuses avec l’environnement Mobilisation de compétences complémentaires Ses partenariats – Son travail en réseau
Son accessibilité : Sa communication externe
(comment l’établissement se fait connaître ?)
CONTENU DE L’EVALUATION suite
L’EVALUATION VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT :
26
CONTENU
A lire ces textes, on s’aperçoit qu’en fait
l’évaluation s’inscrit dans une perspective
relativement ambitieuse…
27
de cohérence (les actions menées sont-elles en cohérence avec les orientations prioritaires ?)
de pertinence (les actions menées sont-elles des réponses adaptées aux problèmes ?)
d’efficacité (les résultats obtenus sont-ils conformes aux objectifs prévus ?)
d’efficience (les résultats sont-ils à la mesure des moyens employés ?)
d’impact (quels sont les effets voulus ou non des actions menées)
Apprécier à certains intervalles réguliers des éléments :
OBJET DE L’EVALUATION
28
Ne pas, cependant s’inquiéter outre mesure !
EVALUATION INTERNE
Oui une ambition certaine…
29
UN CONTRÔLE DE « FLICAGE »» à la recherche des bons élèves et des coupables
UNE ANALYSE MENEE PAR QUELQUES-UNS, « happy few »
CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE
UNE ANALYSE BINAIRE DU TYPE « EST / N’EST PAS »Une énorme « check list » avec des questions auxquelles on répond par oui ou non
30
Une évaluation individuelle (clinique ou des personnels)
L’évaluation des besoins en équipement
Du contrôle technique
Un moyen de comparaison des services ou établissements entre eux,…
CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE
31
Un extrait de discussions quotidiennes
Un travail sans méthode préétablie
Une analyse sans formalisation ni synthèse
Une étude, sans support de référence (guide de bonnes pratiques, référentiels,…)
Une analyse dénuée d’une organisation pour la porter, de responsabilités définies et d’un projet
CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE
32
A instaurer et entretenir une dynamique institutionnelle par et à travers cette évaluation interne ainsi que les suivantes ?
Visez-vous à répondre uniquement aux textes règlementaires (conformité) ?
et/ou
CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE
UNE DES PREMIERES QUESTIONS, ESSENTIELLE, A VOUS POSER ?
33
Comment allez-vous faire pour rendre pérenne cette nouvelle pratique ?
CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE
UNE SECONDE QUESTION EN COROLLAIRE
34
L’EVALUATION EXTERNE
35
Tous les 7 ans
Ses résultats conditionnent les modalités du renouvellement de l’autorisation tous les 15 ans
L’EVALUATION EXTERNE
Sera réalisée par un organisme extérieur habilité
36
EVALUATION EXTERNE
EVALUATION EXTERNE
7 ans 7 ans 7 ans
Tous les 15 ans
Renouvellement, autorisation de fonctionner
Tous
EVALUATION INTERNE
EVALUATION INTERNE
EVALUATION INTERNE
5 ans 5 ans 5 ans 5 ans
ARTICULATION EVALUATION INTERNE/EXTERNE
37
ARTICULATION EVALUATION INTERNE/EXTERNE
POUR LE DECRET DU 15 MAI 2007
EVALUATION INTERNE
EVALUATION EXTERNE
« Même champs »
(Même texte, même référentiel ? On peut le penser)
38
Les droits et participation des
usagers + personnalisation des
prestations
L’établissement ou le service par rapport à son environnement
Leur projet d’établissem
ent et sa mise en œuvre
L’organisation de
l’établissement
CONTENU DE L’EVALUATION EXTERNE
39
L’EVALUATION EXTERNE
APPRECIENT LES SUITES DONNEES PAR L’INSTITUTION APRES L’EVALUATION
INTERNE
LES EVALUATEURS EXTERNES (d’après le décret du 15 mai 2007)
APPRECIENT• La pertinence de
l’évaluation interne produite (modalités, priorités issues de la synthèse)
• La communication et l’implication des acteurs
• La dynamique générale mise en œuvre (amélioration des prestations)
• La propension de la démarche à s’inscrire dans un développement pérenne
ANALYSENT• Les mesures
d’amélioration prises
IDENTIFIENT• Les modalités de suivi
de l’évaluation dont l’institution s’est dotée
• Bilans périodiques réalisés
• Indicateurs• Réunions - revues• Accumulation
d’expérience
40
Devenu l’ANESM en 2007, c’est-à-dire : L’Agence Nationale de l’Evaluation et de la qualité des Etablissements et Services sociaux et Médico-sociaux
DU CNESMS à l’ANESM
LE CONSEIL NATIONAL DE L’EVALUATION SOCIALE ET MEDICO-SOCIALE (loi du 2 janvier 2002)
41
Valider ou élaborer des outils et instruments formalisant les recommandations de bonnes pratiques professionnelles, les références et les procédures
DU CNESMS à l’ANESM
AUJOURD’HUI, ROLE DE L’ANESM (reprise de celui du CNESMS) :
Habiliter les organismes appelés à réaliser les évaluations externes
Définir un cahier des charges pour une « bonne » réalisation des évaluations externes
42
Bonnes pratiques
professionnelles
qui peuvent s’exprimer sous forme de :
Recommandations
elles-mêmes pouvant donner lieu à des :
REFERENCES
que l’ANESM valide ou ne valide pas
et des
PROCEDURES
Les outils d’évaluation
BASE
S
LES BONNES PRATIQUES PROFESSIONNELLES
Critères (comment ?) Indicateurs (combien ?)
Manière de faire
43
Les bonnes pratiques :Valeurs partagées et passages obligés qui éclairent les actions professionnelles à mener.
DES RECOMMANDATIONS : Grandes lignes d’action
Elles s’expriment dans :
DES RÉFÉRENCES : énoncés d’exigences au regard d’objectifs à atteindre (complétées par des critères (comment) et des indicateurs (combien))
Précisées par :
DES PROCÉDURES : séquences ordonnées d’une activité
Précisées par :
44
Généralement le document qui définit les recommandations de bonnes pratiques auxquelles les acteurs vont devoir se référer :
Références (critères, indicateurs) Voire les procédures
= UN REFERENTIEL (document auquel on se réfère)
NOTION DE REFERENTIEL
45
QUELQUES BONNES QUESTIONS A SE POSER
(avant de se lancer dans la DEMARCHE)
46
EN TERME DE CONTENU :
MINIMALISTE ? (les 4 domaines incontournables)• Projet d’établissement• Droit et participation des usagers• Organisation• Établissement dans son environnement
… ou intégrant d’autres exigences de l’institution ?
Quel degré de précision dans les questions ?
UNE CERTAINE LIBERTE LAISSEE A L’ETABLISSEMENT
QUELQUES BONNES QUESTIONS
47
Axe principalement de conformité et/ou chercher d’emblée à viser une dynamique progressive ?
Quel (s) outil (s) d’évaluation ?
Création d’un référentiel, reprise ou adaptation d’un référentiel existant ?
Quelle organisation pour et autour de la démarche ? Au cours de la période d’évaluation et après ?
QUELQUES BONNES QUESTIONS
48
Quelles période et durée pour l’évaluation interne (ressources à mobiliser) ?
Quel système de cotation ? A. B. C. D. – couleurs – nombres ?
Quelle information aux salariés avant pendant et après ?
Y-aura-t-il des évaluations internes, intermédiaires ?
Vous placer d’ores et déjà en perspective d’aller plus loin (certification) ?
QUELQUES BONNES QUESTIONS
49
EXEMPLES – ETAPES D’UNE DEMARCHE
50
SCHEMA D’INTERVENTION (à titre d’exemple)
Sensibilisati
on des personnels
Mise en place d’une organisation pour l’évaluation
Création des outils pour l’évaluation (référentiel) -
Adaptation d’outils existants (référentiel)
Appropriation (formation à l’utilisation des outils)
Réalisation de l’évaluation interne
Actions de progrès
Mise en forme d’une
synthèse
Restitution aux personnels
Phases de communication sur la démarche (point d’étape)
Groupe chargé du suivi du projet (comité de pilotage)
2008 2009
51
Comment faire pour que la démarche d’évaluation interne s’intègre dans l’organisation courante du travail ?
Cela renvoie notamment à des questions de : Stratégie (vision, visées à plusieurs années) De sens (compatibilité avec les valeurs des acteurs et de
l’établissement) D’ergonomie (pourquoi passer, « perdre » du temps à
pratiquer l’évaluation ?) D’appropriation des outils d’évaluation D’éthique d’évaluation De changement (donc de résistance au changement) De ressources à consacrer (notamment du temps)
ENCORE DE BONNES QUESTIONS A SE POSER ?
52
Quelle organisation autour du 1er projet d’évaluation interne et après ?
Quelle place pour les directions dans un tel dispositif (administrative, médicale) : retrait, surimplication ?
Une démarche qui se construit « au fil de l’eau » ou ultra planifiée ?
ENCORE DE BONNES QUESTIONS A SE POSER ?
53
Une évaluation à charge ou à décharge ?
Quelle densité en matière d’actions de progrès à mener (nombre à traiter, par rapport à l’importance et à vos possibilités de réellement les mener à bien)
ENCORE DE BONNES QUESTIONS A SE POSER ?
54
La dernière peut-être
Quand démarrez-vous ?
ENCORE DE BONNES QUESTIONS A SE POSER ?
APRES TOUTES CES QUESTIONS ET BIEN D’AUTRES ENCORE :
55
Le processus d’évaluation du secteur social et médico-social
Recommandations
Références
Procédures
Référentiels
Evaluation interne
Planification
Actions Indicateurs
Ajustements
Système d’informationSur l’évaluation
Des établissements
Habilitation desOrganismes indépendants
Evaluation externeDans les 7 ans après autorisation
et au moins deux ans avant renouvellement
Tous les 5 ansBilans
à l’autorité ayant délivré l’autorisation
(DDASS, CG…)
Rapports d’activité périodiques
56
VOS QUESTIONS –
NOS REPONSES