Rencontres départementales sur l’évaluation externe dans le secteur social et médico-social

Rencontres départementales sur l’évaluation externe

dans le secteur social et médico-social

Programme de la rencontre Principes et repères pour une mise en œuvre efficace

Maika Berrouet – Chef de projets CCECQA

Les outils de l’évaluation externeFrançois-Emmanuel FAURE – Consultant (secteur enfance

et adultes handicapés)

Retours d’expérience Secteur enfance et adultes handicapés

Delphine Saint-Hubert – Chef de service - ADAPEI 33 Secteur personnes âgées

Laure ESPINASSE – Responsable qualité - CH Saint-Sever

2

3

Repères pour une mise en œuvre efficace de l’évaluation externe

Présentation

Guide pratique et outils concrets pour accompagner les établissements dans … La mise en œuvre de leur évaluation externe L’amélioration continue de cette démarche

5

Réalisation du guide Entre janvier et avril 2014, par des méthodologistes, des

qualiticiens et des professionnels du secteur personnes âgées, secteur enfance handicapée et adultes handicapés

Il s’appuie sur : La bibliographie faisant référence dans le domaine de l’évaluation

externe et dans le domaine du management par la qualité L’expérience de professionnels de terrain

Base d’une campagne de sensibilisation coordonnée par le CCECQA.

Organisation de deux ateliers d’une demi-journée : Mont-de-Marsan le 4 avril Bordeaux le 8 avril

6

Articulation du guide Trois pivots

Un plan en trois parties1) Rappel du contexte réglementaire de l’évaluation externe,2) Réaffirmation des objectifs et enjeux,3) Déclinaison opérationnelle des cinq étapes à réaliser pour mener une

évaluation externe

Des messages clés et concis

Des outils Fiches méthodes Documents opérationnels directement utilisables et adaptables par les

professionnels des structures

7

Ce guide ainsi que les outils proposés n’ont pas vocation à être opposables !

Articulation du guide (suite) Des outils

Exemple de cahier des charges Grille de choix et de sélection d’un organisme habilité Eléments de preuve Formulaire d’observations Grille de lecture d’un pré-rapport Grille d’évaluation et de satisfaction de la démarche et de la prestation

Des fiches méthodes Rédiger son cahier des charges Choisir son organisme habilité Contractualiser avec l’organisme habilité Communiquer des observations sur le pré-rapport de l’évaluation externe

8

Une réglementation sur une dizaine d’années…

Loi n°2002-2 du 2 janvier 2002 rénovant l’action sociale et médico-sociale

Loi n°2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires

Décret n° 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements médico-sociaux

Décret n° 2012-147 du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux

Circulaire DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médico-sociaux

9

Pour réaffirmer quelques principes…

Obligation d’évaluation pour les établissements et services sociaux et médico-sociaux

Porte de manière privilégiée sur la pertinence, l’impact et la cohérence des actions déployées par les établissements et services, au regard d’une part, des missions imparties et d’autre part des besoins et attentes des populations accueillies

Les champs des évaluations externe et interne sont les mêmes afin d’assurer la complémentarité des analyses portées sur un même établissement ou service et de fait, pouvoir apprécier les évolutions et les effets des mesures prises pour l’amélioration continue du service rendu

10

L’article 312-8 du CASF

« Les établissements et services procèdent à des évaluations de leurs activités et de la qualité des prestations qu’ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées par l’ANESM… »

11

Des objectifs à atteindre

12

Dans le cadre de ses missions, les prestations proposées par l’établissement ou le service sont-elles adaptées aux besoins et attentes

spécifiques des personnes accompagnées ?

L’évaluation externe devra porter une appréciation globale sur :la cohérence et l’adéquation du projet institutionnel par rapport aux besoins des usagersle niveau de réalisation des engagements la capacité d’adaptation de l’établissement ou du service au regard des évolutions constatéesla pertinence des activités déployées au regard des effets pour les usagers les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations interne et externe, cadre de vie…les suites réservées à l’évaluation interne

Des objectifs à atteindre

13

L’évaluation externe évalue un système mais en aucun cas le personnel ou les usagers !

Les enjeux de l’évaluation externe

14

L’enjeu officiel : le renouvellement d’autorisation

Les modalités de renouvellement de l’autorisation sont définies dans l’article L.313-1 du CASF : « Le renouvellement, total ou partiel de l’autorisation, est exclusivement subordonné aux résultats de l’évaluation externe mentionnée au deuxième alinéa de l’article L.312-8 »

Les enjeux de l’évaluation externe (1)

15

L’enjeu principal : une opportunité de valorisation

Indicateur du fonctionnement des organismes gestionnaires, de leur capacité à conduire leurs établissements et services ;

Photographie de l’existant ; Implication des ESMS dans une démarche envisagée à la fois

sous l’angle d’une évaluation des pratiques et d’une évaluation des résultats.

L’établissement doit apporter la preuve qu’il maîtrise l’ensemble des dispositifs garants du respect des droits des usagers

En synthèse

16

Quels objectifs, missions, valeurs de l’ESMS ?

Quels résultats attendus ? Quelles caractéristiques de la population accompagnée ?

Quelles dispositions mises en place ? Quelles pratiques effectivement mises en œuvre ?

Quels effets observés pour les usagers ?

Quels constats ? Quels écarts entre ce qui est attendu et ce qui est observé ? Quelles raisons ?

Quelles priorités ? Quels objectifs ? Quels résultats attendus ? Quels moyens ? Quels délais ?

En synthèse (1)

17

Elle s’appuie sur :

Une organisation en mode projet : pilotage, planification, définition d’objectifs ;

Une démarche collective, participative et co-construite ; Des outils de collecte, d’analyse et de suivi des informations ; Des compétences spécifiques et un processus maîtrisé

En synthèse (2)Evaluer, c’est comprendre !

Utile aux décideurs, dirigeants, professionnels, usagers, elle permet de porter une appréciation globale sur un établissement ou un service et de mettre en valeur actions, savoir-faire, visions de l’action sociale et service rendu

L’évaluation n’est pas une fin en soi ! Démarche d’amélioration continue à poursuivrePAQ à suivre

18

Les étapes de la mise en œuvre Pour rendre efficace et efficiente la démarche d’évaluation, il est

nécessaire de:

Définir son projet Respecter les règles établies Appliquer le rythme et la tonalité fixés Suivre les cinq étapes identifiées

19

Les étapes de la mise en œuvre

Pour chaque étape, un focus sera réalisé sur des actions et des outils spécifiques à mettre en place

Ces outils constituent une base support et de référence pour chaque structure et ne sont en aucun cas opposables. Ils doivent être réactualisés et adaptés au contexte et à l’organisation de chacun

20

1. Réunir les conditions nécessaires Engagement dans le processus = moment stratégique S’assurer pour l’ESMS qu’il est prêt à réaliser un examen tel

que défini réglementairement par le décret du 15 mai 2007 Mise en place d’un système d’enregistrements d’éléments

de preuves Participation collective volontaire et pluridisciplinaire

Processus-clés

21

Satisfaction aux conditions de

mise en œuvre de l’évaluation

externe

Choix du bon moment pour

engager la procédure

Satisfaction aux exigences

réglementaires et aux RBPP

2. Elaborer les documents de mise en concurrence

« La sélection de l’organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du Code des marchés publics ».

Elaboration du cahier des charges

Processus-clés

22

Outil

Exemple de cahier des charges

Présentation de l’ESMS

Formulation des questions

ou des hypothèses à

soumettre

Précision sur les éléments de réponse

attendus

Quoi ? La présentation de l’établissement ou du service ; L’articulation avec le projet d’établissement ou de service, l’évaluation interne et les démarches formalisées visant à améliorer le service rendu (informations de portée générale) ; Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d’être posées ; Les modalités de concertation ; Les modalités de suivi de l’évaluation externe ; Le contexte et les contraintes liées à l’organisation ou aux particularités des activités ; Les conditions d’accès à l’information et aux documents disponibles (questions de méthodes dont notamment la dimension participative ) ; Les modalités concrètes d’élaboration et de rendu du rapport ; Le temps nécessaire et le calendrier ; Les modalités de facturation.

23

Comment ? Prendre en compte la spécificité de sa structure (nombre d’établissements à évaluer..) ; Consulter la liste des organismes habilités (site ANESM) ; Publier éventuellement l’annonce sur un site officiel ; Sélectionner au préalable 5 à 6 organismes habilités par l’ANESM ; Adresser par courrier ou par mail le dossier en fixant une date limite de réponse ; Demander aux organismes un dossier de réponse contenant :

Première note synthétique , Présentation d’une première trame d’un déroulé d’évaluation , Eléments d’information sur l’organisme , Références récentes d’interventions, Cv des personnes chargées de l‘évaluation ; les conditions habituelles de tarification.

24

Exemple de cahier des charges

25

3. Choisir l’organisme habilité

Réalisé à partir d’une analyse des offres reçues Caractère objectif de l’analyse Nécessité de repérer en amont les dimensions et critères de

sélection Plusieurs dimensions à prendre en compte Contrat fixant les obligations des deux parties élaboré au terme de

la procédure

Processus-clés Outils

Grille de priorisation et de sélection

26

Pré-sélection des organismes

habilités sur dossier

Choix de l’organisme

habilité

Organisation des entretiens

Rédaction du contrat de prestation

Comment ? En questionnant quatre dimensions à cotation variable :

Qualification et compétences des évaluateursUne expérience professionnelle dans le champ social ou médico-

socialUne formation aux méthodes évaluativesUne expérience de l’évaluation dans le secteur social ou médico-

socialUne pluridisciplinarité des évaluateurs

Qualité technique de l’offreClarté et précision du plan d’interventionCohérence du plan d’intervention au regard des hypothèses

évaluatives de la structureCapacité de l’évaluateur à se situer dans une logique d’écouteGarantie d’un examen contradictoire des points

27

Comment (suite) ?

Modalités de réalisation

Nombre de journées sur placeNombre de journées au totalNombre d’évaluateurs sur le terrain

Modalités financières

GarantiesCoût

28

Outil : grille de priorisation et de sélection

29

Focus sur le contrat avec l’organisme habilité

5 parties généralement prévues dans le contrat :

Description du projet évaluatifComposition de l’équipe d’évaluateurs (vigilance :

modification de la composition de l’équipe des évaluateurs)Description précise du contenu du rapport d’évaluation

externe (vigilance : contenu en adéquation avec le décret du 15 mai 2007)

Modalités de facturation (vigilance : pénalités de retard si rapport non remis dans les délais ; exonération de paiement si contenu du rapport non réglementaire)

Annexes au contrat (déclarations sur l’honneur)

30

4. Veiller au bon déroulement de l’évaluation externe

Mise en place d’un comité de suivi de l’évaluation

Accessibilité facilitée pour les évaluateurs à toute l’information nécessaire

Attitude des évaluateurs : l’évaluation n’est pas un contrôle

Etape qui sera développée lors des retours d’expérience

Processus-clésOutils

Documents de preuve

Exemple de questionnement évaluatif

31

Organisation et animation d’un comité de suivi

Organisation et préparation du recueil de données

Contrôle de la posture des évaluateurs ; communication

Outil : Eléments de preuve

Exemple de questionnement évaluatif

32

5. Communiquer des observations sur le pré-rapport d’évaluation externe

Rapport : élément de sortie du processus évaluatif

ESMS « gardien» de la qualité du rapport qui sera transmis sur deux critères d’appréciation

Possibilité pour l’ESMS de faire part de ses réserves à l’autorité de tarification

Processus-clés

Outils

Grille de lecture du pré-rapport

Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation

33

Réception et lecture du

pré-rapport

Navette jusqu’à

entente avec l’organisme

Envoi du rapport final à l’autorité de tarification

Modification du PAQ et mise

en œuvre d’actions

d’amélioration

Quoi ?

Durant cette phase, le chef de projet organise avec le COPIL une relecture critique du pré-rapport afin de s'assurer :

De l'objectivité des constats ; Du respect des attendus énoncés dans le cahier des charges ; Du respect du Décret n°2012-147 du 30 janvier 2012 ; De la clarté des observations formulées.

34

Focus sur les critères Le COPIL procède à la relecture du pré rapport en s’assurant du respect d’un certain nombre de critères :

La lisibilité du rapport L’exactitude des éléments administratifs relatifs à l’établissement La qualité de l’analyse Le niveau de documentation de l’analyse Le rapprochement avec les constats effectués sur les mêmes thèmes lors de l’évaluation interne La qualité et la faisabilité des préconisations Les propositions d’axes de travail susceptibles d’apporter des améliorations dans la prise en compte des besoins des usagers

35

Comment ?

36

Étape Qui ? Quoi ?

1 Chef de projet

Diffuser le pré rapport à l'ensemble des membres du comité de pilotage ainsi qu'à l'ensemble des personnes ayant participé l'évaluation externe, afin d'en assurer une lecture pluridisciplinaire.Définir pour chacun un temps de lecture individuelle avec pour premiers objectifs de vérifier l'objectivité des constats, les erreurs d'interprétation.

2 Chaque lecteur

Formuler les observations sur la fiche prévue (cf. outil CCECQA) en identifiant les éléments de preuves nécessaires à l’argumentation.

3 Chef de projet Colliger l’ensemble des fiches d’observations et réunir le COPIL.

4 COPIL Passer en revue l’ensemble des observations et valider celles qui seront retenues.

5 COPIL Vérifier que le contenu du pré rapport respecte le décret n°2012-147 du 30 janvier 2012 (cf. outil "Grille de lecture").

6 COPILValider les commentaires touchant aussi bien le fond que la forme du pré-rapport.Réunir les éléments de preuves nécessaires (copies ou scans).

7 Chef de projet

Envoyer à l’organisme évaluateur la grille de lecture complété, les fiches d’observation définitives accompagnées des éléments de preuves idoines.

8 COPIL Valider la prise en compte des observations par l’organisme évaluateur.

Outil : Grille de lecture

Formulaire des observations

37

Focus sur l’évaluation et la satisfaction de la démarche et de la prestation

38

2 questionnaires de retour d’expérience sur la thématique de l’évaluation externe envoyés en mars 2014 :

Aux ESMS de la région Aquitaine : 1419 contacts, 103 retours sans relance, soit 8 %

Dont : 50 % s. adultes handicapés, 22 % s. enfance handicapée, 28 % s. personnes âgées

40 % ont terminé leur évaluation externe17 % en cours de réalisation

Aux organismes habilités de la région Aquitaine : 104 contacts, 19 retours, soit 12 %

Versus établissements (40 ESMS)

39

95 % ont utilisé cahier des charges (dont 12 base de l’UNAPEI)+ de 50 % des ESMS : de 4 à 10 mois pour sélectionner leur organismeCritères de sélection les plus cités :

Expérience des évaluateursCoût Compétences Qualité méthodologique

Difficultés rencontrées lors de la préparation: Implication des professionnelsImplication de la directionCraintes des professionnelsDifficultés organisationnellesCommunicationManque de recul


40

100 % répondants : expression libre des parties prenantes

Etat d’esprit des professionnelsAdhésion (12) Crainte (22)Pression + (6) Appréhension (5)Curiosité (4) Négatif (4)

Difficultés rencontrées phase de réalisationRespect du calendrierDisponibilité de l’évaluateurDifficultés de planificationLimites des modalités de réalisation

Délai de réception du pré-rapport : pour 50 %, de 2 sem à 1 mois


41

Difficultés rencontrées phase de validation pré-rapportDésaccords avec évaluateurs externesNon transmission de l’abrégéCorrections sur la formeChronophage Longueur du rapportForme très négative

+ de 90 % très satisfaits / satisfaits de :DisponibilitéÉcoute Professionnalisme


42

+ de 82 % très satisfaits / satisfaits de :Rapport qualité / prixDélais de réalisationQualité du pré-rapportDéroulement de l’évaluation externeRespect du cahier des charges

Globalement :51 % très satisfaits36 % satisfaits

Versus organismes (18)

43

Nombre d’évaluateurs sur site de 1 à 5 10 à 20 documents demandés la majorité du temps Réalisation systématique d’entretiens avec :

ProfessionnelsUsagersFamillesQualité méthodologique

Ces entretiens sont :Rarement réalisés en présence d’un responsableAvec des réponses non préparéesEt qui reflètent les pratiques habituelles

Pour 1/3 des répondants, délai de restitution du pré-rapport d’un mois


44

17 répondants : Proposent une amélioration du PAQAident à la priorisation des actions d’amélioration

Ces entretiens sont :Rarement réalisés en présence d’un responsableAvec des réponses non préparéesEt qui reflètent les pratiques habituelles

7 organismes seulement distribuent un questionnaire de satisfaction en fin de prestation….


45

Les difficultés rencontrées : Expression orale et écrite de certains professionnelsCulture du soin trop dominanteCrainte des professionnelsProblèmes de gestion documentaireMéconnaissance de la réglementationAbsence de culture d’évaluationDisponibilité des professionnelsStructuration de la démarchePréparation logistiqueRestitution des résultats

Regards croisés sur les points forts

46

Analyse des pratiques selon une méthode objective Valorisation des pratiques Identification d’axes d’amélioration Regard extérieur Prise en compte du point de vue de toutes les parties prenantes, notamment des usagers Démarche formative et participative Prise de recul Favorise le développement de la culture d’amélioration de la qualité Apport de connaissances Dédramatisation de l’évaluation État des lieux Confirmation résultats de l’EI

Regards croisés sur les limites

47

Aspects chronophages et financiers Absence de retour sur l’impact de la démarche d’évaluation externe Absence de référentiel unique Complexité de la demande Inquiétude des professionnelsCalendrier réglementaire Incompétence de certains organismes Doutes sur les bénéfices en termes de changement et d’apports

Des leviers à actionner !!!

48

Pour les établissements :

Compétences de terrain des évaluateursAnticipation du recueil des éléments de preuve Bonne définition du cahier des charges Planification Evaluation de la charge de travail Communication Disponibilité Cadrage de la démarche Inscription dans une démarche d’amélioration

continue de la qualité Vigilance lors de la relecture du pré-rapport

Des leviers à actionner !!!

49

Pour les organismes :

Bonne communicationImplication de l’ensemble des parties prenantes Démarche structuréePréparation de la démarche (documents..)Climat de confianceInscription dans une démarche d’amélioration continue

de la qualitéSoutien de l’encadrementCompétences méthodologiques des évaluateurs

Pour finaliser cette étape…

50

Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation

MERCI POUR VOTRE ATTENTION

51