Enjeux, étapes et méthodologie de lévaluation interne Laetitia Maginot Évaluatrice interne des...
33
La conduite de l’évaluation interne Enjeux , étapes et méthodologie de l’évaluation interne Laetitia Maginot Évaluatrice interne des organisations sociales Certifiée AFNOR - juillet 2011
Enjeux, étapes et méthodologie de lévaluation interne Laetitia Maginot Évaluatrice interne des organisations sociales Certifiée AFNOR - juillet 2011
Enjeux, tapes et mthodologie de lvaluation interne Laetitia
Maginot valuatrice interne des organisations sociales Certifie
AFNOR - juillet 2011
Page 2
Au programme 1. Mission de lval.int. & sources de
lvaluation 2. Contexte et enjeux 3. Lvaluation, une dmarche qualit
: dfinitions 4. Les chances lgales 5. Etapes et chronologie de la
dmarche 6. Lapproche valuative de ladimc74 7. Les champs dvaluation
balayer 8. Prsentation des outils de lvaluation 9. Les instances
mettre en place : le comit de pilotage et les groupes de travail
10. Formations proposes aux volontaires 11. Intro au rfrentil et
grille dvaluation 2
Page 3
Missions de lvaluatrice interne valuatrice interne Rattache au
directeur Communication interne et animation Coordination et suivi
du processus et du calendrier Formation lutilisation et la
construction doutils Appui-conseil sur la mthodologie 3
Page 4
Sources de lapproche et de la mthodologie prsente Lapproche et
la mthodologie prsentes se rfrent des sources multiples : au cadre
lgal et rglementaire aux recommandations de lANESM relatives la
conduite et la mise en uvre de lvaluation interne dans les ts et
serv. viss lart L312.1 du CASF divers documents issus de la FNARS,
de RH organisation, dautres lments de bibliographie (Lvaluation
interne de JB Le Nagard, Laforcade), etc ainsi qu lapproche AFNOR
propose dans le cadre de ma formation lvaluation interne. 4
Page 5
Contexte et enjeux Contexte Lvaluation sinscrit dans le cadre
de la Loi 2002-2 qui impose tous les ts et serv. viss lart L312.1
de CASF une valuation interne et une valuation externe. Art. L312-8
du CASF (modifi par la loi 2009-879 du 21 juillet 2009) Les
tablissements et services mentionns l'article L. 312-1 procdent des
valuations de leurs activits et de la qualit des prestations qu'ils
dlivrent, au regard notamment de procdures, de rfrences et de
recommandations de bonnes pratiques professionnelles valides ou, en
cas de carence, labores, selon les catgories d'tablissements ou de
services, par l'Agence nationale de l'valuation et de la qualit des
tablissements et services sociaux et mdico-sociaux. Les rsultats
des valuations sont communiqus l'autorit ayant dlivr
l'autorisation. Les tablissements et services rendent compte de la
dmarche d'valuation interne engage. Le rythme des valuations et les
modalits de restitution de la dmarche d'valuation sont fixs par
dcret. En outre : Les tablissements et services mentionns l'article
L. 312-1 sont tenus de procder deux valuations externes entre la
date de l'autorisation et le renouvellement de celle-ci. Le
calendrier de ces valuations est fix par dcret. Sachant par
ailleurs (Article L.313-1 du CASF) que lautorisation est accorde
pour une dure de quinze ans et son renouvellement, total ou
partiel, est exclusivement subordonn aux rsultats de lvaluation
externe. 5
Page 6
Les enjeux OBLIGATION LEGALE PREALABLE A LEVALUATION EXTERNE
SOCLE DE REFERENCE PRODUCTION DE CONNAISSANCE PRIORITE DACTION
DAMELIORATION CONTINUE DES PRATIQUES REPENSER SA PRATIQUE
PROFESSIONNELLE OUTIL DE CONCEPTUALISAT DES BONNES PRATIQUES OUTIL
DAIDE A LA DECISION 6
Page 7
Lvaluation, une dmarche qualit : lments de dfinition 1.
Dfinition du concept dvaluation L'valuation est dorigine
terminologique dans la valeur. Si sa conception inclut la notion de
mesure des carts entre des objectifs voulus et des rsultats
atteints, elle dpasse cette notion en creusant dans le pourquoi des
rsultats obtenus. Lvaluation consiste interprter des donnes pour en
construire un jugement sur la valeur et les effets. (Pourquoi cest
bien, pourquoi, cest mal?) 2. Dfinition du concept de qualit Il
existe une multitude de dfinitions, on en retiendra une : Laforcade
et Ducalet : la qualit est laptitude dune organisation rpondre aux
besoins exprims, implicites et potentiels de lusager, de sa famille
et des acteurs avec lesquels elle est en coopration, en vue de
maintenir ou damliorer sa sant (au sens bio-psycho-social), son
autonomie sociale et sa dignit dtre humain. 7
Page 8
Les chances - 1 ire valuation interne remettre lautorit ayant
dlivre lautorisation avant le 31/12/2013 puis tous les 5 ans - 1
ire valuation externe remettre lautorit ayant dlivre lautorisation
avant le 31/12/2014 puis tous les 7 ans Pour les projets ouverts
des priodes diffrentes lvaluation peut tre rendue en mme temps par
souci duniformisation du processus. Lamplitude de 5 ans est un
maximum. Il est possible de raliser des valuations chances plus
rapproches. 8
Page 9
Les tapes de la dmarche valuation INTERNE Lancement de la
dmarche Elaborat rfrentiel Ralisation de lvaluation interne )
Analyse des rsultats Elaboration du plan damliorat continue )
Ractualisat du projet et mise en uvre Communicat des rsultats de
lvaluation interne aux autorits 9
Page 10
Les tapes de la dmarche valuatiOn EXTERNE Recherche dun
valuateur externe et tablissement dun contrat Communicat des
rsultats de lvaluation interne et des pices techniques lvaluateur
externe Evaluation externe (vrification des 15 points prioritaires)
Rdaction dun rapport dvaluation Transmission du rapport aux
autorits ayant dlivr lautorisation 10
Page 11
Chronologie 2011 2012 2013 ACTIONS
sepoctnovdcjanfevmaravrmaijui aousepoctnovdecjanfevmaravrmaijui aou
Le personnel de tous les ts et serv est inform de l'valuation
interne, des enjeux de la mthode retenue et du calendrier
Elaboration des rfrentiels par ajustement et dfinition des priorits
du cadre valuatif Mise en test des rfrentiels Validation dfinitive
des rfrentiels Chaque ts et serv. procde sur base de son rfrentiel
lvaluation interne proprement dite Les groupes en charge de
lvaluation transmettent chaque mois leurs rsultats au copileval
pour analyse des carts de rsultats Priorisation des actions mettre
en uvre et laboration du plan d'amlioration quinquennal Rdaction
des rapports d'valuation pour chaque tablissement Validation des
rapports Envoi des rapports aux autorits comptentes Runion de comit
de pilotage 123456789 1011121314151617181920 11
Page 12
Lapproche valuative de lADIMC 74 Lapproche choisie sinspire du
courant participatif, pluraliste et co produit Lensemble des
tablissements et service du groupement sont concerns... Lensemble
des acteurs sont impliqus Le rfrentiel qualit ESAT dont
sinspireront les autres rfrentiels est cr selon une mthodologie
innovante prenant en compte aussi bien la parole de lusager et que
celle des professionnels. 12
Page 13
Quest ce quon value ? : Les 4 champs valuer en priorit Le droit
et la participation des usagers, la personnalisation des
prestations Le projet dtablissement ou de serv. et ses modalits de
mise en oeuvre. Lorganisation de ltablissement ou du service et ses
ressources Ltablissement ou service dans son environnement 13
Page 14
Les 4 champs valuer dans le cadre de lvaluation interne 1 / Le
droit et la participation des usagers, la personnalisation des
prestations (Art L.311-3 CASF Garantit toute personne prise en
charge par les ETS et Serv. lexercice des droits et liberts
individuels) 1. Respect de la dignit, intgrit, vie prive, intimit
et scurit 2. Le libre choix des prestations adaptes qui sont
offertes lusager 3. Prise en charge et accompagnement individualis
consenti 4. Confidentialit des informations la concernant 5. Laccs
linformation 6. Information sur ses droits fondamentaux et voies de
recours (affichage de la liste des personne qualifie : obligatoire)
7. Participation directe ou avec laide de son reprsentant lgal la
conception et la mise en uvre du projet daccueil et
daccompagnement. 4 Recommandations de bonnes pratiques lies ce
champs intgrer dans la dmarche - Bientraitance : dfinition et
repres pour la mise en uvre - Les attentes de la personne et le
projet personnalis - Le questionnement thique dans les
tablissements et services sociaux et mdico-sociaux - Mission du
responsable de service et rle de lencadrement dans la prvention et
le traitement de la maltraitance domicile 14
Page 15
2 / Le projet dtablissement ou de serv. et ses modalits de mise
en oeuvre. 1. Nature du projet au regard des besoins identifis 2.
Cohrence du projet lgard des missions de lts ou serv autoris 3.
Activits et prestations 4. Continuit des interventions 5. Le PE/PS
est construit avec les professionnels(participation) 6. Le PE/PS
est valu et ractualis par une instance de suivi et danimation 2
Recommandations de bonnes pratiques lies ce champs intgrer dans la
dmarche - Elaboration, rdaction et animation du projet
dtablissement ou de service - Bientraitance (instaurer des modes
dencadrement respectueux des personnes et garants de la
bientraitance ) 15
Page 16
3 / Lorganisation de ltablissement ou du service et ses
ressources 1. Les ressources matrielles 2. Les ressources humaines
: la gestion des RH 3. La communication dans lEts/le service 4. Les
ressources budgtaires 5. Les autres ressources externes
ltablissement 2 Recommandations de bonnes pratiques lies ce champs
intgrer dans la dmarche - Bientraitance (accueillir le nouveau
prof. et lui donner les moyens de comprendre et sadapter aux
usagers quil accompagne, soutenir les prof., promouvoir la rflexion
thique) - Mise en uvre dune stratgie dadaptation lemploi des
personnels au regard des populations accompagnes. 16
Page 17
4/ Ltablissement/service dans son environnement 1. Linsertion
de ltablissement/service dans le contexte territorial 2. La place
du projet dans son organisation institutionnelle 3. Louverture de
ltablissement ou service sur son environnement 4. Laccessibilit de
ltablissement/service 5. La reconnaissance de lEts/S par
lenvironnement 6. La reconnaissance de ses comptences et
lutilisation quen font les partenaires 7. Le rseau de comptence :
les comptences humaines disponibles dans lenvironnement 8. Systmes
dchanges (mutualisations de moyens, changes non montaires) 2
Recommandations de bonnes pratiques lies ce champs intgrer dans la
dmarche - Bientraitance (travailler avec lentourage et respecter
les relations de lusager avec ses proches, articulation avec les
ressources extrieures, promotion de lexpression et de lchange des
perspectives, ouverture lvaluation et la recherche - Louverture de
ltablissement et sur son environnement 17
Page 18
15 Champs de lvaluation externe Dcret n2007-975 du 15 mai 2007
Capacit valuer besoins et attentes de lusager la personnalisation
de lcoute et de la rponse tlphonique, Les conditions dlaboration du
projet personnalis Leffectivit du projet de ltablissement La rponse
aux attentes exprimes par les usagers. Capacit valoriser
lexpression et la participation des usagers. La capacit observer
les changements et adapter son organisation. La prise en compte des
recommandations de bonnes pratiques La prise en compte des facteurs
de risque Capacit assurer cohrence et continuit des actions et
interventions. Le respect des critres noncs par la rglementation en
vigueur Les formes de mobilisation des professionnels Dispositifs
dalerte et de formation de mesure de la fatigue professionnelle.
Rle de lts ou du service au regard des missions confies par les
autorits publiques Linscription de ltablissement ou du service dans
un territoire donn 18
Page 19
Mthodologie 1) Mise en place de diffrentes instances : un comit
de pilotage et diffrents groupes de travail 2) Cration dun outil
fondamental pour lvaluation : le rfrentiel qualit 3) Capitalisation
dune base documentaire 4) Conception dautres outils pour lvaluation
: guide dentretiens pour la construction des autres rfrentiels,
questionnaires pour les enqutes de satisfaction etc. 5) Formation
de tous les acteurs impliqus dans les groupes de travail 19
Page 20
Le comit de pilotage Ses missions Le comit de pilotage de
lvaluation interne est linstance qui avec lappui et les conseils de
lvaluatrice interne est charg : De dfinir le cadre valuatif (champs
daction et limites) De faire des choix mthodologiques De proposer
un calendrier ou valider la planification propose de mise en uvre
de lvaluation De dfinir la composition des groupes de travail De
procder lanalyse des rsultats DElaborer des propositions
damlioration continue de la qualit du plan daction. 20
Page 21
Le comit de pilotage Sa composition lANESM prconise que le
comit de pilotage soit constitu denviron 10% du personnel de
lensemble des ts et serv du groupement. Uniformisation de la
dmarche par la mise en place dun seul copileval Ensemble des
directions et chefs de service Volontaires parmi les autres membres
du personnel reprsentatifs des diffrents tablissements et services
Usagers (facultatif) 21 En outre les membres du copilval sont
ncessairement : disposs aller au bout de la dmarche et pouvant se
rendre disponible pour les runions constructifs et facilitateurs,
ayant la capacit de distanciation capables de faire des
propositions Pouvant garantir transparence et objectivit Ayant des
capacits communiquer voire crire
Page 22
Schma simplifi du copileval COMITE DE PILOTAGE 10%
GOELANDSAVSFHESAT Services supports 22
Page 23
Les groupes de travail Groupes de travail Construction
rfrentiel valuation interne Analyse des rsultats/amlioration
thmatique Rdacteurs 23
Formation aux missions et rle des membres du copilval (09/11)
Formation lanalyse des rsultats de lvaluation et la priorisation
des rsultats (09/12) Lensemble du copilval Comit de pilotage
Formation la construction du rfrentiel ou son ajustement
Octobre/novembre 2011 1 groupe par ts ou serv de max 4 personnes
soit 16 pers max Groupe de travail rfrentiel Formation la
mthodologie de lvaluation interne Soit en mme temps que la
formation construction du rf. oct/nov 2011, avant de procder
lvaluation en juin 2012 1 groupe par ts ou serv de max 4 personnes
soit 16 pers max Groupe de travail valuation Formation lanalyse des
rsultats et priorisation des actions Septembre 2012 Tout ou partie
du copileval.. ( dcider) Lanalyse peut ensuite ou paralllement
amener la cration de groupes de rech. Thma. Groupe de travail
analyse des rsultats Formation lcriture du rapport de synthse de
lvaluation interne ( dcider) Mai 2013 1personne par ts ou serv,
soit 4 personnes. groupe de travail rdacteurs 25 Formations
proposes par lvaluatrice interne pour le copileval et les GT
Page 26
Quelques mots sur le rfrentiel qualit LE REFERENTIEL EST UNE
SORTE DINVENTAIRE DEXIGENCES ou REFERENCES DEFINIES PAR LETS OU LE
SERV. SERVANT ENSUITE A LEVALUATION, GRACE A DES CRITERES (moyens
de satisfaire les exigences quon sest fix) ET DES INDICATEURS
(Informations permettant de mesurer le niveau datteinte dun
rsultat) FIXES POUR CHACUNE DE CES REFERENCES/EXIGENCES IMPORTANT
DE PRENDRE DU TEMPS POUR LE CONSTRUIRE = BASE DU TRAVAIL
DEVALUATION IL DOIT ETRE SIMPLE ET ACCESSIBLE A TOUS IL DOIT
REFLETER VOS PRATIQUES, VOS ACTIVITES (SPECIFICITES) 26
Page 27
Articulation du rfrentiel Il PEUT ETRE DECOUPE SELON LES 4
DOMAINES SUIVANTS OU SELON LE PARCOURS DE LUSAGER AUQUEL ON AJOUTE
LES ACTIVITES TRANSVERSALES 27 Le droit et la participation des
usagers, la personnalisation des prestations Le projet
dtablissement ou de serv. et ses modalits de mise en oeuvre.
Lorganisation de ltablissement ou du service et ses ressources
Ltablissement ou service dans son environnement RH FIN SECU
ENV.
Page 28
Exemple de prsentation dun rfrentiel avec indicateurs de
rsultats 28 Domaine/exigence : Le projet des travailleurs de lESAT
est co construit, personnel, mis en uvre et valu
Page 29
29
Page 30
Modle de grille dvaluation avec indicateurs PDCA 30
Page 31
FAQ Puis-je participer la fois au copilval et un ou plusieurs
groupes de travail ? Si je ne participe aucune de ces instances,
quel(s) niveau(x), vais-je pouvoir mimpliquer dans lvaluation?
Comment serais-je inform(e) de ltat davancement de lvaluation dans
mon tablissement ou service ? Combien de temps cela va-t-il me
prendre si je mengage dans une instance de travail ? Comment
allons-nous procder concrtement pour raliser lvaluation interne ? Y
aura-t- il des runions en plus de nos runions habituelles ? Comment
les usagers ou leur entourage vont-ils tre impliqu s dans
lvaluation interne ? Pourra-t-on faire des propositions de
changement lorsque lon constatera des dysfonctionnement dans nos
pratiques lors de lvaluation ? Est-ce que lvaluatrice interne
pourra nous aider dans notre organisation ? 31
Page 32
Des questions ? Suggestions ? Commentaires ? Observations ?
32
Page 33
MErCI DE VoTRE AtTeNTIoN THaNK YOU FoR YOuR ATTeNTION MuCHaS
GRAcIAS DE Su ATeNCION DAnK U VOoR UW AANdACHT 33
