24
Document label Calvados 2009 DEMARCHE D'EVALUATION Ce livret a été réalisé suite au module évaluation proposé aux élus et animateurs professionnels du département en démarche de labellisation.LES OBJECTIFS. Les objectifs de ce module, destiné à la fois aux élus locaux ou associatifs et aux professionnels, sont de reposer le sens et les enjeux de l’évaluation alors que bon nombre de structures sont aujourd’hui en phase de ré écriture de leur projet éducatif ; de faire émerger les différentes formes de l’évaluation imaginables et de concevoir ensemble une démarche d’évaluation qui sera à adapter à la réalité des structures et des territoires concernés. LES CONTENUS. Ce module est construit sur la base de trois phases : La première traite de la démarche d’évaluation dans sa globalité, la question du projet éducatif et du sens de l’évaluation dans la démarche de projet y sont abordés. La seconde séance traite de la question du « faire vivre l’évaluation au quotidien » et de la construction d’outils d’évaluation qui pourront être réappropriés par les sites. La troisième phase traite plus largement des aspects d’analyse 1Document label intégré site internet

DEMARCHE D'EVALUATION - · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

  • Upload
    dotruc

  • View
    220

  • Download
    0

Embed Size (px)

Citation preview

Page 1: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

DEMARCHE D'EVALUATION

Ce livret a été réalisé suite au module évaluation proposé aux élus et animateurs professionnels du département en démarche de labellisation.LES

OBJECTIFS.

Les objectifs de ce module, destiné à la fois aux élus locaux ou associatifs et aux professionnels, sont de reposer le sens et les enjeux de l’évaluation alors que bon nombre de structures sont aujourd’hui en phase de ré écriture de leur projet éducatif ; de faire émerger les différentes formes de l’évaluation imaginables et de concevoir ensemble une démarche d’évaluation qui sera à adapter à la réalité des structures et des territoires concernés.

LES CONTENUS.

Ce module est construit sur la base de trois phases :

La première traite de la démarche d’évaluation dans sa globalité, la question du projet éducatif et du sens de l’évaluation dans la démarche de projet y sont abordés.

La seconde séance traite de la question du « faire vivre l’évaluation au quotidien » et de la construction d’outils d’évaluation qui pourront être réappropriés par les sites.

La troisième phase traite plus largement des aspects d’analyse

1Document label intégré site internet

Page 2: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

CONTEXTE REGLEMENTAIRE Le caractère éducatif est marqué par l’obligation, pour l’organisateur, de concevoir et de rédiger un projet éducatif et, pour les directeurs, d’en traduire les finalités dans un projet pédagogique destiné à régler le fonctionnement de l’accueil (se référer aux articles R227-23 à R227-26 du code de l’action sociale et des familles). Ce document définit des objectifs, précise les conditions de leur mise en œuvre et précise les modalités d’évaluation de l’accueil. L’ensemble de ces documents doivent être communiqués aux familles.DANS LE CADRE DU LABEL

Tout projet éducatif doit prévoir une démarche d’évaluation sur les trois années de son existence, afin de mesurer la valeur ajoutée qu’il apporte aux enfants et aux jeunes sur un territoire. Dans le cadre du label, il s’inscrit dans une démarche de développement de la qualité de l’offre de loisirs éducatifs située dans le tissu local.L’évaluation doit mesurer les écarts entre ce qui est projeté et ce qui est réalisé (comparer les résultats aux objectifs compte tenu des moyens mis en œuvre), elle a lieu tout au long du projet et son analyse permettra de décider du projet ultérieur. DONNER DU SENS A L’ACTION : l’évaluation a vocation à faire émerger des problématiques et enjeux, des points forts et des points faibles et à proposer des améliorations pour la suite de la mise en œuvre de l’action.EVALUER POUR AMELIORER L’ACCUEIL, L’AMELIORER, L’ADAPTER… prendre en compte les évolution….

Il s’agit aussi d’un acte politique prévoyant la participation des acteurs. Les questions posées : comment associer les élus, professionnels, volontaires, familles, enfants…qui pilote et quel rôle pour chacun ? Que veut on analyser et comment ? Comment recueillir et prendre en compte les éléments quantitatifs et qualitatifs ? Quelle restitution prévoir ?

IMPORTANCE DE SE PROJETER DANS LE TEMPS : l’évaluation doit pouvoir s’effectuer régulièrement dans le temps, elle doit se construire sur la base d’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre.C’est un travail à portée plus éducative qu’administrative. Sa pertinence repose sur deux conditions complémentaires : la qualité des instruments de mesure et la qualité des débats entre les partenaires autour des résultats de la mesure.

Ensemble, nous complétons les tableau « Démarche d’élaboration de projet éducatif » : illustrant la place de l’évaluation dans la mise en place d’un projet éducatif.

2Document label intégré site internet

Page 3: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Tentative de définition non exhaustive des termes et concepts les plus couramment employés dans les démarches d’évaluation.

Il est important de distinguer au préalable contrôle et évaluation.

Contrôle : il mesure des écarts entre des produits, des démarches et une norme extérieure, préétablie. Le contrôle est mono référentiel. Il suppose un avant, un après. Il est régi par des critères de conformité, de logique, de cohérence. Il vérifie pour valider ou rejeter, corriger ou sanctionner. Il vise à normaliser.

Evaluation : elle est pluri référentielle, elle englobe et dépasse le contrôle. Elle privilégie le qualitatif sur le quantitatif. Au-delà du contrôle analytique, elle est conçue comme un processus intervenant dans un système ouvert, en évolution, en vue d'en élucider le fonctionnement et l'évolution. Les référentiels s'élaborent dans le processus même de l'évaluation. En ce sens, elle ne peut être que partagée par les acteurs.

Processus de détermination de la valeur (contribution au bien-être social), de la qualité et/ou de la légitimité de l’objet concerné. Les critères de jugement communément appliqués sont la pertinence, l’efficacité, l’efficience et occasionnellement la durabilité.

L’évaluation est à la fois un processus continu (collecter des données, les analyser et les interpréter), ainsi qu’une action (feed-back du processus, résultats, conclusions et recommandations aux parties prenantes pour leur projet et actions futures).

But : ou orientation (s), objectif global et ultime que la politique se fixe d’atteindre. Un but est souvent à long terme.

Cohérence : le rapport entre les objectifs fixés et les moyens mis en œuvre pour les atteindre.

3Document label intégré site internet

Le petit glossaire de l’évaluation

Page 4: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Critère(s) (d’évaluation) : dimensions abstraites, qualitatives d'un objet sur lesquelles on s'appuie pour se prononcer sur l'objet. On peut distinguer critères de réussite et critères de réalisation.

Les critères de réussite sont des caractéristiques du produit attendu retenues pour l'estimer et l'apprécier en fonction d'un référent pré-établi (cohérence, pertinence, rigueur, communicabilité, originalité, efficacité...).

Les critères de réalisation disent les actes concrets attendus.

Efficacité : Se réfère à l’ampleur avec laquelle une intervention, une action ou une mesure publique amène un changement et a provoqué (ou devrait probablement provoquer) les effets désirés et/ou souhaitables. C’est le rapport entre les objectifs et les résultats.

Efficience : Mesure pour savoir si les ressources humaines, financières, matérielles, etc. sont utilisées de manière à fournir les résultats (d’une action ou d’une activité) désirés de façon économe.

Enjeu (x) : situation(s) constatée(s) sur laquelle différents acteurs vont vouloir agir au regard de valeurs et de finalités partagées.

Finalité (s) : des convictions basées sur des valeurs humanistes, politiques, pour lesquelles les acteurs sont prêts à se mobiliser, des ambitions et des désirs, qui traduisent une volonté de changement et de développement visant une transformation de l’individu et de la société.

Impact : Changement (effet) à moyen et long terme, généralement au niveau sociétal, d’une intervention, d’une action ou d’une mesure publique (souvent en lien avec ses Buts). Ces changements peuvent être directs ou indirects, voulus ou non, positifs ou négatifs, etc.

Indicateur : Un indicateur est un élément identifiable, observable, mesurable qui rend compte des résultats obtenus. Un indicateur est la version concrète d'un critère qui permet de dire si l'objet répond au critère. Plusieurs indicateurs, se combinant, peuvent correspondre à un même critère.

4Document label intégré site internet

Page 5: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Objectif général : un objectif réaliste qui peut être atteint mais qui reste malgré tout imprécis sur ce qui est attendu (les performances) et qui ne peut pas être atteint en une seule fois. Il peut nécessiter des objectifs intermédiaires qui seront autant d’étapes de progression vers l’objectif général.

Objectif opérationnel : un objectif qui précise sans ambiguïté ce que l’on souhaite obtenir à l’issue de l’action. Il est aussi observable par tous, mesurable à chaque étape et à la fin de l’action. Il décrit la tâche à réaliser concrètement.

Orientation (s) : ou but (s), intentions générales à long terme d’une association, d’une municipalité, d’un groupe ou d’un individu dans un champ précis, ex : l’enfance et la jeunesse.

Pertinence : Degré ou ampleur avec lequel/laquelle une stratégie, une mesure, une action ou un objectif correspond au besoin identifié (cf. les enjeux) (besoins du groupe cible, besoins sociaux, priorités globales). Faisons-nous la « bonne » chose de la « bonne » manière pour les « bonnes » personnes ?

Projet : Ensemble d'activités, de prestations ou d'interventions coordonnées et conçues pour atteindre un même objectif prédéfini. Il est limité en termes de temps, d’étendue et de budget et évaluer régulièrement.

Réalisation(s) : Effets probables ou réalisés à court ou moyen terme d’une intervention, une action ou une mesure publique en relation avec ses objectifs.

Résultat(s) : Les activités, les réalisations et/ou les impacts (voulus ou non, positifs ou négatifs, directs ou indirects) d’une mesure publique, d’un projet…

Qualitatif :l'évaluation qualitative mesure les changements d'attitudes ou de comportements

Quantitatif : Collecte d'informations chiffrées permettant l'étude des comportements, attentes ou opinions réalisée auprès d'un échantillon de la population et

5Document label intégré site internet

Page 6: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009dont les résultats chiffrés sont ensuite extrapolés à l'ensemble de la population étudiée.

Valeur (s) : ce qui nourrit le sens des projets et des actions (la liberté, la justice, …). Elles ont une fonction de clarification pour fonder nos jugements sur la réalité que nous vivons.

6Document label intégré site internet

Page 7: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

7Document label intégré site internet

1 NIVEAU POLITIQUE 2 NIVEAU EDUCATIF3 NIVEAU PEDAGOGIQUE

Situation initiale

diagnostic, état des lieux

VALEURS

FINALITESEnjeu de territoire

Enjeu de territoire

Enjeu de territoire

ORIENTATIONS

Objectif éducatif général

Objectif éducatif général

Objectif opérationnel

Objectif opérationnel

Objectif opérationnel

Objectif opérationnel

Objectif opérationnel

Moyens

Moyens

Action1

Action2

Action3

Action4

Action5

Situation souhaitée (effets attendus)

La citoyenneté

Des jeunes consommateurs de loisirs

Manque de respect des jeunes entre eux

Actes d'incivilité

La participation des jeunes au niveau local

Dynamiser la vie locale

Favoriser l'apprentissage de la citoyennté et de la responsabilité chez les jeunes

Amener les jeunes à s'exprimer

Accompagner les jeunes dans la mise en oeuvre de projets

Mettre en place des outils pour l'expression des jeunes

Temps de concertation avec les jeunes

Mise en place de projets élaborés progressivement par les jeunes

Des jeunes qui proposent, et soient autonomes dans l'élaboration de projets

Des projets qui ont un impact sur la vie locale

Démarche d’élaboration de projet éducatif

Page 8: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

8Document label intégré site internet

1 NIVEAU POLITIQUE 2 NIVEAU EDUCATIF

3 NIVEAU PEDAGOGIQUE

Situation initiale

diagnostic, état des lieux

VALEURS

FINALITESEnjeu de territoire

Enjeu de territoire

Enjeu de territoire

ORIENTATIONS

Objectif éducatif général

Objectif éducatif général

Objectif opérationnel

Objectif opérationnel

Objectif opérationnel

Objectif opérationnel

Objectif opérationnel

Moyens

Moyens

Action1

Action2

Action3

Action4

Action5

Situation souhaitée (effets attendus)

CE QUI EST MESURABLE PAR L’EVALUATION

IMPACT ?

RESULTAT(S)

REALISATION(S)

PERTINENCE ?

COHERENCE ?

EFFICIENCE ?

EFFICACITE

QUANTITATIFQUALITATIF

Le projet répond-il aux enjeux, aux besoins, aux attentes ?

CRITERE(S)

Rapport entre objectifs et résultats ?

INDICATEURS

Quelles évolutions et changements grâce au projet ?

Page 9: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Démarche globale, des questions à se poserPourquoi évaluer ?

Evaluer, c’est s’interroger sur ses modes de fonctionnement ?C’est mesurer et analyser les effets d’une action

A partir d’objectifs que l’on s’est fixé mesurer les résultats à partir d’outils adaptésQu’évaluer ?

L’écart entre les actions prévues et réaliséesLe projet au regard des critères

Schéma de développementLes 3 niveaux politique, éducatif, pédagogique

Le partenariat : avec quiLes moyens

La pertinence de l’actionLes personnes

Comment évaluer ?Collecter les informations, les analyser, les interpréter

Choisir des objectifs dont les résultats sont analysablesChoisir des indicateurs

Prévoir la manière dont on recueilleS’approprier les résultats de l’évaluation

Qui évalue ?C’est un acte politique qui vise la participation de tous acteurs

Avec ou sans le concours de personnes extérieuresQuand évaluer ?

Trois types d’évaluation1/ ex-ante (étude de faisabilité et d’impact d’une politique envisagée)

2/ ex-post (tirer les enseignements d’une politique)3/ concomitante (ou chemin faisant)

9Document label intégré site internet

Page 10: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

LES OUTILSIls vont servir à la collecte des données, des informations.Ils sont construits en lien avec des questions qui vont aider à leur élaboration(qui va évaluer, qui va utiliser l’outil, à quel moment va-t-il être utilisé, que cherche-t-on à savoir précisément (et pourquoi ? quels enjeux ?).Le choix des outils dépend du public, de ce que l’on souhaite mesurer et du degré d’analyse que l’on souhaite mettre en œuvre : Enquêtes (par questionnaires, par entretiens)Grilles (d’évaluation par graduation, d’observation)Outils de suivi (cahier de liaison, carnet de bord, mur d’expression…)

Définition d’un indicateur :un élément identifiable, observable, mesurable qui rend compte des résultats obtenusC’est un outil qui va nous permettre d’évaluer la réalisation d’un objectifIl est énoncé de façon non équivoque (tout le monde met le même sens sur les mêmes mots)Il décrit un comportement observable des individus (ce qu’ils font réellement)Il indique les conditions de ce comportement (quand, combien de temps, avec quels outils …)Il précisé le niveau d’exigence (objectif atteint si l’individu, placé dans telles conditions réussit X fois ou dans x % des cas)

On décrit précisément l’indicateur en reprenant l’énoncé de l’objectif opérationnel et en répondant aux cinq questions des critères d’évaluation :

La cohérence : Est-ce que ce que je fais est bien en accord avec les objectifs de départ ?Est-ce que les différentes actions menées sont en accord entre elles ?

La conformité : Est-ce que ce que je fais respecte les textes réglementaires et les usages locaux ?

La pertinence : Est-ce que ce que je fais répond bien à ce que j’attendais en termes d’effets recherchés ?

L’efficience :Est-ce que ce que je fais utilise au mieux les ressources locales et répond au mieux aux besoins et aux désirs ?

L’efficacité : Est-ce que ce que je fais atteint bien les objectifs que je m’étais fixés et satisfait le public visé ?

10Document label intégré site internet

Page 11: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

QUELQUES EXEMPLES DE CONSTRUCTION D’INDICATEURS ET OUTILS ATTENANTS

CritèreCritère : : Qualité de l’offre éducativeQualité de l’offre éducative

Indicateurs : - couverture des différentes périodes de temps libres- diversité des activités proposées- statuts et qualifications des intervenants…

Outils : (grilles de récoltes) - couverture des différents temps par tranche d’âge- thématiques des activités proposées sur les temps périscolaires- thématiques des activités proposées sur les temps extrascolaires- intervenants sur les temps périscolaires- intervenants sur les temps extrascolaires…

CritèreCritère :: Niveau d’accessibilitéNiveau d’accessibilité

Indicateurs : - implantation équilibrée des actions sur le territoire- participation des enfants et des jeunes par commune / secteur et hors territoire- mobilité des enfants et des jeunes- participation financière des familles…

11Document label intégré site internet

Page 12: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Outils : (grilles de récoltes)- taux de participation par commune / secteur et hors territoire- nombre de participants par tranche d’âge et par sexe à chaque activité- localisation des activités et modalités de transports- types de participation financière des familles …

CritèreCritère :: Niveau d’ouverture au plus grand nombreNiveau d’ouverture au plus grand nombre

Indicateurs : - participation des enfants et des jeunes du territoire- participation aux activités par tranche d’âge- mixité dans les activités proposées- participation de publics spécifiques- renouvellement des publics aux activités…

Outils : (grilles de récoltes et questionnaire)- nombre de participants par tranche d’âge et par sexe à chaque activité (outil présenté dans l’indicateur « niveau d’accessibilité »)- modalités d’accueil de publics spécifiques (enfants handicapés, enfants du voyage, primo arrivants, familles à minima sociaux…)- taux de réinscription d’une année sur l’autre, accueil de nouveaux publics …

CritèreCritère :: Niveau de participation et d’implication de la communauté éducativeNiveau de participation et d’implication de la communauté éducative

Indicateurs : - groupe de pilotage local : composition élargie, organisation et fonctionnement démocratique- degré de participation et d’implication des enfants et des jeunes - liens et articulations du projet avec les projets d’établissements scolaires- liens et articulations du projet avec les autres projets et dispositifs du territoire- modalités de coordination

12Document label intégré site internet

Page 13: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Outils : - questionnaire- relevés de conclusion et comptes rendus des différentes réunions…

CritèreCritère :: Niveau d’information sur le ProjetNiveau d’information sur le Projet

Indicateurs : - modalités de communication en direction des jeunes et des familles- renouvellement des publics aux activités…

Outils : - questionnaire

… Autre(s) critère(s)Autre(s) critère(s) ::

Indicateurs: - - - - …

Outils : nommer et produire - -

13Document label intégré site internet

Page 14: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009Exemple d'une grille de bilan d'équipe lors du fin de séjour :

Tres satisfaisant 1 Satisfaisant 2 Moyen 3 Insatisfaisant 4 Très insatisfaisant 5

Intitulés 1 2 3 4 5 Observations

Le projet

Les objectifs fixés ont-ils été atteints ?

le lien a t-il été effectué entre le projet pédagogique et les activités menées ?

le lien a t-il été effectué entre le projet pédagogique et les sorties ?

L'équipe

Il y a t-il eu répartition des tâches au sein de l'équipe ?

Il y a t-il eu mixité dans l'équipe en âge et expérience ?

Il y a t-il eu des échanges et du travail commun ?

Il y a t-il eu de la place pour chacun ?

Comment ont été les relations équipe pédagogique et équipe de service ?

Comment ont été les relations équipe d'animation et équipe de direction ?

Le fonctionnement

Comment à été l'organisation de l'accueil ?

Les moyens matériels ont-ils été suffisant ?

Il y a t-il eu respect des horaires (accueil, activités, ...) ?

Comment à été la préparation des activités ?

Comment à été la préparation et la gestion des sorties ?

14Document label intégré site internet

Page 15: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Bilan Individuel Hebdomadaire

15Document label intégré site internet

Page 16: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

16Document label intégré site internet

Page 17: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Construction d'outils par les participants du module en lien avec les critères du Label enfance/Jeunesse

Inscrire le projet dans une dynamique territoriale.

Indicateurs :

- qualité et quantité des relations avec les partenaires, les acteurs du territoire- implication de la structure, du public dans des événementiels du territoire- connaissance et complémentarité des partenaires et des acteurs de terrain

Outils :

- graphique (nombre de rencontres et qualité des rencontres - + )- échelle de degré de participation- rencontre / qualité (grille d’entretien)

Notes :

- notion géographique- dynamique sur le territoire- interactions : on est pas isolé- tenir compte de l’existant- être force de proposition- climat politique

17Document label intégré site internet

Page 18: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Rendre l’enfant et le jeune acteur de ses loisirs.(critère : le niveau d’implication des jeunes)

Pourquoi ? Suite à des retours ou des questionnements de la part de famille ou d’autres acteurs de la commune concernant les choix et la

pertinence des activités proposées (contexte).

Quoi ? L’implication des jeunes dans le choix des contenus des programmes d’activités, L’implication des jeunes dans la réalisation de ces mêmes programmes d’activité, sont ils bien venus ?

Comment ? Par la collecte d’informations qualitatives et quantitatives (le choix des outils dépend du public, de ce que l’on souhaite mesurer, du degré d’analyse…)

Au cours de discutions formelles ou informelles (outils de suivi) Par le biais de grille d’évaluation (graduelle) Par le biais de questionnaire de satisfaction à destination des enfants comme des parents.

Qui ? Les élus par l’intermédiaire des animateurs.

Quant ? A la fin de la semaine d’activité

L’ évaluation : des indicateurs Les jeunes proposent t’ils ? (% des activités/projets proposées par les jeunes) La présence, les jeunes sont ils présent (dans le cadre d’un local jeunes) La place de l’animateur, est il la comme accompagnateur ou comme faiseur à la place des jeunes.

18Document label intégré site internet

Page 19: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Inscrire la famille comme partenaire incontournable.

Critère : association des familles régulièrement avant, pendant et après les projets (projets éducatifs, pédagogiques)

Indicateurs : Nombre de rencontres organiséesTaux de participation par rapport au public visé (quantitatif)Nombre de parents actifs (qualitatif) : prise de parole, nombre de proposition, attitude (constructive, négative).

Outils : Qui ? Une personne de l'équipe mais l'animateur de la réunionQuand ? Lors de temps de réunion d'information, de consultation

Nombre d'invités : Nombre de présents : Objectif de la réunion :

Nombre de prise de parole des parents

Nombre de proposition Attitude des participants (ennuie, constructifs, compréhensifs...) :

Nature des propositions exprimées :

Décisions éventuelle (selon le type de réunion) avec les familles ou à posteriori décisions des élus, de l'équipe communiqué après aux familles :

19Document label intégré site internet

Page 20: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Critère :Qualité de la communication envers les familles (communiquer plus et mieux)

Communication interne à la structure Indicateurs : Echanges mutuels sur le comportement des enfantsNombre de familles présentes sur le temps d'accueilMise en place d'outils visuelsVarier les formes de communication (plus festives...)

Outils : En s'appuyant sur la feuille de pointage de présence des enfants, mettre en place un code couleur, pour signifier si on a eu un échange avec les familles (définir avec les équipes les différents niveaux d'échange : salutation, échange concernant l'enfant, échange concernant le projet...).Observer ainsi l'évolution de l'implication des parents sur les temps d'accueil.

Communication externe : Indicateurs : Nombre de nouveaux adhérents grâce aux supports de communication (impact)Fréquence de distribution outils de communicationRetours des partenaires : est- ce qu'elles sont lues, comprises de tous attractives ?

20Document label intégré site internet

Page 21: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

RECUEIL ET ANALYSE DES DONNEESEvaluer : L'évaluation permet de mesurer l'écart entre le voulu et le vécu, l'écart entre une situation T et une situation T+ au regard des objectifs fixés. En se posant les questions de :

La pertinence de l’action ? (objectifs adaptés aux problèmes, au public, au contexte ?)Son efficacité ?(objectifs atteints, dans quelle mesure ?)Son efficience ?(effets obtenus par rapport au moyens mis en œuvre ?)Son utilité ? (impact de l’action sur société, public…)Sa cohérence ? (les actions mise en œuvre correspondent-elles aux intentions éducatives de l’organisateur ?)

1) Recueil des données :

1. Définir des critères et des indicateurs quantitatifs et qualitatifs en lien avec les objectifs du projet

2. Définir des instruments et méthodes pour collecter les données au cours du déroulement du projet selon différentes formes :

Evaluation implicite : (évaluation au travers ses effets)

mimiques manifestant l'ennuie ou l'intérêt, l'accord ou le désaccord dans une discussion (observation) l'absence ou la présence de jeunes lors d'une animation prévue

Evaluation spontanée (à travers une formulation) jugement du type « c'était un jeu intéressant » par des temps d'échanges formalisés ou informels

Evaluation institue (analyse objective de la situation avec des outils définis en amont) test d'évaluation – enquête grille d'analyse méthodes comparative

21Document label intégré site internet

Page 22: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

tableau de bord

La complémentarité des formes d'évaluation est essentielle et s'appuie sur trois modalités principales : l'observation, le recueil de paroles et des grilles.

2) Analyse des données :

Nous abordons ensemble l’étape importante d’analyse des résultats : qui nécessite

une vision claire du projet, une analyse aussi précise de la situation a un moment donné, un comparatif régulier entre le projet et la situation actuelle

Comment procéder à l’analyse : il s’agit de s’emparer des résultats et de s’interroger sur ces résultats, les comprendre.

trier les données ; éventuellement les regrouper en catégories ; les mettre en perspective avec des critères de jugement posés initialement (objectifs à atteindre…s’ils ne l’ont pas été pourquoi ? et s’ils l’ont été

comment ?) comparer les résultats de l'indicateur à une référence ; les comparer entre eux (cohérence) ; les comparer éventuellement avec des résultats

antérieurs ; ...

Faire émerger enjeux, points faibles et points forts, les éléments déterminants, les écarts entre objectifs et réalité, les conditions favorisant les expériences constructives…

La production de données et la mesure d’un écart ne suffisent pas à constituer une évaluation,mais constituent des outils préalables pour analyser la conduite et les résultats d’un projet.

L’évaluation doit permettre de porter un jugement critique (qui n’a rien à voir avec une sanction)sur le projet.

Pour ce faire, il est nécessaire de disposer de critères de jugement qui permettrontde déterminer la qualité du projet et des activités qu’il permet de mettre en oeuvre.

22Document label intégré site internet

Page 23: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

Cet exercice est l’occasion d’une démarche partenariale et d’un travail collectif : réaliséen comité de pilotage, il permet, par exemple, de débattre des attentes de chacun.Le choix collectif de critères favorisera par ailleurs l’appropriation et l’utilisationdes résultats.

Les conclusions doivent être pertinentes par rapport aux décisions à prendre et correspondre aux questions posées en début d’évaluation.

3) Mesure de l'évolution

4) Communiquer / Valoriser

Les résultats de l’évaluation offrent un bon support pour communiquer sur la mise en oeuvre desactivités et les résultats du projet.Dans un souci de clarté et de pédagogie, le niveau d’information peut être fonction du publicauquel il s’adresse et les outils de communication adaptés au message.

L La valorisation vise :• à ce que l’évaluation soit utilisée,• à ce que les résultats et les recommandations soient mieux connus et pris en

23Document label intégré site internet

Cela se passe comme prévu Partiellement Pas du tout

L'analyse de la situation est quand même importante, afin de réguler, de questionner son mode de fonctionnement et chercher à l'améliorer

- Points à conforter- Insastisfaction (recherches des causes dans la démarche : espace, temps, matériel, interventions...)- Réajustement de la stratégie

- Analyse des causes

- Nouvelle stratégie

Page 24: DEMARCHE D'EVALUATION -  · PDF filed’outils concrets clairs et simples, les rapports d’activités annuels sont aussi des outils qui seront ré utilisés dans ce cadre

Document label Calvados 2009

considération (par les financeurs et les acteurs),• à mobiliser les acteurs concernés par le projet,• à informer et faire évoluer le projet avec les partenaires e cahier des chargesAppliquer le résultat : il s’agit de prendre en compte les recommandations

Poursuivre les actions (acquis à confirmer)Arrêter des actionsProposer des améliorations (lacunes à combler)Réorienter les objectifs (orientations nouvelles à suivre)Modifier la démarche

« Conduire une démarche d’évaluation et non plus se soumettre à l’évaluation, c’est avant tout réfléchir au projet, se demander en quoi on est porteur de transformation sociale ». Loïc Danieu « Dossiers pour notre temps ».

24Document label intégré site internet