L’évaluation

SamsonEric Master 2 IDESS

UE7 février2020

L’évaluation

DiagnosticObjectifs

Actions

Résultats ou critères

Indicateurs

Evaluation

• La docimologie est la science de l'évaluation. L'évaluation est appliquée dans tous les domaines où des résultats sont attendus, et où il faut apprécier (évaluer) leur atteinte ou le chemin restant à parcourir pour les atteindre.

• L'évaluation est un processus, « Ex-ante », « in itinere», et/ou «  Ex-post  » qui sert à estimer, corriger ou prioriser des actions ou processus, ainsi qu'à éclairer les processus de décision ou d'investissement et financement.

Qu’est-ce que l’évaluation ? CIRCULAIRE du 1er décembre 2000 relative aux conventions pluriannuelles d'objectifs entre l'Etat et les

associations

• Evaluer, c’est porter un jugement sur le niveau, la valeur des résultats par rapport aux objectifs.

• Evaluer, c’est expertiser la valeur des actions réalisées, leur adéquation aux objectifs affichés.

• Elle permet d’apprécier la validité de l’objectif initial, des conditions de sa réalisation, des raisons éventuelles qui peuvent justifier des écarts entre les résultats obtenus et les résultats attendus.

Finalités de l’évaluation• Déontologique :

rendre des comptes aux responsables, aux partenaires et au public sur la mise en œuvre du projet et sur les résultats obtenus.

• Gestionnaire : répartir plus rationnellement les ressources humaines, matérielles et

financières entre les différentes actions.

• Décisionnelle : préparer des décisions concernant la poursuite, l'arrêt ou la refonte du

projet.

• Apprentissage et de mobilisation : contribuer à la formation et à la motivation des acteurs et de leurs

partenaires en les aidant à comprendre les processus auxquels ils participent et à s'en approprier les objectifs.

L’évaluation est un outil :

• Pédagogique parce qu’elle suppose une certaine rigueur de méthode pour faire travailler ensemble les acteurs et les partenaires sur un objectif commun.

• Opérationnel d’aide à la conduite du projet, à sa réalisation conformément à ses objectifs initiaux, à une utilisation plus rationnelle des ressources humaines et financières.

• Pratique qui, en voulant déterminer la cohérence d’un projet, est une aide à la décision et un facteur de mobilisation d’une équipe.

• Stratégique , permettant d’orienter les politiques publiques par une action concertée, l’élaboration de nouveaux projets et de nouvelles actions sur la base de l’expérience acquise et de son évaluation.

L’évaluation vise à développer la responsabilisation des acteurs.

L’évaluation s’appuie sur :

• des méthodes plus ou moins normées (selon le secteur), sur des référentiels, sur le respect de principes et critères et sur un cahier des charges

• des outils (indicateurs et grilles d'évaluations)

• Un cadre de référence

Des critères !

• Les critères représentent des domaines de référence qui servent de base au jugement.

• On utilise généralement 5 grands critères.

Les critères !• COHERENCE–Les objectifs sont-ils cohérents entre eux et les moyens

sont-ils adaptés aux objectifs ?

• PERTINENCE–L’action constitue-t-elle une réponse pertinente aux

besoins exprimés ?

• EFFECTIVITE–Quel est l’écart entre les résultats obtenus et les résultats

attendus ?

Les critères !

• EFFICIENCE–Quel est le rapport entre les coûts et les objectifs, les

résultats sont-ils à la mesure des coûts ?

• FAISABILITE–Analyse des moyens mis en œuvre.

L’ indicateur• C’est un outil d'évaluation et d'aide à la décision grâce

auquel on va pouvoir mesurer de façon objective une activité, à un instant donné, ou dans le temps et/ou l'espace.

• Il est qualitatif ou quantitatif.

• Un indicateur peut en agréger d'autres. Il doit exister une relation causale entre le fait mesuré (indiqué) et l’indicateur.

Les « bons indicateurs »

• La disponibilité : trouver des indicateurs qui soient renseignables, la disponibilité des données doit être testée avant que l’indicateur soit choisi.

• La précision : un indicateur a pour objectif de donner des éléments d’information visant à accompagner une démarche de réflexion préalablement définie. En ce sens, l’indicateur doit permettre de donner des éléments d’information suffisamment précis

(il ne s’agit pas de disposer de données trop larges difficiles à analyser).

• L’utilité : il ne sert à rien d’avoir une batterie trop grande d’indicateurs, il suffit d’en choisir quelques uns, jugés les plus pertinents car les plus à même de fournir les éléments d’information en adéquation avec la question que l’on se pose. Ils doivent correspondre aux objectifs et aux résultats attendus. Ainsi, quand un indicateur est mis en place, il est important de se demander ce à quoi il renvoie et à quel niveau d’information il fait référence.

Types d’indicateurs• Les indicateurs de suivi

Les indicateurs de suivi se composent des indicateurs de réalisations et de résultats.

Ils se rapportent directement à l’action mise en œuvre. Ils informent sur les modalités de mise en application de l’action concernée et sur ses effets.

• Les indicateurs de réalisations :

Ils servent à vérifier si les actions programmées ont été on non réalisées et pour quel coût. De manière basique, ce sont les indicateurs de suivi de l’activité

• Les indicateurs de résultats :

Les indicateurs de résultats servent à identifier le produit immédiat d’une action ou d’une série d’actions. Ils se rapportent aux objectifs opérationnels visés et aux résultats attendus.

. Les indicateurs d’effet ou d’impact

Ces indicateurs se rapportent aux objectifs finaux et aux orientations stratégiques du projet. Ils servent à mesurer les effets des programmes d’actions (par la consolidation des résultats) et ont une portée plus générale. Ces indicateurs mesurent des évolutions à moyen et long termes. Ils permettent de voir en quoi les actions menées ont pu contribuer à une amélioration ou à une dégradation de la situation initiale.

Dans tous les cas, l’objectif est de comprendre, au regard des résultats observés par les indicateurs, quelles causes ou facteurs ont pu aussi contribuer à l’atteinte ou non des objectifs.

. Les indicateurs de contexte :

Les indicateurs de contexte servent pour leur part à établir des constats sur la réalité locale, si possible en amont, puis en aval de l’action publique. Ils ont un caractère descriptif, par exemple : le taux de qualification pour une classe d’âge, la proportion de bénéficiaires des minima sociaux sur un quartier, le taux d’alphabétisation, etc.

5 entrées thématiques pour évaluer Outil élaboré par CIRESE

Le Projet 1. Orientations stratégiques2. Objectifs opérationnels3. Modalités d’élaboration

La prise en compte du territoire

1. Diagnostic Territorial partagé2. Inscription territoriale

3. Participe à la dynamique du territoire

La gestion des ressources internes

- compétences- modalitésdepar1cipa1on- moyenshumains- moyenslogis1ques- méthodesdetravail- budget

La mobilisation des ressources externes

- ressourcesduterritoire- ressourcescommunautaires- partenariatins1tu1onnel- partenariattechnique- disposi1fslocaux

Le service rendu Au public+L’impact socialsur le territoire

Le Projet de la structure

1. Orientations stratégiques2. Objectifs opérationnels3. Modalités d’élaboration

LA COHERENCE

La prise en compte du territoire

1. Diagnostic Territorial partagé2. Inscription territoriale

3. Pratique dynamique du territoire

LA PERTINENCE

La gestion des ressources internes

CompétencesModalitésdepar1cipa1on

MoyenshumainsMoyenslogis1quesMéthodesdetravail

Budget

FAISABILITEATTRACTIVITE

La mobilisation des ressources externes

RessourcesduterritoireRessourcescommunautairesPartenariatins1tu1onnelPartenariattechniqueDisposi1fslocaux

Le service rendu Au public

+

L’impact socialsur le territoire

L’EFFICACITE

Le cadre de référence de l’ESS

Agrément Entreprises solidaires d’utilité sociale : ESUS (ARTICLE 11)

L’agrément « Entreprise Solidaire d’Utilité Sociale », dit agrément ESUS, est accordé aux entreprises de l’ESS qui répondent aux conditions cumulatives suivantes :

1. L’entreprise poursuit comme objectif principal la recherche d’une utilité sociale ;

2. La charge induite par son objectif d’utilité sociale a un impact significatif sur le compte de résultat ou la rentabilité financière de l’entreprise ;

3. La politique de rémunération de l’entreprise satisfait aux conditions suivantes :

a) La moyenne des sommes versées, y compris les primes, aux cinq salariés ou dirigeants les mieux rémunérés n’excède pas, un plafond fixé à sept fois la rémunération annuelle la plus faible ;

b) Les sommes versées, y compris les primes, au salarié ou dirigeant le mieux rémunéré n’excèdent pas, un plafond fixé à dix fois la rémunération annuelle la plus basse.

4. Les titres de capital de l’entreprise ne sont pas admis aux négociations sur un marché d’instruments financiers.

5. Les conditions fixées aux 1° et au 3° sont inscrites dans les statuts de la structure. Certaines entreprises bénéficient de plein droit de l’agrément : entreprises d’insertion, associations intermédiaires, services de l’aide sociale à l’enfance, d’hébergement et de réinsertion sociale, régies de quartier, entreprises adaptées, associations et fondations reconnues d’utilité publique, etc.

Différentes dimensions à évaluer

Sociale

Sociétale

PolitiqueÉpanouissement

Environnementale

Economique

Social, lutter contre les inégalités

La réduction des inégalités entre les personnes ou les groupes de personnes au niveau d’un territoire, d’un pays ou de la planète relève de l’utilité sociale, qu’il s’agisse d’inégalités d’accès au logement, au marché du travail, aux services, à la culture, etc. On peut également chercher à développer la capacité des personnes à agir et à choisir librement leur mode de vie.

Sociétale, faire société

Cette dimension consiste à renforcer ce qui fait qu’un ensemble d’individus constitue une société, notamment par le renforcement du lien social, le développement de la citoyenneté et la démocratie locale ainsi que l’encouragement du dialogue entre les cultures.

Politique, faire évoluer la société

L’économie sociale et solidaire contribue à transformer la vie de la cité. Cette dimension politique prend plusieurs formes. Dans un premier lieu, il y a celle de l’innovation : comment de nouvelles pratiques ou modes d’action expérimentés avec succès par les acteurs de l’ESS sont ensuite appropriés plus largement dans la société, notamment par les acteurs de l’économie « classique », ou pris en compte dans une politique publique, etc. L’évolution de la société peut, également, passer par des actions plus revendicatives qui interrogent ou remettent en cause la société ou certaines de ses composantes. Le renforcement de l’esprit critique de la population ainsi que la promotion de valeurs d’intérêt général y contribuent aussi.

Épanouissement, favoriser le mieux être et le développement de chacun

On peut regrouper dans cette dimension ce qui favorise le mieux-être et le développement des personnes en améliorant notamment leur cadre et conditions de vie  : meilleure qualité de vie, système de transport collectif performant, rythme de travail adapté…

Environnemental, développement durable

La mise en œuvre et la promotion de pratiques respectueuses de l’environnement relèvent elles aussi de l’utilité sociale.

Lestroispiliers

Ecologie

Economie Développementsocial

VivableViable

Equitable

Durable

U n d é v e l o p p e m e n t ,économiquement efficace,soc ia lement équitable etécologiquementsoutenable

LasolidaritéSolidaritédansletemps:

• Les poli1ques conçues et mises en œuvre aujourd’hui doivent préserver lescapacités des généra1ons futures à assurer leur propre développement. Ceprincipefaitappelauxno1onsderesponsabilité,deprécau1onetdelongtermedanslesprisesdedécision.

Solidaritédansl’espace:

• CeQe solidarité dans l’espace implique également que nous sommes touscitoyensdelaplanète.

Lesdécisionslocales,lescomportementsquo1diens,peuventavoirunimpactsurl’environnementplanétaire.

Il devient donc impéra1f de prendre en compte, dans les ac1ons locales, lesimpactspoten1elssurlesressourcesmondiales.

La luQe contre la pauvreté et l’instaura1on d’échanges interna1onaux pluséquitablessontdeuxcomposantesessen1ellesdudéveloppementdurable.

L’hommeaucœurdudéveloppement

Succédantàunelogiquepurementéconomique,le développement durable place l’être humainau cœur des processus de développement etpropose de conjuguer l’efficacité économique,les équilibres sociaux et la préserva1on desressources.

Responsabilité

De la concep1on des produits à la ges1on du patrimoine naturel et bâ1, enpassant par les poli1ques de l’eau, des déchets, de l’énergie, les exigencesenvironnementalesreflètentaujourd’huil’interdépendancedesmilieuxvivants,desusagesetdesdécisionspubliques.

Être solidaire des généra1ons futures, c’est engager sa responsabilité, sur leplanenvironnemental,socialetéconomique.

La responsabilité conduit à concevoir les modes de produc1on et deconsomma1onet à analyser les inves1ssements, dans l’objec1f de réduire lesimpactsdesac1vitéssurlesécosystèmes,lasantéetl’économie.Ellenécessitedemaîtriserlesrisquestechnologiquesetsociaux.

Préven1on,précau1on

Cemoded’ac1onprivilégielapréven;onplutôtquelarépara1onouletraitement,selonleprincipedeprécau;on.

CeQe responsabilité est aujourd’hui étendue aux impactsenvironnementaux,auxcondi1onsdetravaildupersonneletdessous-traitants, aux équilibres des échanges interna1onaux, enpar1culier avec les pays en développement et d’une manièregénérale, au respect des droits de l’ensemble des acteurs quicontribuentaudéveloppement.

UnenouvellegouvernanceL’aQen1onportéeparlescitoyensàlapréven1ondesrisques,adéveloppéunefortedemandesocialepouruneréellepar1cipa1onauxdécisions.

Le développement durable introduit la nécessité d’une concerta1on avec lesgrandsgroupessociauxconcernés,avanttouteprisededécisionengageantlespopula1ons et leur devenir. Les démarches de concerta1on conduisent à unenouvellepra1quedel’exercicedupouvoir.

C’est ceQe démocra1e renouvelée (gouvernance) qui fonde l’adhésion descitoyensàunprojetdedéveloppement.

Enproposantunregardnouveausur lerôledesterritoirespour ledevenirdeshommes,ledéveloppementdurableinvitelescollec1vitésàconstruireunprojetmobilisateur,enpartenariatavecl’ensembledesacteursdelasociété.Ilinciteàlatransparenceetàl’évalua1ondel’ac1on,génératricesdeconfiance.

LesenjeuxduDD

Con1nuerdesedévelopperen:

• Rééquilibrantlesrapportsentreécologie,économieetsocial

• RemeQantl’hommeaucœurdel’économie

• Impliquanttouslesacteurs

• RééquilibrantlesforceséconomiquesentreleNordetleSud

• Créantuneins1tu1oninterna1onalespourfairerespecterlesengagementsdesétats

Economique, créer des richesses

L’évaluation s’intéresse au développement de l’emploi mais pas seulement en nombre, également en qualité. La mise en œuvre de services qui contribueront au développement de l’emploi et plus largement à la dynamique territoriale est une façon de créer des richesses. Par exemple, la création d’une crèche avec des prix accessibles ou des horaires adaptés peut permettre à des parents de libérer du temps pour se former, pour faire des recherches d’emploi ou pour travailler. La création de services répondant à des besoins peu ou mal satisfaits sur un territoire est également une composante de la dimension économique de l’utilité sociale. Enfin, on pourra tenir compte des dépenses que l’action permet d’épargner à la société.

Quels critères?Concernant l’utilité sociale, Jean Gadrey dégage une pluralité de critères. Il considère d’utilité sociale « l’activité d’une organisation de l’économie sociale qui a pour résultat constatable et, en général, pour objectif explicite, au-delà d’autres objectifs éventuels de production de bien et de services destinés à des usagers individuels, de contribuer :

• à la réduction des inégalités économiques et sociales, y compris par l’affirmation de nouveaux droits,

• à la solidarité (nationale, internationale, ou locale : le lien social de proximité), et à la sociabilité ;

• à l’amélioration des conditions collectives du développement humain durable (dont font partie l’éducation, la santé, la culture, l’environnement, la démocratie ».

Quels indicateurs?

Développement économique

Qualité du service rendu à la population

Création d’emploi salarié

Degré d’autonomie financière

Degré d’autonomie vis-à-vis de la commande publique

Capacité d’innovation

Notoriété

Développement socialCréation de solidarité interne et externe

Socialisation et resocialisation

Responsabilisation du public

Engagement citoyen

Créativité

Réseaux sociaux

Partenariats

Développement humainSécurité

Bien être

Santé

Egalité de traitement

Promotion sociale et formation

Participation parties prenantes

Transparence

Reconnaissance

Liberté d’expression

Développement environnemental

Qualité environnementale des services

Réduction des pollutions

Réduction de la consommation d’énergie

Réduction consommation matières premières

Effort de recyclage des déchets

Sensibilisation des personnes

Durabilité des services

Protection environnement