Groupement Amnyos- Edater

Évaluation d’impact de l’axe 3 du POn FSE :lutter contre la pauvreté et promouvoir l’inclusionDans le cadre du suivi et évaluation du programme opérationnel national« emploi et inclusion » du FSE pour la période 2014-2020

Comité de pilotage n°1 – 28 janvier 2019,présidé par Mme Gallo, adjointe à la direction Europe et International

29/01/2019

Actions et effets du FSE dans le domaine de l’inclusion :état des lieux sur la base des données de suivi

et des entretiens de lancement

(2)01/02/2019

Ordre du jour

La méthode d’évaluation

Bilan des travaux de phase 1:

Enseignements des données de suivi

Retours d’entretien : avis et attentes sur l’évaluation

Prochaines étapes de l’évaluation

(3)

La méthode d’évaluation

Le cadre d’évaluation

Obligation donnée aux AG des programmes européens 2014-2020 : 1 évaluationd’impact pour chaque priorité

Les étapes et productions :

• Bilan de la mise en œuvre de l’axe 3, avec panorama de l’offre d’insertion, intégrant des valorisations régionales

• Evaluation de l’impact des opérations financées au titre de l’axe 3, combinant deux méthodologies (théorie et contrefactuel)

• Des recommandations

Méthodologie, impliquant l’ensemble des parties prenantes à la mise en œuvre del’axe 3

• Analyse documentaire

• Analyse et valorisation des données de programmation et de suivi

• Entretiens avec les acteurs clés

• Enquêtes auprès des AGD, OI, Porteurs

• Analyses contrefactuelles sur 2 dispositifs : enquête auprès des participants

• Groupes de travail notamment sur le volet recommandations

(4)

Un questionnement évaluatif large

• Les dispositifs financés s’adressent-ils aux personnes les plus éloignées de l’emploi ? Comment ces publics sont-ils identifiés, leurs besoins sont-ils bien pris en compte ?

• Existe-t-il des solutions différenciées de prise en charge de ces différents publics, quelles en sont les spécificités ?

• Quelle est la perception par les différents publics de la prise en compte de leurs besoins ? Comment s’orientent-ils dans l’offre d’insertion ?

• Les organismes intermédiaires ont-ils réussi à mobiliser largement les acteurs du champ de l’inclusion sur les territoires ?

• Assistons-nous à une politique réellement concertée sur les territoires en matière d’inclusion sociale? Y-a-t-il une amélioration de la gouvernance de l’inclusion sur les territoires ? Transforme-t-elle le jeu des acteurs de l’offre d’insertion ?

• Quelle est la capacité des dispositifs d’accompagnement renforcé à permettre l’amélioration de la situation des publics très éloignés de l’emploi et/ou vulnérables ? Quelle est la place faite à la situation de mise en emploi ? Le financement FSE a-t-il permis une amélioration de l’ingénierie des parcours ?

• Quelle est l’efficience des dispositifs mis en place ?

• Les acteurs de l’insertion ont-ils développé des stratégies de rapprochement avec le monde socio-économique ? La relation entre les structures d’insertion et les entreprises a-t-elle évolué ? Comment se traduit la mobilisation des employeurs sur le champ de l’exclusion ? A-telle eu pour effet de faire évoluer l’offre d’accompagnement, voire l’offre de formation ?

• L’économie sociale et solidaire apporte-t-elle des réponses diversifiées et efficaces ? Contribue-t-elle à un renouvellement de l’offre d’insertion ? Si oui, comment cela se traduit-il sur les territoires ?

• Quelle est la capacité des porteurs de projets à porter des solutions nouvelles ? Sont-elles transférables ou déployables à plus grande échelle ?

• En termes d’insertion durable (CDI ou CDD de plus de 6 mois), quelle est l’efficacité des dispositifs d’accompagnement cofinancés, les conditions du retour à l’emploi ? Existe-t-il pour ces publics d’autres critères d’efficacité que le retour en emploi, comme la levée des freins à l’emploi ? Comment cette dernière se traduit-elle et quels en sont les gains principaux ?

• Existe-t-il un suivi de la situation des différents publics lorsqu’ils sont sortis de l’accompagnement ?

(5)

Calendrierprévisionnel

(6)

Nov. Déc. Janv.Févr.Mars Avr. Mai Juin Juil. AoutSept. Oct.

1 2 3 4 5 6 7 8 9 10 11 12

4

4

CP

@

4

4

CP

@

4

4

4

@

4

u

CP

u u

4

CP

u

Nov. Déc. Janv.Févr.Mars Avr. Mai Juin Juil. AoutSept. Oct.

Analyse quanti. des données de programmation

Etape 2 - Evaluation nationale

d’impact de l’axe 3

Etape et Phases

ETAPE 1 - Cadrage et bilan de l'axe 3

Phase 1.1 - Travaux préparatoires et premier bilan de l'axe 3

Entretiens de cadrage avec les membres du Copil (+ têtes de réseaux)

Note méthodologique générale étape 1

Analyse documentaire approfondie et analyse des indicateurs de contexte

Définition de typologies d'opérations et de porteurs

Phase 2.1 - Evaluation basée sur la théorie - Investigations et analyses

Version provisoire du panorama français de l’offre d’insertion

Comité de pilotage 1

Phase 1.2 - Finalisation des livrables (panorama et note méthodo)

Enquête mail exhaustive auprès des OI et des AGD

Étude de faisabilité de l'approche contrefact. et proposition des méthodes et dispositifs

Panorama de l’offre d’insertion intégrant les 22 fiches régionales et des reco.

Comité de pilotage 2

Etape 2 - Evaluation nationale d’impact de l’axe 3(théorie et contrefactuel sur 2 dispositifs)

Enquête internet auprès de l’ensemble des porteurs de projets de l’axe 3

12 Études de cas sur la logique d'intervention de l'axe 3 dans les territoires

Enrichissement du panorama de l'Etape 1

Version provisoire de la chaine causale de l’axe 3 du FSE et présentation des résultats

Rapport d'éval. provisoire: intégrant chaine causale, études de cas, reponse aux QE

Comité de pilotage 4

Présentation et diffusion des résultats de l'évaluation

Etape 1 - Cadrage et

bilan de l'axe 3

Entretiens complémentaires "représentant des dispositifs" (résultats du contrefactuel)

Comité de pilotage 3

Phase 2.3 - Enrichissement des livrables, appropriation et valorisation

Groupes de travail avec AGD et OI pour coconstruire les recommandations

Enrichissement et rédaction des livrables finaux

Phase 2.2 - 2 Evaluations contrefactuelles - Investigations et analyses

Collecte et préparation de la donnée pour l'analyse contrefactuelle

Enquêtes téléphoniques (*2 pour les 2 dispositifs)

Analyse contrefactuelle et statistique

Entretiens approfondis avec des représentants des 2 dispositifs

Rapport provisoire de présentation des résultats du contrefactuel

Élaboration de DLI et de sociogramme d’acteurs

(7)

Chapitre 2

Enseignement des données de suivi(extraits de la synthèse relative à l’exploitation des données de suivi – 18/01)

Données arrêtées au 08/10/2018 ;Croisement des bases « opérations financières » et « participants »Valorisation au titre du « Suivi des participants » et non sur les personnes physiques

L’axe 3 du POn FSE 2014-2020: 3 objectifs spécifiques

(8)

GROUPES D’OPERATIONS

Accroître le nombre de personnes accompagnées dans le cadre de parcours intégrés d’accès à l’emploi

Améliorer la couverture territoriale de l’offre d’insertion

Renforcer la qualité et l’efficacité des parcours d’accompagnement (Individualisation / Formation)

Accroître le nb d’employeurs impliqués dans l’accompagnement des publics

Renforcer la qualité et l’efficacité des parcours d’accompagnement (relation avec les employeurs / mise en situation professionnel)

Créer les conditions d’une animation renouvelée de l’offre d’insertion

Accroître la lisibilité de l’offre d’insertion dans les territoires

Augmenter le nombre d’accords territoriaux de coordination de l’offre d’insertion

Développer l’ESS

Parcours vers l’emploi individualisés et renforcés

• Accompagnement renforcé (global PE)

• Mise en œuvre de certaines étapes de parcours

Ingénierie de parcours

Orientation, formation et accompagnement des jeunes très désocialisés

CHANGEMENTS ATTENDUS

Coopération entre entreprises et SIAE

Développement de la responsabilité sociale des entreprises (clauses sociales)

Mobilisation renforcée des employeurs pour l’accès des publics à une plus large palette de choix professionnels

Appui à la définition et à la mise en œuvre des PTI et PTCE

Diagnostic et études sur les publics et acteurs de l’offre territoriale d’insertion

Création, développement, expérimentation d’outils de coordination notamment sur les TIC

Projets innovants socialement

OS 2 : Mobilisation des employeurs et des entreprises dans les parcours d’insertion

OS 3 : Développer les projets de coordination et d’animation de l’offre en faveur de l’insertion et/ou de l’économie sociale et solidaire (ESS)

OBJECTIFS SPÉCIFIQUES

OS 1 : Augmenter le nombre de parcours intégrés, dans une approche globale de la personne pour des publics très éloignés de l'emploi

L’axe 3 du POn FSE 2014-2020: 3 objectifs spécifiques

(9)

Retraitement de la base « opérations » pour caractériser la nature des opérations, principalement:

• Accompagnement de parcours, dont PE, CD, PLIE

• IAE (ACI)

• Etapes de parcours

• Actions à destinations des entreprises

• Ingénierie de parcours

• Animation territoriale

• Actions innovantes

• Soutien aux tête de réseaux

• Autres

Une mise en œuvre majoritaire sur l’accompagnement de parcours et l’IAE

(10)

L’un des enjeux sera de qualifier précisément ce que chacun nomme « accompagnement de

parcours », dans le cadre des enquêtes et des études de cas territoriales

Les principaux OI de l’axe 3

(11)

Autre

Au-delà des configurations d’OI, objet de la présente diapo, il est signalé que les Plie peuvent être

également en configuration de bénéficiaire de subvention simple, en bilatéral avec Etat ou CD

Architecture de gestion 2014-2020

(12)

Autorité de gestion déléguée - Direccte

Op

éra

teu

rs

Organismes

de formation

OIG

AG

D

ACIAutres

SIAE

Association

insertion Accpgmt renforcé

Mission locale

Département

Accpgmt de parcours

Chantiers d'insertion

Autre : étapes de parcours…

PÔLE EMPLOI territorial

Autorité de gestion POn - DGEFPAG

PLIEDépartement

mutualisé PLIE

Autorité de gestion POr– Conseils Régionaux

RemobilisationProjet professionnel

Accès savoirs de base, Pré-qualification

Formation des DE et jeunes de BNQ

Métropole

Agences

locales

PÔLE EMPLOI Central:

accompagnement global

PLIE Pivot

Accpgmt de parcours

Médiation entreprises Facilitation Clauses

Animation territoriale

Profil des participants: chômeurs et inactifs à 83%

(13)

Statuts des participants à l’entrée des opérations Profils des participants à l’entrée des opérations

POn FSE Axe 3

Répartition Femmes-Hommes 50/50

Niveaux de diplômes CITE 0-2 66% 72%

Bénéficiaires de minima sociaux 56% 74%

Précisions à apporter sur les 3% en emploi durable (liés à des

réenregistrement de participants changeant de statut d’une année sur l’autre ?)

Un retour à l’emploi pour près d’un tiers des participants

(14)

31%

Retour à l’emploi selon le type d’opérations

(15)

- 2,0 4,0 6,0 8,0 10,0

Accompagnement Conseil Départemental

Accompagnement E2C

Accompagnement global Pôle Emploi

Accompagnement Mission Locale

Accompagnement PLIE

Autres

EPIDE

IAE

Etapes de parcours

Autres

Actions à destination des entreprises

Actions innovantes

Durée moyenne des accompagnements en mois

0% 20% 40% 60% 80% 100% 120%

Accompagnement Conseil Départemental

Accompagnement E2C

Accompagnement global Pôle Emploi

Accompagnement Mission Locale

Accompagnement PLIE

EPIDE

IAE

Etapes de parcours

Actions à destination des entreprises

Actions innovantes

Autres

Résutlats à la sortie des opérations

emploi durable emploi temporaire Taux d'accès à la formation Toujours NEET (en recherche d'emploi ou inactif)

Résultats à la sortie des opérations

Un traitement complémentaire sur les « parcours » ?

Rappel: les données portent sur le « suivi des participants » et non lespersonnes physiques (une personne physique peut être comptabiliséeplusieurs fois pour un même accompagnement)

Une extraction complémentaire au 23/01/19 fait apparaître :

• Sur les plus de 1,3M de participants « analysés » : 913.000 personnes physiques

• 300.000 personnes ont réalisé au moins 2 opérations

• Soit une marge d’évolution des résultats si on les rapporte aux personnes physiques

Un traitement complémentaire à l’échelle des parcours est considéré comme nécessaire

(16)

(17)

Chapitre 3

Retours d’entretien :avis et attentes sur l’évaluation

Les entretiens réalisés

• AG et AGD : DGEFP, 3 AGD

• Autres administrations centrales : DGCS, Dares, Drees,

• Régions de France

• OI et représentants d’OI : Pôle emploi, ADF/ CD, ADCF, AVE/ Europlie/ Plie, AVISE

• Têtes de réseaux : FAS, Emmaüs DEFI, ARES services, Fédération des EI, Fédération des GEIQ, Comité de Liaison des Régies de Quartier, Coorace, Chantier école

(18)

Avis et attentes sur l’évaluation

Des points de vue différents selon les parties prenantes, dans un contexte préparatoire au post 2020

• Une évaluation attendue par les associations d’élus, dans la perspective de préparer le cadre post 2020, avec une attention portée sur l’architecture de programmation (« les 3 FSE », lisibilité et efficience du système), avant de considérer l’impact sur les participants

• Des AGD soucieuses de l’effet levier du FSE et de son caractère innovant

• Des OI justifiant chacune leurs opérations et leur valeur ajoutée par rapport à d’autres OI

• Des têtes de réseaux plus ou moins éclairées sur les différenciations entre FSE et crédits de droit commun et soulignant les contraintes de gestion

Un effet levier du FSE à mesurer selon les opérations et opérateurs.

• Un distinguo à faire entre création de dispositifs (PLIE, accompagnement global, facilitateurs…) et soutien de dispositifs préexistants (IAE, PDI…) ?

Une innovation d’inclusion relativement limitée :

• Soutien à des interventions récurrentes et objectifs quantitatifs primant sur les approches expérimentales

• Des acteurs économiques qui pourraient être davantage mobilisés, pour jouer un rôle dans l’insertion des personnes les plus éloignées de l’emploi

• Une diversité de pratiques associées à la notion de parcours : occasion de capitalisation, performance comparée, modélisation ?

• La place des actions de formation dans les parcours d’inclusion et les articulations avec les POr

• Il sera important que l’évaluation fasse des propositions sur les actions à considérer comme de « l’innovation sociale » dans le post 2020 (au moins 25% des crédits seront affectés à ces actions)

Des connexions avec la stratégie de lutte contre la pauvreté et le CNIE restant à établir

(19)

Retours d’entretien : avis et attentes sur l’évaluation

Des questionnements sur la bonne compréhension du POn et des « nouveautés 2014-2020 » :

• Découpage des 3 OS et effets de frontière, en particulier entre l’accompagnement de parcours et la médiation avec les entreprises, entre l’accompagnement de parcours et l’animation territoriale

• Les tensions entre accompagnement de parcours et système de suivi MDFSE basé sur les opérations (=étapes de parcours)

• L’indexation du statut des participants à l’entrée, entre « chômeurs » et « inactifs »

• Les modalités d’intervention auprès des SIAE, en particulier les ACI

• Des exigences du FSE vécues comme des contraintes de gestion (suivi du temps et imputation sur plusieurs opérations, autre…) même si des progrès sont signalés (forfaitisation des dépenses…)

• Articulation entre Axe 3 du POn et POr: sur la remobilisation, le projet professionnel, la formation

• Idem entre POn et IEJ (même si les jeunes sont avant tout positionnés sur l’axe 1)

• …

• Un besoin de pédagogie: "SAV du POn"

De premières bonnes pratiques signalées, à approfondir par la suite :

• Des opérations soutenues par le FSE et reprises à grande échelle dans la stratégie de lutte contre la pauvreté : accompagnement global et garantie d’activité, SEVE…

• En termes d’organisation, concertation et efficience collectives :

– Entre CD et PLIE (91, 54, 95…) même si des points de vigilance sont rappelés (84, 34, 30…)– Gestion intégrée de plusieurs fonds européens (FSE/ IEJ/ Feder/ Erasmus/ Interreg…) à l’échelle d’intercos notamment

(20)

(21)

Chapitre 4

Suites des travaux :panorama de l’offre d’insertion(visualisation du périmètre et déclinaisonen monétaire et participants). Version de travail

Servicesaux personnes en insertion

Interventions financièresauprès des personnes en insertion

(22)

Allocations RSA& AAH

Contrats aidés, aide au poste

IAE

Rémunération stagiaire de la formation pro.

Panorama de l’offre d’insertion:

services Vs interventions financières

Nota. Certains CR émargent également sur

l’OT9 (CR IDF par ex), pour des actions en

faveur des migrants, femmes victimes de

violence… De l’ordre de 17M€ sur 1,6Md€

Taux de couverture des dépenses d’insertion

(23)

En millions €

Montant annuel moyen de FSE programmé sur l'axe 3 (2014-2020) 230Dépenses (hors FSE) liées à l'accompagnement des publics en insertion 2015 1 364*Poids du FSE dans les dépenses d'insertion 17%*Décomposition des données disponibles à ce stade (hors UE-FSE, allocations et aides au poste)

Dépenses d'insertion (CD y compris sur IAE + contrepartie du bloc communal aux PLIE, hors IAE infra) 803

Programme accès à l'emploi : IAE (Etat + bloc communal et régions) et Epide/ programme 102 527

Accompagnement Global (contrepartie de Pôle emploi aux crédits UE-FSE). Correspond à la 4ème modalité

d’accompagnement dédié aux publics en insertion, pas nécessairement d’autres opérations à signaler dans ce périmètre « insertion »29

Programme inclusion sociale : ESS et autres expérimentations 5

Le périmètre « insertion » est débattu: considérant qu’il s’agit des publics pour qui des freins connexes à l’emploi se

posent, les données de la statistique publique sont peu adaptées et amènent à opérer des recoupements entre sources (extraction MDFSE 2018, PLF 2016 programme 102 / DREES-ODAS / Cour des comptes 2017 sur l’IAE/ Rapport d’activité PLIE 2017)

Taux de couverture des publics en insertion

(24)

Taux de couverture…

Participants entrés sur l'axe 3 (moyenne annuelle sur 2015-2017) 405 104 Des demandeurs d'emploi(Cat. A) 11%

Dont chômeurs de longue durée (> 1 an) 124 200 Des DELD (>1 an) 9%

Dont allocataires de minima sociaux 297 570 Des allocataires de minima sociaux 8%

Des allocataires du RSA et de l'ASS 14%

Des allocataires du RSA 18%

Des aRSA en parcours socio-pro ou pro 35%

Fiches régionales pour présenter les situations territoriales

• Données financières

• Typologies d’opérations financées

• Profils de participants

• Résultats à la sortie

(25)

(26)

Chapitre 4

Suites des travaux :enquête AGD et OI

Préparation de l’enquête à destination des AGD et des OI

Informations/données visées (de façon complémentaire aux données de suivi déjà

disponibles et aux autres investigations qui seront menées: étude de cas…) :

• Pertinence de la logique d’intervention de l’axe 3 au regard des besoins en matière d’insertion

• Pertinence et cohérence des typologies d’opérations soutenues et du ciblage des personnes accompagnées

• Cohérence des interventions soutenues au regard des politiques et dispositifs d’insertion

• Efficacité et effet levier du financement FSE

• Pertinence et efficience des modalités de mise en œuvre

Une enquête lancée courant du mois de février

Le questionnaire sera soumis aux membres du Copil pour avis

(27)

(28)

Chapitre 4

Suites des travaux :évaluation contrefactuelle

Etude de faisabilité pour les analyses contrefactuelles

2 dispositifs seront analysés via des méthodes contrefactuelles permettant d’approcherune mesure de l’effet net du financement FSE, par comparaison des résultats entre ungroupe de « bénéficiaires » et un groupe « témoin » (non bénéficiaire de l’intervention).

Des prérequis indispensables pour mener à bien ces analyses contrefactuelles

• Identification d’un groupe témoin

• Disposer de données de suivi individuelles pour les 2 groupes et sur les mêmes périodes

• Disposer de données permettant le calcul de variables d’impact cohérentes avec les effets que l’on souhaite mesurer

(29)

Etude de faisabilité pour les analyses contrefactuelles

Différents scénarios à étudier :

• Impact du FSE:

– comparaison entre accompagnements des BRSA portés par un CD OI-FSE et un CD non bénéficiaire de FSE (retour d’expérience DGCS sur l’impact des télé procédures : l’autorisation d’accès aux données bRSA serait alors à demander directement aux CD plutôt que la CAF)

– Possibilités de comparaison entre PLIE avec FSE et PLIE sans FSE (3 cas)

– Comparaison entre accompagnements portés par des métropoles OI-FSE et accompagnements réalisés par des métropoles non bénéficiaires de FSE

– …

• Impact des opérations:

– Comparaison entre 1 accompagnement de parcours et 1 étape de parcours

– Comparaison entre 2 dispositifs financés par le FSE (ex: accompagnement de parcours PLIE Vs CD). La nature des « parcours » est en effet à apprécier finement et comparer : avec étapes de parcours réalisées concomitamment ou de façon successives

– Comparaison entre bénéficiaires et non bénéficiaires d’accompagnement renforcé, à l’échelle d’1 territoire donné (agglo, région…)

– …

Une approche territorialisée sera à privilégier (plutôt que nationale)

(30)

Equipe d’évaluation :

Jean DUTOYA- Chef de projet

jean.dutoya@amnyos.com - 06.19.92.51.45

Sébastien GUILBERT– chef de projet EdaterVincent ROUELéa MONTANOLAEstelle REGOURD

Commanditaire : autorité de gestion du POn FSE

Antoine SAINT-DENISSous-directeur Europe et international

Béatrice EVENO - Responsable de l’évaluation et du suivi de la performance du FSEbeatrice.eveno@emploi.gouv.frFrédéric GUILLEMINE - Chargé de mission suivi et évaluation

Groupement Amnyos- Edater