1

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Evaluation des Evaluation des initiatives publiques initiatives publiques

de réseauxde réseaux

Un projet-pilote Un projet-pilote en Pays-de-la-Loire en Pays-de-la-Loire

______________________________

D. RABU – Préfecture de régionC. LE MAUGUEN – Conseil régional

A. LECLERCQ - ARCEP

Evaluation des Evaluation des initiatives publiques initiatives publiques

de réseauxde réseaux

Un projet-pilote Un projet-pilote en Pays-de-la-Loire en Pays-de-la-Loire

______________________________

D. RABU – Préfecture de régionC. LE MAUGUEN – Conseil régional

A. LECLERCQ - ARCEP

2

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Évaluation de l’action Évaluation de l’action publique : publique : démarche pilotedémarche pilote

Évaluation de l’action Évaluation de l’action publique : publique : démarche pilotedémarche pilote

DSP Sarthe

Achat de mise à disposition de services Vendée

Réseau métropolitain

O-Méga

DSP Maine et Loire

Principe

Élaboration d’une méthodologie d’évaluation appliquée aux projets d’initiative publique locale :

•En s’inspirant de la culture d’évaluation des politiques publiques

•À partir de l’idée qu’ont les collectivités d’un projet réussi:

couverture, développement de la

concurrence, baisse des prix de détail…

Réseau métropolitain BOA

Expérimentations

Achat de services MEGALIS

3

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Évaluation de l’action Évaluation de l’action publique : publique : définitiondéfinition

Évaluation de l’action Évaluation de l’action publique : publique : définitiondéfinition

•Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont

fixés.

Décret du 22 janvier 1990 puis Décret du 18 novembre 1998

Guide de l’évaluation des politiques publiques,

Conseil Scientifique de l’Évaluation, 1996

•L’évaluation consiste à tenter de répondre à un ensemble de

questions relatives à une politique, sa mise en œuvre et ses effets.

•L’évaluation cherche à apprécier dans quelle mesure la politique

évaluée possède les principales « qualités » qui caractérisent idéalement une « bonne » politique.

4

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

5

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Des actions publiquesDes actions publiques Des actions publiquesDes actions publiques des initiatives publiques de réseaux

diversifiées Déploiement de réseaux par DSP : Melis@,

S@rtel Achat de services : MEGALIS Achat de mise à disposition de services :

Vendée Déploiement de réseaux en direct : Omega,

BOA Expérimentations diverses :

Sillé le Guillaume Le Lion d'Angers

des chartes « Département innovant » Loire-Atlantique, Mayenne

6

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Une mobilisation des Une mobilisation des acteursacteurs

Une mobilisation des Une mobilisation des acteursacteurs

une stratégie régionale un observatoire régional de la société

de l’information - Synapse une section spécialisée de l’évaluation des financements multi-partenaires

7

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

8

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

La commandeLa commande La commandeLa commande

Origine demande conjointe du conseil régional

et du SGAR à Synapse mobilisation de la SSE

Problématique mesurer l'impact des initiatives

publiques de réseaux sur l'attractivité et la compétitivité des territoires

IPR vs RIP

9

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

ObjectifsObjectifs ObjectifsObjectifs

Un objectif double : établir une méthode d’évaluation pour

les IPR fournir aux porteurs de projets un outil

d’évaluation pour leur propre suivi

10

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Champs de l’évaluationChamps de l’évaluation Champs de l’évaluationChamps de l’évaluation

Domaines de l'évaluation : la desserte haut et très haut débit

des territoires le développement des usages de

l’Internet le développement économique et

social l’attractivité territoriale

11

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Résultats attendusRésultats attendus Résultats attendusRésultats attendus Une méthode d’évaluation

transférable à tout type d’IPR Des grilles d’indicateurs Des protocoles de mise en œuvre

afin d’évaluer de façon homogène l’ensemble des actions menées

L’application à un échantillon représentatif de projets ligériens – voire à tous

L’appropriation de l’outil par les porteurs de projets

12

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

13

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Moyens humainsMoyens humains Moyens humainsMoyens humains

GROUPE DE PROJET ET DE SUIVI (GPS)

prépare et suit les travaux d’évaluation est l’interlocuteur privilégié du prestataire se réunit au minimum lors de la remise de

chaque rapport intermédiaire et lors de la remise du projet de rapport final.

14

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Moyens humainsMoyens humains Moyens humainsMoyens humains

GPS (suite)

est composé de membres représentant :• la préfecture de région (SGAR) ; • la région des Pays de la Loire ; • l’ARCEP (autorité de régulation des

communications électroniques et des postes) ; • le CETE de l’Ouest, groupe Aménagement

Numérique des Territoires ; • l’université de Nantes ; • l’Ecole des Mines de Nantes ; • le conseil économique et social régional ; • la trésorerie générale de région ; • la section spécialisée de l’évaluation (experts).

15

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Moyens humainsMoyens humains Moyens humainsMoyens humains Groupe de travail

constitué de • l’ensemble des acteurs publics porteurs de

projets d’infrastructures à haut débit en Pays de la Loire

• de personnalités qualifiées • en tant que de besoin, des personnes-

ressources des services de l’Etat, de la région et des structures rattachées pourront être mobilisées.

Consultants retenus par AO

16

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Moyens financiersMoyens financiers Moyens financiersMoyens financiers

Etat-Région en financement alterné Montant : 80 000 € TTC Procédure d’appel d’offre en avril

17

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Moyens techniquesMoyens techniques Moyens techniquesMoyens techniques

des sources documentaires partagées

Sources Synapse Sources ARCEP Etudes diverses

une plate-forme de travail collaboratif ouvert aux acteurs du projets

18

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

MéthodeMéthode MéthodeMéthode Un travail en 3 phases

Phase 1 : Analyse des projets déployés ou en cours de déploiement en Pays de la Loire

Phase 2 : Méthodologie de l’évaluation Phase 3 : Application aux projets ligériens

(et recommandations). Des indicateurs s’appuyant sur des

critères d’évaluation des politiques publiques

19

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Critères d’évaluationCritères d’évaluation Critères d’évaluationCritères d’évaluation

•Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont fixés.

Décret du 22 janvier 1990 puis Décret du 18 novembre 1998

•Pertinence

•Effectivité

•Efficacité

•Impact

•Pérennité

•Efficience

•Cohérence

Les 7 critères

Guide de l’évaluation des politiques publiques, Conseil Scientifique de l’Évaluation, 1996

•L’évaluation consiste à tenter de répondre à un ensemble de questions relatives à une politique, sa mise en œuvre et ses effets.

•L’évaluation cherche à apprécier dans quelle mesure la politique évaluée possède les principales « qualités » qui caractérisent idéalement une « bonne » politique.

20

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

PertinencePertinence PertinencePertinence

•La construction du réseau s’inscrit-elle dans un schéma directeur, au niveau

départemental ou régional ?

•Un diagnostic a-t-il été réalisé ?

•Une mise à jour du diagnostic a-t-elle été réalisée ? Le projet a-t-il

été conçu en adéquation ou réorienté en fonction du

diagnostic ?

•Une enquête de besoin auprès des opérateurs avant le lancement d’offres de gros a-t-elle été réalisée ?

•Une enquête de besoin auprès des ménages et/ou entreprises a-t- elle été réalisée ?

Définition

•Le bien-fondé de l’action étudiée

•Les objectifs explicites sont-ils adaptés à la nature du ou des problèmes qui sont censés être résolus ou pris en charge ?

Indicateurs

21

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

•Degré de réalisation des travaux à la fin du processus de réalisation

•Respect des délais:

Part des travaux effectués à la date de fin prévue

Délai entre la fin prévue et la fin effective des travaux

•Surcoûts éventuels en % du coût total

IndicateursDéfinition

•La réalité de la mise en œuvre du projet

•Critère opérationnel intéressant le gestionnaire du projet

EffectivitéEffectivité EffectivitéEffectivité

22

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

•Couverture du territoire:

Couverture additionnelle de la population

Couverture additionnelle des entreprises (en DSL, en fibre)

Couverture des sites publics

Nombre de mètres linéaires de fibre optique posés

Nombre de zones d’activités desservies en fibre

IndicateursDéfinition

•Le rapport entre les objectifs du projet de réseau et les résultats constatés

•Éventuellement la comparaison entre résultats obtenus et résultats attendus

EfficacitéEfficacité EfficacitéEfficacité

•Attractivité des offres:

•catalogue d’offres de gros ou de détail connu (publié, envoyé) ?

•club d’acheteurs ou comité de l‘interconnexion des clients du délégataire ?

•% de différence entre le tarif à Paris et le tarif local d’un panier type de services? (Indice de spread)

•enquête de satisfaction ménages et des usagers professionnels?

•Disponibilité de nouveaux services:

•Débit maximal des offres

•Présence d’offres triple play

•Présence de VPN IP

Indicateurs (suite)

23

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

•Évolution des usages chez les particuliers:

Taux de pénétration Internet haut débit

Bande passante moyenne consommée par utilisateur

•Évolution des usages chez les entreprises:

Taux de pénétration des services, Bande passante consommée

Entreprises télédéclarant leur TVA (%)

IndicateursDéfinition

•Les impacts socio-économiques du projet d’investissement

•Séparer les effets du projet lui-même de ceux résultant d’une tendance générale

•L’observatoire des Pays-de-la-Loire SYN@PSE fournit déjà des données.

ImpactImpact ImpactImpact

•Développement des entreprises locales grâce aux TIC:

•Évolution du nombre d’entreprises locales dans le secteur des TIC

•Évolution de l’emploi local dans le secteur des TIC

Indicateurs (suite)

•Développement des usages des TIC par les administrations locales:

•Actes administratifs faisant l’objet d’un contrôle de

légalité dématérialisé (%)

•Achats publics dématérialisés

24

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

•Évolutivité des services:

•Nombre annuel d’avenants à la grille tarifaire des offres du délégataire

•Insertion ou non de clauses imposant l’évolutivité au délégataire

•Évolution comparée des offres de détail locales avec les meilleurs offres constatées au niveau national

IndicateursDéfinition

•Durabilité des effets observés

•Le projet a-t-il engendré une structure ou des pratiques capables de « vivre » et se développer après la fin de l’intervention publique ?

PérennitéPérennité PérennitéPérennité

•Concurrence de long terme:

•Part de marché du délégataire sur le marché de gros

•Parts de marchés des opérateurs clients, sur les marchés de détail

•Évolution annuelle du nombre de répartiteurs dégroupés (par le délégataire, par les opérateurs clients)

•Concurrence de long terme (suite) :

•Rapport entre la longueur de FON louée aux clients et la longueur du réseau

•Montant minimal d’investissement imposé pour

l’achat (IRU) de FON

25

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

•Utilisation des infrastructures existantes ou mobilisables

•Cohérence des différents projets publics sur un même territoire

•Analyse coûts/bénéfices

IndicateursDéfinition

•Rapport entre les moyens mis en œuvre et les résultats constatés

•Optimisation des deniers publics

EfficienceEfficience EfficienceEfficience

26

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

•Analyse qualitative:

•Adéquation entre l’objectif de développement de la concurrence de long terme et la subvention versée au délégataire au titre de l’ouverture du réseau

IndicateursDéfinition

•Compatibilité entre les objectifs poursuivis par la collectivité et la correspondance entre ces objectifs et les moyens mobilisés pour les atteindre

•La collectivité peut-elle atteindre simultanément tous les objectifs

affichés ?

•A-t-elle employé les moyens suffisants, ou adéquats pour cela ?

CohérenceCohérence CohérenceCohérence

27

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

Management du projetManagement du projet Management du projetManagement du projet GPS

cahier des charges GPS-consultants

réunions mensuelles travail itératif sur les indicateurs questionnaires d'entretien co-construction de la grille d'évaluation

Consultants - Porteurs de projet groupe de travail entretiens individuels

Consultant analyse restitutions

28

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

LivrablesLivrables LivrablesLivrables Phase 1

inventaire détaillé des projets examinés typologie des projets modalités pour la conduite de l’évaluation

(questionnaires, contacts, validation des travaux…).

liste des acteurs à solliciter sources de données régionales bibliographie thématique

29

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

LivrablesLivrables LivrablesLivrables

Phase 2 grilles d’indicateurs modes d’emploi d’acquisition des données et

cadre d’utilisation

30

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

LivrablesLivrables LivrablesLivrables

Phase 3 Bilan d’évaluation obtenu par la mise en

œuvre pratique de la méthode définie dans le cadre de la phase 2.

Recueil d’indicateurs  Achèvement de la méthode définie à la phase

2 à la lumière de la mise en œuvre pratique identification et valorisation des moyens externes (enquêtes, …).

Rapport final Rapport complet Rapport de synthèse

31

CR

IP –

22

juin

200

6 –

D. R

abu

– C

. Le

Mau

gu

en –

A. L

ecle

rcq

CalendrierCalendrier CalendrierCalendrier