25
INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDS MÉTAÉVALUATION D’UNE SÉLECTION D’INTERVENTIONS INTERNATIONALES Moktar Lamari, Audrey Savard et Éva Anstett Université du Québec École nationale d’administration publique Paris, EPSR, 9 juin 2015

INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDS

MÉTA‐ÉVALUATION D’UNE SÉLECTION D’INTERVENTIONS INTERNATIONALES 

Moktar Lamari, Audrey Savard et Éva Anstett

Université du QuébecÉcole nationale d’administration publique

Paris, EPSR, 9 juin 2015

Page 2: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Projets de recherche et dont l’équipe

• Moktar Lamari, Ph.D., Professeur chercheur à l’ÉNAP

• Étienne Charbonneau, Ph.D., Professeur chercheur à l’ÉNAP

• Nancy Brassard, Ph.D., Professeure chercheure à l’ÉNAP

• Jean-Pascal Assailly, Ph.D., Chercheur à IFSTTAR

• Dubois, A., Savard, A., Lamothe, P., Drob, C., St-Laurent-Brassard, S. et C. Rousseau-Cyr, Jean-René Prévost, Professionnel etassistantes de recherche

2

Page 3: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

PLAN 

1‐Mise en Perspective

2‐ Questions de recherche 

3‐Méthode

4‐ Données

5‐ Résultats

6‐ Enseignements 

Page 4: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Mise en perspective • Au Canada, les accidents impliquant des véhicules lourds VL sont

préoccupants

• Ne constituant que 2,5% du parc roulant, les VL sont impliqués dans 10%du total des accidents et 20 % des accidents mortels

• Depuis 2008: alors que les taux de décès diminuaient pour l’ensemble desvéhicules roulant, ils augmentaient pour les conducteurs de véhiculeslourds.

• L’industrie du camionnage est très dynamique (commerce, emploi, PIB,etc.) et très organisée

Que faire,  quelles interventions privilégier  

Page 5: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Questions de recherche ‐ Le ministère des Transports (MTQ): pour mieux faire; identifier lesinterventions évaluées et prometteuses, de par le monde et contextescomparables

‐ La recherche évaluative pour inspirer les politiques publiques:pertinence, efficacité, efficience…

‐ Deux questions majeures1‐ Quels sont les principaux attributs des interventionspubliques visant la sécurité routière des VL ?

2‐ Quels sont les enseignements évaluatifs à ce sujet ?

Page 6: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Concepts, méthodes

• Évaluation : démarche systématique, utilisant des données etméthodes de recherche en sciences sociales pour répondre à desquestions évaluatives (pertinence, efficacité, efficience, effet,impact, etc.) … ce n’est pas de l’audit,…

• Méta‐évaluation rétrospective: valoriser de manière sommativedes évaluations déjà produites, pour éclairer la prise de décision(Stufflebeam et Shinkfield, 2007).

• Scoping review: technique de sélection et de traitement codifiédes documents sélectionnés à cette fin

Page 7: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Données Critère Seuil appliqué

Date de parution Après 2004

Langue de rédaction Anglais ou français

Paramètres de la recherche

Recherche est restreinte aux titres, aux résumés, aux mots‐clés et aux identifiants

Pays Pays membres de l’OCDE

Type de document Articles de périodiques revus par les pairs et rapports d’évaluation. Les documents faisant état des effets des mesures sont priorisés

ABI/Inform Complete (Proquest), Academic Search Complete (EBSCO), JSTOR, National Technical Information Service (NTIS), NIOSHTIC-2 bibliographic database (NIOSH), OSH References Collection Search (CCHST), National Transport Library (RITA), SAGE Journals Online, ScienceDirect Journals (Elsevier), SpringerLink (Metapress), Taylor & Francis Online, TRID, Wiley Interscience Journals (John Wiley & Sons, Inc.), CAIRN, Érudit.  

Page 8: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Concept Termes de recherche utilisés

Véhicule lourd En anglais : truck* OR bus* OR commercial vehicle* OR heavy vehicle* OR heavy haul*. En français : camion* OU poid* lourd* OU véhicule* commercial * OU autobus OU autocar*

Accident En anglais : accident* OR crash*. En français : accident* OU collision Sécurité routière En anglais : safety OR prevention OR reduction. En français : sécurité routière Évaluation En anglais : evaluation OR assessment OR impact evaluation. Intervention En anglais : Program OR intervention OR strategy OR policy OR technolog* OR action

 

Page 9: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Grilles d’analyseInterventions analysées selon

• La cible de l’intervention (ce qu’on veut influencer, changer…)

• L’approche d’intervention (programme, technologie, etc.)

• L’instrument d’intervention (carotte, bâton, sermon…)

• Certains vecteurs de risque (alcool, vitesse, angles morts, ..)

Interventions analysées selon leurs effets (bilan routier des VL):

• Efficacité démontrée

• Efficacité incertaine ou non avérée

• Efficacité démontrée

Page 10: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Résultats de la recherche dans les bases de données et des contacts auprès d’organisations

• 431 documents recensés

• 54 documents retenus pour une lecture approfondie

• 9 documents exclus lors de la validation

• 50 interventions analysées provenant de 45 documents

Page 11: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Modèle et typologie utilisés dans le cadre de l’analyse

• Cibles visées (Stuckey et coll., 2007)

• Typologie des instruments de politiques publiques (Bemelmans‐Videc et coll., 1998)

Page 12: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Niveaux des cibles visées (Stuckey et coll. (2007)

Niveau 1conducteur

et passager(s)

Niveau 2environnement immédiat  

véhicule

Niveau 3environnement externe 

route

Niveau 4environnement organisationnel 

entreprise

Niveau 5environnement politique

Page 13: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Actions obligées (coercition) 

Typologie des instruments de politiques publiques de Bemelmans‐Videc et  coll. (1998) 

Spectres des Instruments de politiques publiques

Réglementation (bâton)

Incitations et gratifications (carotte)

Information(sermon)

Actions  volontaires(spontanéité) 

Page 14: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

DONNÉES

18 programmes

17 technologies/dispositifs

8 recherches expérimentales

7 réglementations

Approches d’intervention (50)

Provenance38 des États‐Unis

3 de l’Australie

2 de plusieurs pays (international)

1 de l’Espagne

1 du Japon

1 de l’Irlande

1 de la Nouvelle‐Zélande

1 de l’Union européenne

1 du Royaume‐Uni

1 de la Belgique

Page 15: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Ciblage selon les interventions 

• La majorité des programmes cible le conducteur et passager(s).

• La majorité des technologies/dispositifs cible le véhicule.

• La majorité des recherches expérimentales cible l’entreprise.

• La majorité des réglementations cible l’environnementinstitutionnel et politique.

Page 16: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Attributs et liens entre approches et instruments de politiques publiques

• La majorité des programmes `comporte de mesures « bâton » (coercitif).

• Parmi ces programmes, certains sont des « packages » (comprennent unecomposante primaire et une ou des composantes auxiliaires) :

5 ont une composante uniquement préventive;5 ont une composante uniquement restrictive;5 ont des composantes restrictives et préventives.

• Toutes les technologies (dispositifs) sont de type « carotte » (incitatif).

• Toutes les recherches sont de type « sermon », de sensibilisation (informatif).

• Toutes les réglementations sont de type « bâton » (coercitif).

Page 17: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

10 items visés (Mercier et coll., 2013) Nombre d’initiatives ciblant l’item Alcool ou substances illicites 8

Vitesse 14

Ceinture de sécurité 4

Comportements routiers et respect du code de la route

12

Formation et qualifications du conducteur 3

Fatigue et heures de conduite (durée) 9

État du véhicule et configuration 19

Configuration de la route, signalisation et restrictions des voies

7

Taux de roulement et nombre d’emplois 1

Fiabilité financière et comportements sécuritaires en entreprise

9

 

Items couverts (raison d’être de l’intervention) 

Page 18: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Efficacité sur la sécurité routière des VL

Au total, notre recherche suggère que ‐ 67 % sont efficaces (efficacité démontrée)‐ 22 %  sont à effets non –avérés‐ 11 sont avec effets négatifs (démontrés)

83 % des programmes ont des effets positifs sur la sécurité routière.65 % des technologies/dispositifs ont des effets positifs sur la sécurité routière.

63 % des recherches expérimentales  ont des effets positifs sur la sécurité routière.

43 % des réglementations ont des effets positifs sur la sécurité routière.

Page 19: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

RESULTATS

• Parmi les 34 interventions ayant des effets positifs sur la sécuritéroutière des VL, 8 sont des interventions coercitives (programmesà composantes uniquement restrictives et réglementations) ayantdes effets positifs.

• Malgré l’utilisation très répandue de la réglementation dans ledomaine du transport, son usage à elle seule est insuffisant pourproduire les effets escomptés en matière de sécurité routière (Proostet De Geest, 2006).

• Mise en cause de l’efficacité de la réglementation !

Page 20: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

RESULTATS (SUITE)• Les interventions ciblant les conducteurs et passager(s), véhiculesont plus nombreuses, et présentent la meilleur efficacité

• Les réglementations sont controversées et pas toujours efficaces, enraison de leur approche (mur‐a‐mur; universalité, ...)… surtout celavieillit mal

• Les initiatives de type programme sont ressorties comme étant lesmesures les plus efficaces en matière de sécurité routière desvéhicules lourds, particulièrement les « packages ».

• Les actions entreprises de nature strictement coercitive sont peuefficaces, à elles seules. … question de dosage, élasticité descomportements

Page 21: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

CONCLUSIONS

• Les programmes de type « packages » sont particulièrement efficaces

• La formulation de mesures intégrées dans un « package » augmente le succèsdes politiques

• Limites démontrées des interventions basées sur des mesures séparées etdéployées isolément (Taeihagh et coll., 2014).

• Reglementations sont de plus en plus décriées, quand elles ne sont pasévaluées de manière ex ante

• Le recours aux méta‐évaluations rétrospectives et prospectives améliore laconception et l’implantation des interventions

• Cela dit, les méta‐évaluations requièrent des données et la publication desévaluations

Page 22: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

• L’équipe du CREXE tient à remercier le MTQ pour le financement etla collaboration au sein du projet de revue de littérature ainsi que deson soutien afin d’établir les contacts auprès des organisationsciblées.

• Le CREXE remercie également les organisations qui ont transmis del’information ayant ainsi contribué à l’avancement du projet et desconnaissances dans le domaine.

Page 23: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Équipe de recherche (financée par le MTQ, SAAQ, FRQ)

• Moktar Lamariprofesseur à l’ENAP

• Étienne Charbonneauprofesseur à l’ENAP

• Nancy Brassardprofesseure à l’ENAP 

• Jean‐Pascal Assaillychercheur à l’IFSTTAR

André Pélissierconsultant

Page 24: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation

Références • BEMELMANS‐VIDEC, Marie‐Louise, Ray C. Rist, Evert Vedung (1998). Carrots, sticks andsermons : policy instruments and their evaluation, Transaction Publishers, Nouveau‐Brunswick, 280 pages.

• LEVAC, Danielle, Heather Colquhoun, Kelly K O’Brien (2010). «Scoping studies: advancingthe methodology», Implementation Science, vol. 5, no. 69, p. 1‐9.

• PROOST, S., G. De Geest (2006). Economic Analysis of Traffic Safety: Theory andApplications, Belgian Science Policy, 79 pages.

• Société de l'assurance automobile du Québec (2013). «Bilan routier 2013», [en ligne],http://www.saaq.gouv.qc.ca/publications/prevention/bilan_routier_2013/bilan_routier.pdf, (page consultée le 26 mars 2015).

• STUCKEY R., LaMontagne A.D., Sim M. (2007). «Working in light vehicles—A review andconceptual model for occupational health and safety», Accident Analysis and Prevention,no. 39, p. 1006–1014.

• TAEIHAGH, Araz, René Bañares‐Alcántara, Moshe Givoni (2014). «A virtual environmentfor the formulation of policy packages», Transportation Research Part A: Policy andPractice, vol. 60, p. 53–68.

Page 25: INTERVENTIONS PUBLIQUES CIBLANT LES VÉHICULES LOURDSrecherche.enap.ca/cerberus/files/nouvelles/documents/La_recherche/... · impact,etc.)…ce n’estpasde l’audit,… • Méta‐évaluation