Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier...

Évaluation

Dr Simon JossCentre for the Study of Democracy

University of Westminster

Atelier CIPAST, Procida17-21 juin 2007

Présentation

• Le problème de l’évaluation• Pourquoi évaluer ?• Comment mesurer l’efficacité ?• Quelques critères d’évaluation• Les limites• Instruments d’évaluation • Évaluation interne et/ou externe• Évaluation interne de Meeting of Minds• Réflexion interne de l’atelier CIPAST

Le problème de l’évaluation

• Le concept de participation est complexe et chargé de valeurs.• Les tentatives visant à spécifier des critères ont leur limites, et ont donc eu peu

d’effets– centrées sur un critère unique/spécifique– critères procéduraux plutôt que substantiels, c’est-à-dire liés à ce qui rend un processus

efficace, non à la manière dont on peut mesurer des résultats efficaces (par ex. qualité des décisions finales)

• Absence de références appropriées pour comparer et mesurer la qualité des exercices de participation

• Il n’existe pas de méthode d’évaluation reconnue• On dispose de peu d’outils de mesure fiables• Grande nombre de variables « d’évaluation »

– procédural, contextuel, environnemental, implémentation, absence d’instrument de mesure standardisé (questionnaires)

• Nécessité d’avoir des ensembles de critères plus complets pour déterminer si une approche ou méthode innovante est performante

Pourquoi évaluer ?

• Plus large reconnaissance de la nécessité et de la valeur des initiatives participatives

• Les méthodes de participation sont souvent employées car « il faut bien » impliquer le public d’une façon ou d’une autre, en considérant l’implication comme une fin en soi, au lieu d’un moyen de parvenir à une fin

• Le nombre et la complexité croissante des initiatives disponibles

Comment mesurer l’efficacité ?• Qu’est-ce qui constitue « l’efficacité » ?• L’efficacité n’est pas une qualité évidente, monodimensionnelle et objective,

que l’on pourrait facilement identifier, décrire et mesurer• Est-il possible de parler d’une définition de l’efficacité de la participation

publique d’une manière générale ?– Une formulation plus générale de ce qu’on entend par efficacité est-elle nécessaire

?• Efficace d’après qui ?

– Chercher à faire accepter une définition du terme « efficace » par les parties concernées

• Pour définir l’efficacité, il existe une dichotomie entre le résultat d’un exercice et le processus associé à cet exercice (Rowe & Frewer 2000)

– Un exercice bénéficiant d’une bonne acceptation, mais d’un mauvais processus, a peu de chances d’être implémenté par des financeurs ou des décideurs

– Un exercice qui a un bon processus, mais une mauvaise acceptation, sera sans doute accueilli avec scepticisme par le public/les acteurs, risque de boycott

Critères d’évaluation

• Critères d’acceptation (également démocratique (Fiorino), honnêteté (Webler))– Liés à l’acceptation publique potentielle d’une

procédure• Critères du processus (compétence (Webler))

– Liés à la construction et l’implémentation efficaces d’une procédure

• Les critères d’évaluation proposés par Rowe et Frewer ne doivent pas être pris comme définitifs, mais plutôt comme objets de débat et pour encourager de nouvelles expérimentations

Critères d’acceptation

• Représentativité

• Indépendance

• Implication précoce ?

• Influence sur la politique

• Transparence

Représentativité

• Les participants doivent couvrir un échantillon largement représentatif de la population concernée

• Utilisation d’échantillons/questionnaires stratifiés aléatoirement pour déterminer la variété des attitudes

• Obstacles générés par les publics vastes, limitations logistiques/financières

Indépendance

• Processus conduit d’une manière indépendante et impartiale

• Équipe de direction variée et impartiale• Recours à un animateur respecté et impartial• Représentants du public indépendants des financeurs• Équilibre entre la participation des acteurs, la

direction, les financeurs et les porte-parole

Implication précoce ?

• Public impliqué dès que des jugements de valeur apparaissent

• Le débat public doit être autorisé sur les hypothèses sous-jacentes et sur l’agenda, pas seulement sur des problèmes étroits et prédéfinis

• Stade auquel le public doit être impliqué dans les questions politiques – dès que cela paraît raisonnable

Influence sur la politique

• Les résultats doivent avoir un véritable impact sur les politiques, et cet aspect doit être visible

• Les méthodes de participation sont souvent considérées comme intellectuelles, utilisées pour légitimer des décisions ou pour donner l’apparence d’une consultation sans aucune intention d’agir à partir des recommandations (par ex. façon dont a été perçu GM Nation?)

• Acceptation claire, dès le départ, de la façon dont le résultat sera utilisé et comment il pourra orienter les politiques

• Importance des médias pour informer le large public des influences que le résultat a eues sur les politiques

Transparence

• Le processus doit être transparent, pour que le public puisse voir ce qui se passe et comment les décisions sont prises

• La transparence peut passer par la diffusion d’informations sur des aspects de la procédure, de la sélection des participants à la façon dont une décision est prise, ou à la publication de comptes-rendus de réunions

Critères de processus

• Accessibilité des ressources

• Définition des tâches

• Prise de décision structurée

• Rentabilité

Accessibilité des ressources• Les participants doivent avoir accès aux ressources appropriées qui

leur permettent de compléter correctement leur dossier• Accès aux informations appropriées et intéressantes pour une prise de

décision efficace• Les ressources nécessaires comprennent : informations (résumés de

faits pertinents) ; ressources humaines (accès à des scientifiques, des témoins, des analystes décisionnaires, etc.) ; des matériels (rétroprojecteur, tableau papier) et du temps (temps suffisant pour prendre des décisions) ; finances (fonds suffisants fournis par les financeurs)

• Toute limitation de ces ressources risque de nuire à la qualité du processus de participation.

Définition des tâches• La nature et l’étendue de la participation doit être

définie clairement• Pour éviter toute confusion concernant le cadre, son

résultat escompté et les mécanismes de la procédure, tous les aspects doivent être clairement identifiés au départ

• Sinon, l’efficacité et la crédibilité de la procédure sont mises en doute par tout litige provoqué par des malentendus

• Cependant, des règles et définitions trop prescriptifs peuvent réduire la flexibilité face à de nouvelles informations ou de nouveaux débats

Prise de décision structurée• Comprend l’utilisation/la mise en place de mécanismes

appropriés pour structurer et présenter le processus décisionnel

• Permet l’examen des raisons sous-jacentes à une décision• Documenter le processus décisionnel augmente la

transparence• Divers outils d’aide à la décision peuvent être incorporés (par

ex. arbres de décision, Delphi) pour assurer qu’un poids égal est accordé aux considérations sociales et scientifiques

• Recours à un animateur pour diriger les discussions et encourager une participation égale

Rentabilité

• Le rapport qualité/prix est une motivation importante, par ex. une grande audition publique sera inadaptée à une décision politique mineure

• Tenir compte des coûts potentiels des méthodes alternatives, tant en temps qu’en argent, avant de se lancer dans un exercice de participation

Jurys de citoyens

Conférence de citoyens

Atelier de scénario

Groupe de réflexion

Évaluation interactive

Recherche sur l’avenir

Critères d’acceptation

Représentativité Moyenne (limitée par faible échantillon)

Moyenne (limitée par faible échantillon)

Moyenne (limitée par faible échantillon)

Moyenne (limitée par faible échantillon)

Moyenne Moyenne (limitée par faible échantillon)

Indépendance Grande Grande Grande Grande Grande Grande

Implication précoce  Potentiellement élevée

Potentiellement élevée

Potentiellement élevée

Potentielle-ment élevée

Élevée Potentiellement élevée

Influence sur la politique Variable, mais non garantie

Variable, mais non garantie

Variable, mais non garantie

Sans doute indirecte

Peut être grande

Variable, mais non garantie

Transparence du processus Moyenne Grande Moyenne Faible Grande Moyenne

Critères du processus

Accessibilité des ressources Bonne Bonne Bonne Mauvaise Bonne Bonne

Définition des tâches Généralement bonne

Généralement bonne

Bonne Variable, mais peut être bonne

Bonne Bonne

Prise de décision structurée Potentiellement bonne

Moyenne (influence de l’animateur)

Bonne Mauvaise Moyenne Bonne

Rentabilité Moyenne à élevée

Moyenne à élevée

Élevée Potentielle-ment élevée

Moyenne à élevée

Élevée

Examen par des critères d’évaluation: les limites• En conséquence des diverses manières dont une

méthode donnée peut être appliquée• + atténuer les effets des facteurs sociaux et

environnementaux• - la précision dans la définition et la mesure des

critères, • = il n’est pas possible d’affirmer définitivement si

une méthode donnée réussit ou échoue

Instruments d’évaluation

• Questionnaires (structurés, semi-structurés)

• Entretiens (face-à-face, au téléphone)

• Journaux des participants

• Observations (structurées, semi-structurées)

• Analyse de contenu/ documents

• Analyse des médias

Évaluation interne et/ou externe

• L’évaluation interne nécessite une réflexion qui alimente directement la préparation et la conduite d’un exercice de participation pour permettre des ajustements progressifs

• L’évaluation externe nécessite un processus indépendant pour assurer une évaluation complète de la préparation méthodologique et conceptuelle de l’exercice de participation, de ses résultats, issues et impacts

• Utiliser à la fois l’évaluation interne et l’évaluation externe fournit d’une part une « image globale » - connaissance informée des participants d’une part et examen objectif d’un exercice de participation dans sa globalité d’autre part.

Évaluation interne de Meeting of Minds

• Logique : La valeur d’une évaluation interne est particulièrement importante pour cette initiative. La nature unique de cette initiative – conduite d’une nouvelle méthode d’évaluation participative des technologies à portée et gouvernance transeuropéennes dans les sciences et les technologies, coordonnée par un groupement ad hoc d’organisations – nécessite une évaluation interne approfondie. Les considérables ressources humaines, financières et de gestion doivent être justifiées par les résultats obtenus si des initiatives participatives complexes similaires doivent être viables dans le contexte européen.

Objectifs

• Alimenter directement le processus de préparation et de conduite de l’initiative Meeting of Minds en permettant des ajustements méthodologiques, organisationnels et procéduraux progressifs

• Renforcer et enrichir les « nouvelles » connaissances, visions et expériences (apprentissage) de ses participants

Instruments MoM

• Brefs questionnaires (composés de questions le plus souvent fermées) visant à déterminer l’adéquation de la logistique, des supports d’information, des processus de délibération et d’évaluation

• Réactions formelles et informelles des animateurs, coordinateurs nationaux et/ou chefs de projet, experts et autres participants pendant toute la durée de l’initiative

• Les réactions obtenues via les questionnaires et les observations enregistrées ont permis au comité de pilotage de réfléchir régulièrement aux processus de l’initiative et d’apporter les ajustements nécessaires

Enseignements tirés

• Équilibre entre les dimensions national/européen – Difficultés à conduire une initiative

transeuropéenne– Difficultés à conduire une évaluation (interne)

transeuropéenne

Difficultés à conduire une initiative transeuropéenne

• Logistique

• Communication

• Interprétariat/ traduction

• Animation

• Enregistrer les paroles des « citoyens »

• Identité nationale/européenne

• Méthodologie

Difficultés à conduire une évaluation (interne) transeuropéenne• Questionnaires

– Taux de réponse

• Observations

Merci !