Julie MarlierJulie Marlier

Thèse dirigée par Bernard Conein, LASMIC, UNSAEncadrée par Nils Ferrand, UMR G-Eau, Cemagref de Montpellier

Evaluation des outils de participation Evaluation des outils de participation

Géo séminaire, 01/03/2011

2

TIC comme outils de participation ?TIC comme outils de participation ?

3

Projet InterMedProjet InterMed

Objectifs : Concevoir et évaluer des outils de e-participation locale en gestion du territoire

3 Sous-projetsProjet

d’aménagementConcertation Face à Face

E-participation

« Youth »

avec les jeunes (lycéens)

« Ground-up » avec la société civile (associations et citoyens)

« Top-down »

avec les collectivités territoriales

4

Dispositifs participatifs en ligne : DISTIC Dispositifs participatifs en ligne : DISTIC

www.co-ment.com/

Annotation de texte

www.debat-atrebatie.org/

Sondage

www.bristol.citizenscape.net/core/

PPGIS

Blogs / Forum

http://blogcitoyen.montpellier.fr/

Wiki

http://labs.paris.fr/

Réseaux Sociaux

facebook.com/montpellier.agglomeration

Mail

http://www.laregion.fr/

Web-TV

www.montpellier-agglo.com/

Géo-Wiki

http://www.openstreetmap.org/

5

Niveaux d’évaluationNiveaux d’évaluation

Layered eParticipation evaluation perspectives (Macintosh and Whyte 2008)

The three levels of analysis (Tambouris et al. 2007)

11

22

11

22

33

6

Evaluation démocratiqueEvaluation démocratique

Le cube de la démocratie de Fung, 2006

Arnstein, S. R. (1969). "A ladder of citizen participation." Journal of the American Planning Association 35(4): 216-224.Fung, A. (2006). "Varieties of participation in complex governance." Public Administration Review 66: 66-75.

Echelle de la participation d’Arstein, 1969

11

7

Evaluation de la participation Evaluation de la participation

Rowe & Frewer (2004) : “Evaluating public-participation exercises: a research agenda.”

22

Process : Processus

Outcomes : Résultats, Effets

8

Evaluation de la délibération Evaluation de la délibération

« La délibération» renvoie aux théories développées en philosophie politique sous l’influence de penseur comme

J.Habermas (Habermas 1992; Habermas 1962)

“deliberation is defined here as a process whereby groups of people, often ordinary citizens, engage in reasoned opinion expression on a social or political issue in an attempt to identify solutions to a common problem and to evaluate those solutions.” (Stromer-Galley 2007)

9

Evaluation de la délibération Evaluation de la délibération

10

Evaluation des outils Evaluation des outils 33

Définition utilisabilité (ISO 9241-11) : « le degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié ».

J. Nielsen (1994) : inclusion de l’utilisabilité au sein du concept d’acceptabilité.

11

Evaluation des outils Evaluation des outils

(Macintosh and Whyte 2008)

Acceptabilité sociale

Utilité

Utilisabilité

12

Evaluation ergonomique des SIGEvaluation ergonomique des SIG

Web 2.0 PPGIS (Bugs et al. 2010)

GeoDF (Zhao and Coleman 2007)

ArguMap (Sidlar and Rinner 2007)

1. Cost of entry: includes the price of the tools and components needed to run or access the prototype.

2. Intended users: background of the different users. Includes features such as the involvement in using similar software and educational level.

3. Ease of use: do users find the application easy-to-use.– in the levels of speed, completeness and correctness

4. Satisfaction: degree of emotion the user credits.

5. Usefulness: can be understood as the degree to which the application would enhance user tasks.

13

+ de critères ergonomiques+ de critères ergonomiques

Critères d’évaluation ergonomique des Environnements Virtuels (Bach et Scapin, 2005) adapté des critères ergonomiques des sites Web (Scapin and Bastien 1997)

14

Synthèse des critères Synthèse des critères

Niveaux Critères Opérationnalisation

Processus Egalité Nombre de prise de parole par participant

Argumentation Accord/désaccord, diversité argumentative

Réciprocité Nombre de réponses par sujet, nombre d’auteurs par fils

Respect Sérieux, plaisanterie , attaques personnelles

Effets Apprentissage Apprentissage argumentatif, apprentissage collectif

Opinion Changement d’opinion

Relationnel Réseau, liens

Outils Utilité Intérêt pour le dispositif

Utilisabilité Faciliter d’utilisation, difficultés

Intention d’usage Souhaite poursuivre le débats en ligne

15

MéthodeMéthode

16

MéthodesMéthodes• Expertise

– Évaluation heuristique (IHM)– Guidelines, grilles de critères

• Expérimentation – Tests d’utilisateurs (IHM)– Expériences de laboratoire ou terrain (psychologie cognitive et sociale)

• Etude de cas : Analyse des usages – Interviews et questionnaires, focus groupes (psychologie sociale)– Essais longitudinaux et ethnographie semi-réaliste (sociologie)– Analyse conversationnelle et des interactions (ethnométhodologie)

Magicien Magicien d’ozd’oz

[DAHLBÄCK [DAHLBÄCK (1993)](1993)]

Eye trakingEye traking[BASTIEN [BASTIEN (2007)](2007)]

Web usage Web usage miningmining

[TANASA et al (2004)][TANASA et al (2004)]

Tests utilisateursTests utilisateurs[NIELSEN (1993)][NIELSEN (1993)]

Analyse de tâcheAnalyse de tâche[SEBILLOTTE (1994)][SEBILLOTTE (1994)]

17

Parties prenantes

Associations et CitoyensJeunesInterne

Simulation TerrainSituation

réelle

Inclusion des usagers

Test

MéthodeMéthode

18

  1) « Youth » participation 1) « Youth » participation

Jeu de rôleJeu de rôle

Préparation Débat en classe Débat en ligne Restitution

+ + +

Jeu de rôle de Gestion Intégrée des Zones Côtières (Bassin de Thau)

Délibération entre stakeholders, projet d’aménagement du territoire

19

2 dispositifs en ligne : V1 et V22 dispositifs en ligne : V1 et V2

http://grou.ps/gizcjeuderole/home

V1 : Annotation de texte

V2 : Plateforme

Forum + carte

20

Evaluation dispositif face à face vs en ligne Evaluation dispositif face à face vs en ligne

Processus:

- Egalité : plus d’égalité de la parole en ligne

- Argumentation : plus développée en face à face, source externe en ligne

- Interaction : plus structurée en face à face, V2 plus interactif que V1

- Respect : problème de « flames » en ligne

Effets :

- Apprentissage argumentatif : Effet positif en face à face (+pour), fluctuant en ligne

Outils :

Accessibilité : 80% des lycéens utilisent internet au moins une fois par jour

Satisfaction : les lycéens préfèrent le débat en face à face

Utilité : jugé utile pour débattre

Utilisabilité : difficulté gestions plusieurs conversations, feed-back,

Google Map : difficulté co-production synchrone

« Ca nous a permis d’essayer de comprendre, bah déjà c’est pas facile de se mettre d’accord sur les projet à mettre en place sur un territoire. »

«Alors qu’en ligne, tout le monde parlait quand il voulait » … « Oui, voilà, en ligne c’était un peu le binz »

21

Usage Google Map Usage Google Map

Support de co-production :

- Positionner nos choix, Équilibrer

- Modéliser le débat

- Map et Earth

Difficultés : coordination synchrone

Ajout d'une carte interactive

39%

61%

Oui Non

Usage de la carte

69%

31%

Oui Non

Ajouter une carte ? 60% Non

A utilisé la carte ? 70% Oui

Support d’information :

- Situer les zones, Dimension

- Localiser les projets

- Comparer les projets

Débattre directement sur la carte ? « Non. Parce que ça ferait bizzard de parler sur une carte, de mettre des commentaires sur la carte »

« Ca dépend comment on utilise l’interface … si c’est une forme de lien, alors oui, ca peut être utile, parce que situe exactement ce dont on va débattre. »

« Quand sur la carte, que chacun pouvait placer ce qui voulait, c’était le gros bazar…Ca buggait … C’était à celui qui arriverait à mettre en dernier ce qui voulait. »

22

2) « Bottom-up » participation2) « Bottom-up » participation

http://www.anr-intermed.fr/asso-pdu/index.php/Accueil

Media

Wiki

http://groups.google.fr/group/cane-pdu

Google

Groups

Réunions

PDU

Cadre de la concertation sur le Plan de Déplacement Urbain de l’Agglo de Montpellier

Expérimentation « bottom-up » avec 8 associations environnementales + citoyens

Equipés d’un Google Group + Plateforme collaborative Wiki et annotation

« nous nous donnons un petit mois pour parvenir à la réalisation d’un document commun en travaillant ensemble grâce à une plate-forme informatique. » (CR 12/03/2010)

23

Evaluation du dispositifEvaluation du dispositif

http://www.anr-intermed.fr/asso-pdu/index.php/Accueil

Media

Wiki

http://groups.google.fr/group/cane-pdu

Google

Groups

Processus : - Durée : 5 mois, long (c’était fixé 1 mois), difficulté à coller à l’agenda politique - Egalité : peu d’égalité sur le wiki (6 contributeurs, 12 lurkers) - Argumentation : références externes, exemples vidéos, expertise d’usage- Interactivité : quotidienne, rapidité de réponse sur Google Group- Respect : ton amical, 1 dérapage dû à un prb technique

Effets :- Coproduction d’un document de 25 pages (Diagnostic, Propositions) - Création d’un réseau, collaboration nouvelles entre ONG, identité collective- Communication avec l’Agglomération, réunions

Outils : - Accessibilité : public (40 – 70 ans) , formation, login personnalisé, difficulté de gestion de l’identité- Utilité : complément des réunions face à face, coordination réunions, réseautage (GoogleGroup), co-écriture (wiki)- Utilisabilité : Difficulté de voir QUI contribue, détournement du wiki (couleurs d’identification)

Difficulté pour créer et inclure les cartes : Besoin de SIG ?

24

Intégrer des SIG ? Intégrer des SIG ?

Zones

Icônes

(points noirs)

Carte de diagnostic Cartes de propositions

Tracé

Texte géo référencé

Relier le texte aux cartes …

25

3) « Top-down » participation3) « Top-down » participation

Concertation sur SAGE le Bassin de Thau entres parties prenantes

Cadre de la concertation sur le SAGE de Thau (phase Diagnostic)

Expérimentation « top-down » avec un GT « milieu Aquatique »

Equipé d’un wiki « Wiki-Thau » : co-écriture de l’état des lieux, appel à contribution

++

SAGERéunions http://thau.anr-intermed.fr/

26

Evaluation du dispositif « Wiki-Thau »Evaluation du dispositif « Wiki-Thau »

http://thau.anr-intermed.fr/ Processus : - Durée : 1 mois, trop court, prb choix des dates (vacances scolaire) - Egalité : faible participation (8 contributions / 60 participants invités), peu égale (pas d’élus ni de représentants d’usagers) - Argumentation : expertise technique (référence étude, chiffre) - Interactivité : faible, séquentiel, « appel à contribution » - Respect : oui, confiance modération (gestionnaire)

Effets :- Difficile à évaluer : expérimentation ponctuelle / processus long- Trace , mémoire collective - pas d’ouverture malgré invitation des autres GT , pas grand public

Outils : - Accessibilité : prb d’accès, sécurisé (CG34), public hétérogène - Utilité : complément des réunions face à face, évite déplacement - Utilisabilité : Bugs , affichage Difficulté des contributions collectives (institution) Texte long, charge d’information Pas de carte dans le wiki, difficulté d’ajouter des SIG ?

« Il faut que tout le monde s’exprime mais que ça reste opérationnel » (CG34,30/01/09)

27

Intégrer des SIG ? Intégrer des SIG ?

SMBT

CG34

SAGE

28

29

DiscussionDiscussion

L’évaluation des dispositifs :

- est multi-échelle (démocratie, participation, outil)

- est socio-technique (humain-machine)

- sert à capitaliser et améliorer les dispositifs

Les dispositifs en ligne :

- délibération

- collaboration

Les PPGIS :

- objets intermédiaires de conception

- supports de débat et de coproduction

30

Futur dispositif Futur dispositif

31

julie.marlier@cemagref.fr

Merci de votre Merci de votre attention …attention …

32

Bach, C., & Scapin, D. L. (2005). Critères Ergonomiques pour les Interactions Homme-Environnements Virtuels: définitions, justifications et exemples.Bailleul, H. (2008). Les nouvelles formes de la communication autour des projets urbains: modalités, impacts, enjeux pour un débat participatif.Bugs, G., Granell, C., Fonts, O., Huerta, J., & Painho, M. (2010). An assessment of Public Participation GIS and Web 2.0 technologies in urban planning practice in Canela, Brazil. Cities.Cai, G., & Yu, B. (2009). Spatial Annotation Technology for Public Deliberation. Transactions in GIS, 13, 123-146.Caquard (2001). Des cartes multimédias dans le débat public. Pour une nouvelle conception de la cartographie appliquée a la gestion de l’eau. Thèse pour obtenir le grade de docteur en géographie de l’Université de Saint-Etienne.Haklay, M., & Tobón, C. (2003). Usability evaluation and PPGIS: towards a user-centred design approach. International Journal of Geographical Information Science, 17, 577-592.Maurel, P. (2009). Favoriser le concernement et l'engagement des acteurs de la planification locale: l'expérience du territoire de Thau. Ingénieries, 53-64.Rinner, C., Keßler, C., & Andrulis, S. (2008). The use of Web 2.0 concepts to support deliberation in spatial decision-making. Computers, Environment and Urban Systems, 32, 386-395.Sidlar, C. L., & Rinner, C. (2007). Analyzing the usability of an argumentation map as a participatory spatial decision support tool. Editor-in-Chief: Jochen Albrecht, 19, 47.Sieber, R. (2006). Public participation geographic information systems: A literature review and framework. Annals of the Association of American Geographers, 96, 491-507.Wu, H., He, Z., & Gong, J. (2010). A virtual globe-based 3D visualization and interactive framework for public participation in urban planning processes. Computers, Environment and Urban Systems.Zhao, J., & Coleman, D. J. (2007). An Empirical Assessment of a Web-based PPGIS Prototype: Citeseer.

Bibliographie Bibliographie