1

Modalités synthétiques d’évaluation/caractérisation des activités coopératives situées

Définition et repérage de marqueurs pertinents

Sandrine Darcy1, Pascal Salembier2, Xavier Angleys3, Hervé Biran4, Bruno Carron4 & Emmanuel Gardinetti5

(1) IC3-IRIT, Université Paul Sabatier, 118, rte de Narbonne, 31077 Toulouse Cedex 9 (2) ICD-TechCICO, Université de Technologie de Troyes, 12, rue Marie Curie, BP2060, 10010 Troyes Cedex

(3) AIS Eurocrise, 4 rue de Paradis, 75010 Paris (4) EADS, Defence & Security/SDC, 1 bd Jean Moulin, 78996 Elancourt Cedex

(5) DGA, Division Sciences de l'Homme & Protection / SMFH / IFH, 7 rue des mathurins 92221 Bagneux Cedex

La typification des activités coopératives et leur articulation avec des critères d’efficacité métier constitue un enjeu important pour l’évaluation des situations de coopération. Cet article propose une première approche de ce problème, basée sur l’application de dimensions et de marqueurs coopératifs dans le contexte de plusieurs situations de prise de décision.

Mots-clés : Coopération ; codage ; marqueurs synthétiques de l’activité

Introduction La définition de schémas analytiques permettant de caractériser l’organisation des activités coopératives co-localisées ou à distance (Darses et al., 2001; Detienne, Boujut, & Hohmann, 2004) constitue un enjeu important pour l’analyse des situations de coopération. Un objectif hypothétique à long terme de ce type de travaux pourrait être d’identifier des corrélations systématiques entre catégories de marqueurs coopératifs et mesures de l’efficacité du collectif. On peut ainsi espérer être en mesure de porter un jugement indicatif synthétique sur la « qualité » des processus de collaboration et de le rapprocher d’une évaluation réalisée par des experts du domaine d’activité afin de constituer des critères d’évaluation composites potentiellement utilisables pour la conception et l’évaluation de situations de coopération (Spada et al., 2005). Nous avons, dans une étude récente1, posé les bases d’une approche de typage des activités coopératives qui constitue une première étape vers cet objectif plus général de construction de critères d’évaluation des situations intégrant indicateurs orientés « coopération » et « efficacité métier ». Nous avons pour ce faire tester dans quelques cas précis l’applicabilité d’une grille d’analyse basée sur le repérage de marqueurs liés à des dimensions jugées pertinentes pour rendre compte de l’activité coopérative.

1. Approches pour l’évaluation des situations de coopération Deux types d’approches complémentaires peuvent être considérés pour évaluer une situation de coopération : une approche centrée sur des critères intrinsèques à l’activité coopérative et une approche extrinsèque centrée sur les résultats mesurables de cette activité. Dans le premier cas, l’idée est d’identifier et de relever systématiquement l’occurrence de marqueurs positifs de la coopération, c’est-à-dire d’actions réalisées par les agents dont on considère a priori qu’elles contribuent positivement à la coopération, et, par hypothèse, à l’atteinte efficace d’objectifs collectivement ratifiés. Ces actions sont définies comme des instances

1 Contrat de recherche DGA mené en collaboration avec EADS et EuroCrise.

2

concrètes de catégories descriptives générales telles que la co-construction de connaissances entre agents, la répartition de tâches, la négociation de solution, l’assistance mutuelle,… (Häkkinen, Järvelä, & Mäkitalo, 2003; Pilkington, 1997; Soller & Lesgold, 2000). Dans le second cas, seuls les résultats obtenus par le groupe d’agents coopérants sont considérés pour statuer sur la qualité de la coopération. Les critères utilisés sont alors essentiellement des mesures de performance, plus ou moins pertinentes, liées à un domaine d’activité donné (temps nécessaire à la réalisation d’une tâche, nombre d’erreurs, qualité du résultat obtenu selon le jugement porté par des experts du domaine,…). Il est clair que l’utilisation d’une seule approche est insuffisante : on peut ainsi être amené à relever un grand nombre d’occurrences de marqueurs de la coopération dans toutes les catégories considérées sur un laps de temps donné sans que le groupe d’agents n’atteigne ses objectifs ou ne parvienne à un résultat acceptable. A l’inverse, la performance d’un collectif peut être jugée excellente en termes de résultats obtenus sans qu’on n’ait pu relever un nombre significatif d’occurrences des marqueurs de « bonne » coopération. La question de la nature de la relation entre présence de marqueurs coopératifs et efficacité du collectif est donc en soi problématique et nécessite des analyses plus fines. Au-delà d’une position quelque peu simpliste qui postulerait l’existence de marqueurs « positifs » quelque soit leur contexte d’occurrence, il convient par exemple de s’interroger sur les significations possibles d’indices tels que des configurations (patterns) particulières de marqueurs et leur évolution sur une période de temps donnée : ces patterns relèvent-ils d’un choix planifié de régime de fonctionnement du collectif ou sont-ils la manifestation induite d’un défaut de couplage entre le collectif et les caractéristiques de la situation, lequel va se traduire par la multiplication de certains types d’actions coopératives à visée de compensation ?

2. Description du contexte de l’étude 2.1. Situations étudiées

Les observations ont été réalisées dans le cadre d’un projet qui visait à documenter le travail coopératif et l’usage de la cartographie (papier et numérique) dans différentes situations de préparation et de suivi de manœuvres militaires, en vue de la spécification et de la conception de démonstrateurs d’aide à l’activité de prise de décision en situation de commandement. Ces observations ont été menées dans le cadre de deux exercices en situation réaliste et d’une simulation conduite dans le laboratoire d’expérimentation NetCOS d’EADS. Plusieurs types de situations d’activité ont fait l’objet de recueil de données et d’analyse : réunions dites de « points de situation », « d’élaboration de la manœuvre », phases de conduite et suivi tactique.

2.2. Dispositifs de recueil Le dispositif de recueil mis en place visait à l’acquisition de données sur les comportements manifestes des acteurs, sur les traces résultant de ces comportements et sur la qualification de ces données par les acteurs eux-mêmes ou par des experts du domaine (essentiellement via des entretiens semi-formels).

Figure 1 : Exemples de prises de vue effectuées sur les trois terrains

3

Ce dispositif comprenait des systèmes d’enregistrement audio et vidéos fixes et mobiles et des systèmes automatiques d’acquisition des traces de l’usage du système d’information (Figure 1). 3. Méthode de typification des activités coopératives

3.1. Schéma analytique global La démarche générale de mise en forme et d’analyse des données recueillies sur les activités en situation se décompose en plusieurs étapes. Dans un premier temps les diverses données brutes acquises dans les différentes situations ont été rassemblées, filtrées (certains éléments ont été jugés inexploitables ou peu pertinents au regard des objectifs de l’étude), organisées (mise en relation systématique des données d’observation et des commentaires recueillis en ou hors situation), et si nécessaire synchronisées (cas de « macro-séquences » pour lesquelles une observation multi-sites a été réalisée). Dans un second temps les données ainsi organisées ont fait l’objet d’une mise en séquences et d’une indexation thématique. Chaque séquence renvoie à une continuité temporelle d’actions et d’événements qui s’inscrivent dans une certaine cohérence thématique du point de vue de l’activité considérée. Les séquences peuvent donc être regroupées en thèmes. Les séquences d’actions et d’événements enregistrés lors des points de situations peuvent ainsi être regroupées dans la catégorie thématique « Points de situation ». A un niveau plus fin d’analyse de l’activité, on peut identifier des séquences telles que des épisodes d’annotation de supports par exemple. Ces séquences peuvent être elles-mêmes insérées dans des séquences de niveau supérieur. Dans certains cas la mise en séquences peut donner lieu à la constitution d’une « histoire », c’est-à-dire une macro-séquence organisée en structure narrative (début et fin bien identifiés ; durée cumulée et nombre de séquences importants ; cohérence thématique d’ensemble déterminée par le domaine de tâches). Dans un troisième temps, on procède selon l’intérêt de la séquence ou de la macro séquence à un découpage en Unités Significatives d’Actions et d’Evénements (USAE). Ce découpage suppose de passer par une phase de transcription de l’enregistrement audio-vidéo. Cette transition requiert donc de discrétiser, au moyen d’un langage de description, un ensemble d’informations continues. On isole alors des actions et des événements potentiellement significatifs pour l’acteur et pour l’analyste. Par significatifs nous entendons ici sous-tendant une intention d’intervention sur le réel et/ou une intention de modification des représentations des autres acteurs2. Ces actions et ces événements sont exprimés à un niveau d’abstraction variable, déterminé par l’objectif d’analyse poursuivi. L’analyse d’une séquence d’interaction autour d’une carte par exemple nécessite une finesse de description différente selon que l’on cherche à rendre compte de l’enchaînement des interventions de différents acteurs, ou que l’on cherche à souligner l’importance des déictiques (associations gestes + parole) lors de l’utilisation collective de supports informationnels partagés. Le découpage en USAE peut donc dans certains cas faire l’objet de plusieurs étapes successives.

3.2. Marqueurs coopératifs

Nous avons appliqué aux données recueillies sur les terrains étudiés une grille d’analyse basée sur le repérage de marqueurs liés à des dimensions jugées pertinentes pour rendre compte de l’activité coopérative. Cette grille, qui comprend sept dimensions déclinables en marqueurs

2 Dans certains cas de figure une action qui ne répond pas à cette définition peut néanmoins être considérée par l’analyste dans la mesure où elle est susceptible d’avoir un effet même en l’absence d’intention préalable de son auteur (le fait d’adopter par exemple une certaine posture ou de faire une mimique particulière peut induire de manière non intentionnelle une modification des représentations des autres agents.

4

spécifiques (Tableau 1), est issue pour partie des études menées dans le domaine de l’apprentissage collaboratif (Spada et al., 2005) et pour partie de nos propres travaux réalisés dans des domaines d’application variés (contrôle de processus, gestion de situations d’urgence,…) (Pavard, 1994; Pougès et al., 1994; Salembier & Zouinar, 2004, 2006).

Tableau 1 : Dimensions de l’activité coopérative et marqueurs associés

Dimensions Marqueurs

Actualisation du contexte [ACTU-CTXT] [DEM-CTXT]

- Fournir une information nouvelle (via différents médias : voix, phonie, SIO, papier,…)

- Externaliser des connaissances via le renseignement de supports de représentation externe (actualisation de supports cartographiques)

- Poser une question contenant une information - Demander une information permettant d’actualiser le contexte

Support à et vérification de la compréhension mutuelle [VERIF-SUPP]

- Rendre manifestes et compréhensibles les informations accessibles (y compris sa propre activité)

- Attirer l’attention sur un point particulier (pointer une information présente sur une carte,…)

- Manifester sa compréhension et son attention en donnant un feedback (commentaire, accord, …)

- Demander la confirmation d’une information - Confirmer une information déjà donnée

Allocation des tâches/ Coordination [ALLOC-TASK]

- Demander/ordonner à quelqu’un d’accomplir une tâche - Proposer de réaliser un plan, une tâche - Définir et expliciter un plan de répartition des tâches

Assistance mutuelle [MUT-ASSIST]

- Proposer de l’aide (plus ou moins spécifiée) - Prendre en charge une partie des tâches d’un tiers - Prendre des décisions/effectuer des actions de manière à faciliter le travail d’un

tiers

Gestion temporelle du collectif [GEST-TEMP]

- Rappeler les contraintes à prendre en compte - Rappeler les délais à respecter - Agir sur la temporalité de son activité propre

Soutien de l’engagement des acteurs dans l’action collective [SUP-ENGAG]

- Rappeler les tâches à réaliser - Souligner les responsabilités - Prodiguer des encouragements collectifs

Recherche d’un consensus négocié dans l’interprétation des situations et la prise de décision [REC-NEGO]

- Faire un commentaire sur une situation qui ouvre sur un échange de points de vue

- Organiser l’évaluation/interprétation collective des situations - Favoriser la discussion autour de la prise de décision (en demandant un avis, une

suggestion,…)

Les marqueurs ont été partiellement ajustés et précisés afin de rendre compte des caractéristiques spécifiques des situations étudiées. Notons qu’un événement ou une action peuvent être décrits par plusieurs marqueurs et par conséquent être rattachés à plusieurs dimensions coopératives : une demande de report d’une information sur un support cartographique numérique sera ainsi codée à la fois comme une allocation de tâches et comme une demande d’actualisation du contexte.

5

L’analyse des données a consisté à associer une USAE à un ou plusieurs marqueurs de manière à la rattacher à une ou plusieurs dimensions de la coopération (Figure 2). Ce codage a été réalisé indépendamment par deux analystes ; les éventuels écarts de codage ont été discutés. Le nombre d’occurrences pour chaque catégorie a ensuite été comptabilisé.

Figure 2 : Extrait d’une macro-séquence d’actions et d’événements significatifs. De gauche à droite : temps, description de l’unité significative d’action et d’événement (USAE), média utilisé (carte papier, système d’information, communication verbale/non-verbale,…) dimensions coopératives associées.

4. Exemples de résultats

4.1. Situations de type « réunion d’élaboration » et « prise de décision » Ces deux types de réunion observés pendant les exercices correspondent réciproquement à un rassemblement des membres du collectif (chefs de cellules) pour élaborer les modes d’actions (MA) qui sont ensuite exposés au niveau hiérarchique supérieur (Général, Chef d’état major) afin que le Général définisse celui qu’il souhaite adopter. Les profils de relevé des marqueurs coopératifs pour les réunions d’élaboration et de choix du Mode d’Action (MA) sont relativement proches mais présentent des différences qui renvoient à leur spécificité propre. On observe ainsi que les actions d’alignement des représentations et de vérification de la compréhension mutuelle [VERIF-SUPP] constituent ainsi près de 50% des USAE dans chacune des réunions. On remarquera également que les actions d’initiation et d’organisation de la prise de décision collective représentent respectivement 32% et 23% des USAE [REC-NEGO].

Figure 3 : Relevé des marqueurs coopératifs lors des réunions d’élaboration et de choix de MA (Ntotal=99, Ntotal=204)

6

Les deux réunions se distinguent essentiellement par la part plus importante accordée à ces actions d’organisation collective lors des réunions d’élaboration et par un accent un peu plus important mis sur les actions d’actualisation du contexte par apport d’informations nouvelles [ACTU-CTXT] lors des réunions de choix du MA (14% contre 7%). On peut noter la différence somme toute relativement faible entre les chiffres recueillis lors des deux types de réunion concernant l’animation collective de la prise de décision : on aurait pu en effet s’attendre, compte tenu du schéma d’organisation collective identifié à un % moins important d’actions de ce type dans la réunion de choix du MA. Ce résultat s’explique par la série d’échanges initiés par une des acteurs importants de ce type de réunion (Chef d’Etat Major) à propos notamment de la présentation de la cellule « Renseignement ».

4.2. Situations de type « conduite et suivi de phase tactique »

4.2.1. Situation de coopération/coordination à distance Dans cette situation, la réalisation d’une phase tactique doit être coordonnée entre deux niveaux hiérarchiques différents de l’organisation (Brigade et Régiment) situées dans des lieux différents. Lors de cette phase tactique, l’essentiel des activités des membres du CO (centre opérationnel) de brigade consiste à considérer l’évolution de la situation : 70% des actions coopératives répertoriées (N= 150) consiste à prendre connaissance d’informations nouvelles [ACTU-CTXT] et à mettre en œuvre des actions visant à assurer la compréhension mutuelle [VERIF-SUPP] (Figure 4). Le reste des activités est répartie de manière égale entre les différents autres marqueurs. On peut toutefois rapprocher les marqueurs de types « allocation de tâche » et « engagement dans la tâche » qui codent les activités visant à désigner plus ou moins précisément les tâches à réaliser. La proportion de ces actions atteint alors 20 % des activités observées (N= 44). Ce chiffre pouvant paraître faible peut s’expliquer par la délégation de la conduite de la manœuvre à une autre structure de la Brigade (PC tactique) par le Général responsable de la Brigade. De plus, ramené au nombre d’interventions réalisées uniquement par le Général (N= 110), le chiffre représente une part importante de ses activités (40%).

Figure 4 : Relevé des marqueurs coopératifs lors de la phase tactique (CO Brigade) ; Ntotal= 213

La faible proportion des marqueurs de demande de contexte pourrait, elle aussi surprendre. Le chiffre peut s’expliquer par le fait que ces actions, principalement relatives au positionnement des unités ennemies, se produisent essentiellement au début de la séquence. Une fois les interrogations levées sur la position de ces unités, les références à leur répartition géographique se font sous la forme de vérification de position [VERIF-SUPP] au lieu de demande réelle d’information [DEM-CTXT]. Enfin, plusieurs pistes peuvent être avancées pour expliquer la faible occurrence des actions de recherche de consensus sur la prise de décision. D’une

7

part, les épisodes de concertation sont concentrés jusqu'à la résolution de la question du positionnement des unités ennemies. D’autre part, ils sont moindres à partir de la prise en charge de la gestion de l’attaque par le PC tactique.

4.2.2. Situation de coopération/coordination « côte-à-côte » Dans cette situation, deux acteurs situés dans un véhicule blindé (un Capitaine chef d’Unité/CDU et son adjoint) coopèrent pour conduire une manœuvre. Le relevé des marqueurs coopératifs durant cette phase permet de mettre en évidence les caractéristiques du travail coopératif effectué par ce binôme CDU-adjoint (Figure 5). On observe ainsi que la majeure partie de l’activité de la cellule ainsi constituée consiste à actualiser les données de la représentation de la situation, à aligner les représentations et à allouer des tâches aux subordonnées sur le terrain.

Figure 5 : Relevé des marqueurs coopératifs lors d’une phase de conduite/suivi de manœuvre. Ncap_total=136 ;

Nadj_total=80

Cette activité n’est pas répartie de manière similaire entre les deux agents : on voit en effet que le capitaine contribue de manière plus importante aux activités d’allocation de tâches, essentiellement des instructions données à la phonie et des demandes formulées à destination de son adjoint. Ces demandes sont souvent exprimées sous la forme d’actes de langage indirects : le CDU signale l’arrivée d’un message potentiellement important compte tenu de la situation courante (un compte-rendu de tir par exemple) et signifie par là-même à l’adjoint qu’il souhaite le voir pris en compte. L’importance des actions de types vérification/alignement des représentations que l’on peut observer chez le CDU renvoie pour partie à des opérations de calage situationnel avec les unités sur le terrain (vérifier qu’une instruction a été prise en compte, que la situation sur le terrain est bien conforme à la représentation que s’en fait le capitaine) et à un feedback quasi-systématique vers l’adjoint lorsque celui-ci lui transmet une information. Cette façon de faire permet de manifester qu’une information a été reçue et donne en outre la possibilité à l’émetteur de contrôler que la donnée a été correctement comprise. Les demandes d’actualisation du contexte sont également plutôt le fait du CDU qui ponctuellement éprouve le besoin d’être informé de manière plus précise ou complémentaire par rapport à l’information dont il dispose. L’activité de l’adjoint est ici plus dirigée vers l’actualisation du contexte en cours, par le renseignement des supports cartographiques (positions estimées des unités ennemies notamment) et par la vocalisation à destination du CDU de certaines informations reçues par TD.

8

Conclusion Le type de schéma analytique évoqué dans cet article est potentiellement utile dans la mesure où il fournit des éléments de « typage » des activités coopératives observées et favorise ainsi la comparaison entre différents types de situations ( ex : niveau d’équipement, mode d’organisation). Mais les données obtenues par l’application de ce type de codage ne dispensent bien évidemment pas de procéder à une analyse fine des séquences d’activité étudiées, ne serait-ce que pour tenter de produire une explication signifiante de certains résultats dont les représentations quantitatives ne donnent qu’une vision partielle. C’est d’ailleurs toute la question de la sémiotisation des indices synthétiques de l’activité (notamment coopérative) qui est posée ici : un nombre important d’occurrences d’USAE d’un certain type coopératif (relativement aux autres types) peut être expliqué par des raisons structurelles liées à l’organisation des tâches, à l’agencement spatial des postes de travail, aux outils disponibles,… mais également à des facteurs plus conjoncturels (évolution particulière d’une séquence d’activité). De ce point de vue, l’évolution de la répartition des marqueurs coopératifs au cours d’une séquence est souvent plus informative que les résultats globaux pour cette séquence. Mais le point critique reste ici celui de l’interprétation implicite d’une action portée par le codage : la signification d’une action du point de vue de l’analyste garde un statut hypothétique et ne recoupe pas forcément le point de vue de l’acteur lui-même, sauf à réintégrer les éventuelles verbalisations de ce dernier précisant le statut de ses actions. Ce qui nécessite le recours à un dispositif méthodologique permettant le recueil de ces verbalisations et leur mise en relation systématique avec les données d’observation. Références Darses, F., Detienne, F., Falzon, P., & Visser, W. (2001). COMET: a method for analysing collective

design processes (Rapport de recherche No. 4258). Rocquencourt: INRIA. Detienne, F., Boujut, J.-F., & Hohmann, B. (2004). Characterization of collaborative design and

interaction management activities in a distant enginnering design situation. In F. Darses, R. Dieng, C. Simone & M. Zacklad (Eds.), Cooperative systems design, Proceedings of the COOP'04 International Conference. Amsterdam: IOS Press.

Häkkinen, P., Järvelä, S., & Mäkitalo, K. (2003). Sharing perspectives in virtual interaction: Review of methods of analysis. In B. Wasson, S. Ludvigsen & U. Hoppe (Eds.), Designing for change (pp. 333-342). Dordrecht: Kluwer.

Pavard, B. (1994). Systèmes coopératifs: de la modélisation à la conception. Toulouse: Octares. Pilkington, R. (1997). Analysing educational discourse: The DISCOUNT scheme. (CBLU Technical

Report No. N° 019703). The University of Leeds, Leeds, UK: Computer Based Learning Unit. Pougès, C., Guy, J., Pavard, B., Gourbeault, F., & Champion, M. (1994). Conception de collecticiels

pour l'aide à la prise de décision en situation d'urgence: la nécessité d'une approche pluridisciplinaire et intégrée. In B. Pavard (Ed.), Systèmes coopératifs: De la modélisation à la conception (pp. 351-375). Toulouse: Octarès Editions.

Salembier, P., & Zouinar, M. (2004). Intelligibilité mutuelle et contexte partagé. Inspirations théoriques et réductions technologiques. In P. Salembier, J. Theureau & M. Relieu (Eds.), "Activité et Action située", @CTIVITES, 1 (2) (pp. 64-85).

Salembier, P., & Zouinar, M. (2006). Pas de coopération sans partage! Le partage d'information comme régulateur de la cognition individuelle et collective. In F. Jeffroy, J. Theureau & Y. Haradji (Eds.). Toulouse: Octares.

Soller, A., & Lesgold, A. (2000). Analyzing peer dialogue from an active learning paerspective. In Proceedings of AI-ED Workshop (pp. 63-71).

Spada, H., Meier, A., Rummel, N., & Hauser, S. (2005). A new method to assess the quality of collaborative process in CSCL. In Proceedings of the Computer Support for Collaborative Learning Conference, Taïpei (pp. 622-631).