Document d’analyse PSDR3 - Projet CITODAB

CITODABCITODAB

Calibrage par les utilisateurs finaux

avant mise en application

La mise au point d’un modèle d’évaluation multicritère qualitatif de systèmes de culture

2

Pour citer ce document

Colomb Bruno, (2011), La mise au point d’un modèle d’évaluation multicritère qualitatif de systèmes de culture. Calibrage par les utilisateurs finaux avant mise en application, Document d’analyse PSDR3 Midi-Pyrénées, Projet CITODAB, 14p + annexes.

© Centre INRA Toulouse Midi-Pyrénées / 2012

Conception-réalisation : Yaël Kouzmine (Centre INRA Toulouse Midi-Pyrénées)

Crédits photographiques couverture  : Mathieu Preudhomme (haut) et Christian Slagmulder (bas)

3

Sommaire

L’auteur ��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 4

Remerciements �������������������������������������������������������������������������������������������������������������������������������������������������������������� 4

I� Rappel sur les étapes d’une évaluation multicritère de systèmes de culture et position du calibrage du modèle ��������������������������������������������������������������������������������������������������������������������5

II� Principe du calibrage du modèle par les praticiens �������������������������������������������������������������������6

III� Le modèle Dexi exemple à calibrer �������������������������������������������������������������������������������������������������������� 8

IV� Implémentation de la procédure Calibrage-ArbreDexi�R ��������������������������������������������������9IV-1� Structure de la procédure R ��������������������������������������������������������������������������������������������������������������������9IV-2� Un exemple d’utilisation ��������������������������������������������������������������������������������������������������������������������������10

V� Conclusion ������������������������������������������������������������������������������������������������������������������������������������������������������������������ 12

Références bibliographiques ���������������������������������������������������������������������������������������������������������������������������14

Annexe 1� Le modèle d’évaluation Qualite_gestion_P�dxi, Structure de l’arbre, Fonctions d’utilité & poids des indicateurs ��������������������������������������������������������������������������������������������� 15

Annexe 2� Procédure de calibrage sous R d’un arbre DEXi ���������������������������������������������������� 19

4

Bruno Colomb est Ingénieur de recherche au Centre INRA Toulouse Midi-Pyrénées et membre de l’UMR 1248 AGIR (Agrosystèmes et agricultures, Gestion des ressources, Innovations et Ruralités - INRA / INP-ENSAT).

E-mail : bruno.colomb@toulouse.inra.fr

RemeRciements

Ce document n’aurait pas vu le jour sans le concours des conseillers agricoles Jean Arino (Chambre d’agriculture du Gers), Lise Billy (Chambre d’agriculture des Hautes-Pyrénées), Sylvain Collet (Chambre d’agriculture de Haute-Garonne), Éric Rossignol (Chambre d’agriculture de l’Ariège), Sophie Tuyères (Chambre d’agriculture du Tarn-et-Garonne), sans le travail de Sylvain Gaubrie dans le cadre de son stage de fin d’étude d’ingénieur de l’ENSAT 2011, et sans l’animation apportée à l’ensemble par Anne Glandières de la Chambre régionale d’agriculture de Midi-Pyrénées.

Que tous soient remerciés pour leur contribution.

L’auteuR

© L

ouis

Jest

in

5

Les systèmes de cultures sont des systèmes de production agricole auxquels sont assignées aujourd’hui de multiples fonctionnalités et de multiples contraintes qui relèvent des différentes dimensions de la durabilité. L’évaluation intégrée de leurs performances vis-à-vis des unes et des autres est donc une opération complexe (Sadok et al., 2007) qui sera conduite généralement en plusieurs étapes par un collectif de travail ad hoc.

Durant la première étape dite de problématisation, le collectif analyse et formalise ses préoccupations relatives aux systèmes de cultures. Dans les différents domaines de la durabilité, les préoccupations sont définies en terme de performances à atteindre et/ou de contraintes à respecter, et à chacune d’elles sont associés un ou plusieurs indicateurs.

La deuxième étape correspond à la construction proprement dite du modèle d’évaluation. Lorsque l’évaluation vise à fournir les bases d’un classement complet des systèmes entre eux sur un critère final unique de durabilité, le modèle d’évaluation prend la forme d’une arborescence d’indicateurs. La structure en arbre des indicateurs doit refléter l’importance relative accordée aux préoccupations sous-jacentes, depuis les plus élémentaires jusqu’à la note de durabilité globale. Elle détermine le processus d’agrégation des indicateurs, depuis les plus basiques (feuilles de l’arbre) jusqu’à l’indicateur racine. Nous nous plaçons dans cette hypothèse de structure hiérarchique, avec une implémentation du modèle réalisée avec la technologie MCDA DEX (Bohanec, 1990) grâce à l’outil DEXi, tel que cela a été réalisé pour MASC dans ces diverses versions ou déclinaisons (Sadok et al., 2009 ; Colomb et al., 2011 ; Craheix et al., 2011 ; 2012).

La troisième étape consiste à paramétrer le modèle. Dans le cas des modèles implémentés sous DEXi, le paramétrage porte sur la définition des règles de raisonnement qualitatives qui régissent le processus d’agrégation des indicateurs. Ces règles, regroupées dans les fonctions d’utilité, déterminent le poids des indicateurs basiques et intermédiaires de l’arborescence dans l’évaluation de l’indicateur racine. L’ensemble des règles reflète le système de préférences des utilisateurs. Son établissement doit faire l’objet d’un travail d’explicitation consensuel soigneux.

La quatrième étape peut être constituée d’une analyse de sensibilité (AS), visant à étudier la sensibilité des résultats d’évaluation à la structure du modèle et à son paramétrage. Dans le cas des modèles DEXi, elle permet de préciser notamment l’importance relative des indicateurs de base et/ou agrégés intermédiaires dans le diagnostic final, en fonction de la structure de l’arbre et de leurs positions dans l’arbre. Les AS sont généralement conduites par des scientifiques car les méthodes font appel à des algorithmes élaborés (Carpani et al., 2010). De plus, les résultats sont généralement d’interprétation délicate, tant les sources de sensibilité internes au modèle sont nombreuses (nombre de classes propres

i. RappeL suR Les étapes d’une évaLuation muLticRitèRe de systèmes de cuLtuRe et position du caLibRage du modèLe

6

à chaque indicateur, profondeur de l’arbre, nombre d’indicateurs présents aux différents niveaux, etc.).

La cinquième étape, détaillée ci-après, vise à la calibration du modèle par les praticiens utilisateurs eux-mêmes, de façon à les mettre en confiance vis-à-vis de ce dernier, après paramétrage par leur soin.

La sixième étape correspond à l’application du modèle sur le ou les jeux de cas à étudier réellement. Elle intègre le calcul ou l’évaluation des indicateurs de base. L’interprétation des résultats constitue la dernière phase préparatoire aux décisions concernant les systèmes évalués (communication, mise en expérimentation, promotion, etc.).

Chacune des cinq premières étapes se réalise dans le temps et le produit de chacune peut passer par plusieurs états jusqu’à ce qu’une certaine maturité soit atteinte. Dans ce cas, il est possible de passer à l’étape suivante  : problématisation à construction du modèle, construction à paramétrage…, calibration à utilisation.

Le présent document vise à exposer une procédure de calibrage du modèle utilisable lorsque son développement est parvenu à l’issue de l’étape 4 : un modèle de type DEXi a été conçu, paramétré et a fait éventuellement l’objet d’une analyse de sensibilité. A ce stade, les utilisateurs praticiens(versus les scientifiques) souhaitent une étape supplémentaire d’appropriation du modèle,

ii. pRincipe du caLibRage du modèLe paR Les pRaticiens

qui les mette en confiance par rapport à ce qui peut en ressortir.Le principe de calibrage du modèle est simple. Il s’agit d’évaluer avec le modèle un ou des jeux de systèmes de cultures pour lesquels les praticiens ont déjà des connaissances assez précises de leurs caractéristiques, de leurs contextes, de leurs performances. Le calibrage peut s’effectuer en comparant les diagnostics issus du modèle avec ceux que les praticiens sont capables d’émettre à priori et par expertise directe.

Un calibrage acceptable ne requiert pas nécessairement une convergence forte entre la vision préalable des praticiens et les diagnostics fournis par le modèle. Au contraire, des écarts sont à priori souhaitables, sinon le modèle n’aurait aucune utilité. L’essentiel est de vérifier que, pour des cas connus, le modèle restitue une évaluation cohérente avec l’expertise des praticiens. Quant aux écarts constatés, ils devront pouvoir être expliqués soit par une insuffisance du modèle ou de son paramétrage, conduisant à leur révision éventuelle, soit être interprétés comme des apports diagnostics nouveaux venant enrichir la vision préexistante des utilisateurs, voir la modifier.

7

En pratique, le modèle paramétré peut être mis à l’épreuve de l’expertise de deux façons.

La première consiste à lui soumettre un jeu de cas représentatif des systèmes de culture considérés, généré statistiquement. Le jeu de cas, réduit à un ensemble de vecteurs de données d’entrée du modèle (valeurs des indicateurs basiques), peut être construit statistiquement en tenant compte des deux constats suivants, très généraux :

. Les performances des systèmes de cultures présentent toujours une certaine variabilité dans un contexte donné. Lorsque ces performances sont considérées comme indicateur du modèle, il convient de tenir compte de cette variabilité pour générer le jeu de cas utile au calibrage du modèle dans le contexte concerné. . Les performances des systèmes de culture peuvent présenter des relations faibles

à fortes entre elles. Ainsi les systèmes de culture irrigués du Sud-ouest présentent généralement une productivité plus forte que les systèmes non irrigués, associée à une pression sur la ressource en eau nécessairement plus forte. Dans ce contexte, les deux indicateurs ne sont pas indépendants.

Les connaissances détenues par les praticiens portant sur la variabilité des performances élémentaires des systèmes de cultures et leurs relations éventuelles peuvent être mises à profit pour générer statistiquement des jeux de données d’entrée à soumettre au modèle DEXi à calibrer.En générant un nombre de cas suffisamment important, on peut obtenir une distribution pour l’indicateur synthétique racine du modèle. Celle-ci peut être comparée à une distribution proposée à priori à dire d’expert pour le type de systèmes de culture concerné, graphiquement ou à l’aide de tests statistiques classiques appropriés.

Une deuxième façon de tester le modèle consiste à comparer les valeurs de l’indicateur synthétique issues de ce dernier pour un petit nombre de scénarios réels bien caractérisés, avec les valeurs indiquées à priori par les utilisateurs pour chacun d’eux. La comparaison s’effectue cette fois non pas entre deux distributions de valeurs, mais entre deux séries de valeurs de faible effectif. Une manière simple de vérifier la cohérence entre les deux séries est de réaliser une simple table de contingence. La comparaison entre les deux séries de diagnostics peut être étayée statistiquement en ayant recours à une méthode d’analyse de concordance adaptée aux données catégorielles ordonnées1.

1. Une bonne introduction à ces méthodes est présentée dans l’article Wikipédia «Inter-rater reliability» (rater = notateur). In statistics inter-rater reliability, inter-rater agreement or concordance is the degree of agreement among raters. It gives a score of how much homogeneity, or consensus, there is in the ratings given by judges. It is useful in refining the tools given to human judges, for example by determining if a particular scale is appropriate for measuring a particular variable. If various raters do not agree, either the scale is defective or the raters need to be re-trained. Accessible à l’adresse http://en.wikipedia.org/wiki/Inter-rater_reliability, l’article renvoie a plusieurs packages statistiques écrits sous R ou l’on trouvera diverses fonctions intéressantes pour l’analyse de la concordance des diagnostics obtenus par des voies différentes (dans notre cas par un modèle d’évaluation et par une expertise directe).

8

iii. Le modèLe deXi eXempLe à caLibReR

Quelle que soit la méthode d’analyse, une bonne convergence entre les deux séries de diagnostics renforcera la confiance que les praticiens peuvent avoir dans le modèle. Les cas de divergence apporteront soit matière à réflexion conduisant à révision du paramétrage et/ou du modèle s’ils sont nombreux et mal expliqués, soit à faire apparaître de l’innovant, c’est-à-dire des systèmes de cultures qui, par une ou plusieurs performances, s’écartent des cas de figure les plus fréquents.Dans le cas où la ou les distributions de l’indicateur racine produites par le modèle apparaissent globalement satisfaisantes, celui-ci peut être considéré comme calibré pour l’utilisation envisagée.La première méthode de calibrage précédemment décrite (comparaison de deux distributions) est illustrée ci-après à partir d’un modèle d’évaluation de petite dimension, implémenté sous DEXi.

Le modèle repose sur 6 indicateurs basiques, reflets des facteurs de diagnostic pris en compte (figure 1) : FIP : Fertilite initiale en P DEC : Exigence moyenne en P des cultures BAP : Bilan cultural de P annuel moyen RIP : Recyclage de P via les restitutions organiques aériennes ou racinaires AUP : Autonomie pour la satisfaction des besoins en P PTP : Pouvoir tampon du sol vis-à-vis de P L’indicateur synthétique de qualité de la gestion du phosphore (QGP) est évalué via trois indicateurs agrégés intermédiaires : SBP : Degré de satisfaction du besoin en P des cultures SVEFP : Sens et vitesse d évolution de la fertilité DFP : Diagnostic d’évolution de la fertilité P

Figure 1 : Le modèle Qualite_gestion_P.dxi

Les classes d’appréciation de chaque indicateur, les règles constituant les fonctions d’utilité du modèle ainsi que les poids locaux et globaux résultants de ces fonctions pour les différents indicateurs sont présentées en annexe 1. La génération statistique d’un jeu de cas et sa soumission au modèle s’effectue par le biais d’une procédure implémentée sous R, intitulée « Calibrage-ArbreDexi.R » présentée en annexe 2. IV – Implémentation de la procédure Calibrage-ArbreDexi.R 41 Structure de la procédure R La procédure Calibrage_ArbreDexi.R présentée en annexe 2 comporte trois étapes, dans la logique de la démarche de calibrage décrite précédemment. Etape 1 : Génération du jeu d’options à traiter : - choix du nombre d’options (ou vecteurs de données d’entrées) à générer (exemple 1000) - génération des valeurs de chaque indicateur basique, à partir des distributions spécifiées à priori à dire d’expert. Dans le modèle Qualite_gestion_P.dxi , il n’y a pas de relation significative entre les indicateurs

DEXi Qualite_gestion_P.dxi 12/10/2011

Attribute tree

Attribute DescriptionQGP Qualite de la gestion de PSBP Degre de satisfaction du besoin en P des culturesFIP Fertilite initiale en PDEC Exigence moyenne en P des cultures a l echelle de la succession

DFP Diagnostic evolution de la fertilite PFIP Fertilite initiale en PSVEFP Sens et vitesse d evolution de la fertilite PBRI Agrege bilancultural et Recyclage interne de PBAP Bilan cultural de P annuel moyenRIP Recyclage par Restitutions organiques de P

PTP Pouvoir tampon du sol vis a vis de PAUP Autonomie pour la satisfaction des besoins en P

Figure 1. Le modèle Qualite_gestion_P�dxi

Le modèle « Qualite_gestion_P.dxi » choisi constitue une aide à l’évaluation de la qualité de gestion du phosphore à l‘échelle d’un système de culture, en tant qu’indicateur basique relevant de la durabilité agronomique. Cet indicateur a été introduit initialement dans MASC-AB (Colomb et al., 2011) à la demande de conseillers en agriculture biologique, puis reprise sous une forme modifiée dans la version 2 de MASC (Craheix et al., 2011 ; 2012). La version décrite ici diffère toutefois de la version initiale utilisée dans MASC-AB. Elle a été mise au point afin d’améliorer le caractère discriminant du modèle pour des situations de grandes cultures biologiques en Midi-Pyrénées, apparu insuffisant suite aux premières utilisations (Gaubrie, 2011).

9

Le modèle repose sur 6 indicateurs basiques, reflets des facteurs de diagnostic pris en compte (figure 1) :

. FIP : Fertilité initiale en P . DEC : Exigence moyenne en P des cultures . BAP : Bilan cultural de P annuel moyen . RIP : Recyclage de P via les restitutions organiques aériennes ou racinaires . AUP : Autonomie pour la satisfaction des besoins en P . PTP : Pouvoir tampon du sol vis-à-vis de P

L’indicateur synthétique de qualité de la gestion du phosphore (QGP) est évalué via trois indicateurs agrégés intermédiaires :

. SBP : Degré de satisfaction du besoin en P des cultures . SVEFP : Sens et vitesse d’évolution de la fertilité . DFP : Diagnostic d’évolution de la fertilité P

Les classes d’appréciation de chaque indicateur, les règles constituant les fonctions d’utilité du modèle ainsi que les poids locaux et globaux résultants de ces fonctions pour les différents indicateurs sont présentés en annexe 1.

La génération statistique d’un jeu de cas et sa soumission au modèle s’effectue par le biais d’une procédure implémentée sous R, intitulée « Calibrage-ArbreDexi.R » présentée en annexe 2.

iv-1. stRuctuRe de La pRocéduRe R

La procédure Calibrage_ArbreDexi.R présentée en annexe 2 comporte trois étapes, dans la logique de la démarche de calibrage décrite précédemment.

Étape 1 : Génération du jeu d’options à traiter . Choix du nombre d’options (ou vecteurs de données d’entrées) à générer

(exemple 1 000) . Génération des valeurs de chaque indicateur basique, à partir des distributions

spécifiées à priori à dire d’expert. Dans le modèle Qualite_gestion_P.dxi, il n’y a pas de relation significative entre les indicateurs d’entrée. En conséquence, les jeux de valeurs pour les différents indicateurs basiques, de même effectif n, sont générés de manière indépendante à l’aide de la fonction sample()2

iv. impLémentation de La pRocéduRe caLibRage-aRbRedeXi.R

2. Dans le cas contraire, il existe sous R des fonctions permettant de générer des échantillons de deux variables catégorielles.

10

. Construction d’une matrice d’options x indicateurs sous R puis exportation sous forme d’une table texte au format .csv, récupérable sous DEXi.

Étape 2 : Traitement du jeu d’options par le modèle DEXi

. Lancement sous R de l’utilitaire DexiEval.exe, avec des arguments d’entrée/sortie et de formatage adéquats (voir la documentation de l’utilitaire sur le site DEXi) pour lire la matrice d’options x indicateurs générée sous R. . Exportation par DEXi d’un fichier .csv contenant les valeurs (numériques) des

indicateurs basiques et agrégés des différentes options. . Reprise de ce fichier de sortie et mise en forme sous R pour réalisation des

traitements de l’étape 3.

Étape  3  : Réalisation de graphiques ou traitements statistiques visant à faciliter l’examen des diagnostics générés par le modèle et leur comparaison avec les diagnostics fournis à priori par les utilisateursSont proposés ici, à titre illustratif :

. Un graphique de comparaison des histogrammes des valeurs des notes de qualité de gestion du phosphore délivrées par le modèle d’une part, et définies à priori par expertise d’autre part le graphique est produit par la fonction barplot() de R. . Un test simple de comparaisons de distributions de variables catégorielles. Le test

est conduit avec la fonction chisq.test() de R adaptée à ce type de variable.

iv-2. un eXempLe d’utiLisation

L’exemple présenté a été mis en œuvre avec un groupe de conseillers agricoles désireux de vérifier la capacité du modèle Qualite_gestion_P.dxi à discriminer des systèmes de grandes cultures biologiques, en Midi-Pyrénées, dans des exploitations sans élevage, mais aussi les systèmes de grandes cultures conventionnels de la région (Gaubrie, 2011).

Les conseillers savent que, sur l’ensemble de la région, la gestion du phosphore dans les systèmes biologiques pose souvent problème. Des évolutions négatives de la fertilité P sont perceptibles, en relation avec la rareté des apports de P, le caractère très fixateur des sols vis-à-vis de cet élément, et cela malgré la faiblesse des exportations de P observées à l’échelle des rotations. Mais il y a des exceptions à cette « big picture », explicables par un ou plusieurs des facteurs de diagnostics pris en compte. Par ailleurs, les conseillers disposent de connaissances à priori sur la qualité de gestion du P pour des systèmes conventionnels, à base de maïs irrigués par exemple, pour lesquels la situation est bien différente (apports de P fréquents et parfois excessifs, conduisant à des bilans positifs et à des niveaux de fertilité P élevés). Vérifier que le modèle restitue la « big picture » dans les deux types de systèmes contribuera à renforcer la confiance que les praticiens peuvent avoir dans le modèle.

L’étape cruciale pour les conseillers consiste à spécifier des distributions à priori des valeurs prises par les six indicateurs basiques du modèle, dans leur contexte régional, pour les

11

Indicateurs Modalités

1 2 3 4

Pour des systèmes de culture biologique sans élevage :

QGP Qualité de gestion du P 0.35 0.25 0.5 0.10 FIP Etat de fertilite initial en P 0.33 0.33 0.33 PTP Pouvoir tampon P du sol 0.5 0.3 0.2 DEC Degre exigence culture 0.3 0.4 0.3 RIP Recyclage interne du P 0.2 0.4 0.4 BAP Bilan annuel moyen de P 0.4 0.25 0.2 0.15 AUP Autonomie P 0.33 0.33 0.33 Pour des systèmes à base de maïs irrigués :

QGP Qualité de gestion du P 0.10 0.15 0.25 0.50 FIP Etat de fertilite initial en P 0.2 0.3 0.5 PTP Pouvoir tampon P du sol 0.4 0.4 0.2 DEC Degre exigence culture 0.2 0.3 0.5 RIP Recyclage interne du P 0.2 0.3 0.5 BAP Bilan annuel moyen de P 0.1 0.3 0.4 0.2 AUP Autonomie P 0.6 0.3 0.1 Tableau 1. Distributions à priori des valeurs de l’indicateur de la qualité de gestion du phosphore (QGP) pour deux types de systèmes de cultures en Midi-Pyrénées, et des indicateurs basiques qui la déterminent selon le modèle «Qualite_gestion_P.dxi ». Pour établir la correspondance entre les valeurs numériques des indicateurs (1, 2, 3 ou 4) et les modalités qualitatives (faible, moyen, élevé …) voir l’annexe 2. La figure 2 montre que les histogrammes des valeurs de l’indicateur de qualité de gestion du phosphore issues du modèle d’une part et fournies par expertise d’autre part, ne sont pas graphiquement très différentes, pour les deux types de systèmes de cultures biologiques et systèmes conventionnels à base de maïs irrigués. Pour les premiers, le modèle sur-estime la proportion de cas ayant une qualité de gestion du P très favorable (valeur numérique de l’indicateur égale à 4). Pour les seconds, le modèle sous-estime un peu les cas ayant une qualité de gestion très défavorable (1) ou défavorable (2), et sur-estime la proportion de cas ayant une qualité de gestion favorable (3) ou très favorable (4). Les écarts sont toutefois faibles. L’application du test du Chi 2 produit des p-value très supérieures à 0.05 pour les deux types de systèmes. Il n’y a pas de différence satistique entre la distribution à priori de l’indicateur de qualité du phosphore et la distribution des valeurs issues du modèle. Le modèle Qualite_gestion_P.dxi, tel que paramétré après plusieurs essais, apparaît apte à restituer les connaissances à priori (et supposées fondées) des conseillers sur les systèmes évalués. Il peut être considéré comme calibré et prêt à l’usage dans le contexte prédéfini de l’évaluation.

TABLEAU 1. Distributions à priori des valeurs de l’indicateur de la qualité de gestion du phosphore (QGP) pour deux types de systèmes de cultures en Midi-Pyrénées, et des indicateurs basiques qui la déterminent selon le modèle «Qualite_gestion_P�dxi »� Pour établir la correspondance entre les valeurs numériques des indicateurs (1, 2, 3 ou 4) et les modalités qualitatives (faible, moyen, élevé, etc�) voir l’annexe 2�

deux types de systèmes, mais aussi la distribution à priori de l’indicateur synthétique de qualité de gestions du phosphore (QGP). Ayant participés eux-mêmes à l’établissement du modèle, ils ont eu le temps de mobiliser et de confronter leurs perceptions, qui se sont avérées convergentes (Tableau 1).

La figure 2 montre que les histogrammes des valeurs de l’indicateur de qualité de gestion du phosphore issus du modèle d’une part et fournis par expertise d’autre part ne sont pas graphiquement très différents, pour les deux types de systèmes de cultures biologiques et systèmes conventionnels à base de maïs irrigués.

Pour les premiers, le modèle surestime la proportion de cas ayant une qualité de gestion du P très favorable (valeur numérique de l’indicateur égale à 4). Pour les seconds, le modèle sous-estime un peu les cas ayant une qualité de gestion très défavorable (1) ou défavorable (2), et surestime la proportion de cas ayant une qualité de gestion favorable (3) ou très favorable (4).

12

Les écarts sont toutefois faibles. L’application du test du Chi 2 produit des p-value très supérieures à 0.05 pour les deux types de systèmes. Il n’y a pas de différence statistique entre la distribution à priori de l’indicateur de qualité du phosphore et la distribution des valeurs issues du modèle.Le modèle Qualite_gestion_P.dxi, tel que paramétré après plusieurs essais, apparaît apte à restituer les connaissances à priori (et supposées fondées) des conseillers sur les systèmes évalués. Il peut être considéré comme calibré et prêt à l’usage dans le contexte prédéfini de l’évaluation.

v. concLusion

Ce document montre comment un modèle d’évaluation de système de culture implémenté sous DEXi peut être calibré en valorisant les connaissances préalables ou a priori des praticiens, portant sur les systèmes à évaluer. La démarche présentée peut s’appliquer au calibrage d’une branche ou sous branche d’un arbre d’évaluation complet, soit à un arbre satellite associé à l’arbre principal, élaboré pour l’évaluation de l’un de ses indicateurs basiques.

Le calibrage du modèle doit être envisagé du point de vue de son objectif premier, qui est d’être une aide à l’évaluation. Le caractère « aidant » du modèle se situe en partie dans la conduite opérationnelle de l’évaluation, mais aussi et surtout dans la pertinence des sorties diagnostiques émises. Les sorties diagnostiques du modèle ne constituent pas cependant à elles seules « l’évaluation ». Elles sont destinées à s’incorporer dans les perceptions initiales des utilisateurs vis-à-vis des performances des systèmes étudiés, à les faire évoluer, à les l’enrichir, à les questionner. L’appréciation des évaluations produites par le modèle s’appuie souvent sur une confrontation avec la vision préalable que les praticiens ont des systèmes. Cette vision conditionne l’accueil fait à l’évaluation formelle réalisée avec le modèle. Les écarts ressentis ou constatés déterminent largement la crédibilité des résultats et les débats post évaluation. Afin que certains des écarts soient perçus comme révélateurs d’innovations, il est nécessaire que le modèle renvoie à des images fiables des systèmes connus, d’où l’importance d’une étape de calibrage bien conduite.

13

Figure 2. Distributions comparées des valeurs de l’indicateur « Maitrise de la qualité de gestion du phosphore » délivrées par le modèle (bâtons en pleine couleur) et spécifiées à dire d’expert (bâton avec hachurage coloré) pour des systèmes de cultures biologiques en exploitations sans élevage et pour des systèmes conventionnels à base de maïs irrigués en région Midi-Pyrénées� Correspondance entre note de qualité et jugement qualitatif :

1 : « très défavorable » 2 : « défavorable » 3 : « favorable »4 : « très favorable »

Figure 2 : Distributions comparées des valeurs de l’indicateur « Maitrise de la qualité de gestion du phosphore » délivrées par le modèle (batons en pleine couleur) et spécifiées à dire d’expert (baton avec hachurage coloré) pour des systèmes de cultures biologiques en exploitations sans élevage et pour des systèmes conventionnels à base de maïs irrigués en région Midi-Pyrénées. Correspondance entre note de qualité et jugement qualitatif : 1 : "tres défavorable" ; 2 : "défavorable" ; 3 : "favorable" ; 4 : "très favorable".

1 2 3 4

ExpertModèle

Note de Qualite de gestion du Phosphore

%

010

2030

4050

Systèmes de culture biologiques

1 2 3 4

ExpertModèle

Note de Qualite de gestion du Phosphore

%

010

2030

4050

Systèmes à base de maïs irrigués conventionnels

Systèmes de culture biologiques

Systèmes à base de maïs irrigués conventionnels

14

Bohanec M., 2008. DEXi : Program for multi-attribute Decision Making. User’s manual, Version 3.00. IJS Report DP-9989, Jožef Stefan Institute, Ljubbljana, 2008.Available at : http://www-ai.ijs.si/MarkoBohanec/pub/DEXiManual30r.pdf

Bohanec, M., Rajkovič V., 1990. DEX: an expert system shell for decision support. Sistemica, 11, 145-157.

Carpani M., Bergez J.E., Monod H., 2010. «  Sensitivity analysis of a hierarchical qualitative model – the analysis of MASC ». Sixth International Conference on Sensitivity Analysis of Model Output Procedia. Social and Behavioral Sciences, 2, 7627-7628.

Colomb B., Aveline A., Carof M., 2011. Une évaluation multicritère qualitative de la durabilité des systèmes de grandes cultures biologiques, Quels enseignements  ? Restitution des programmes RotAB et CITODAB. Document d’analyse PSDR3 Midi-Pyrénées-Projet CITODAB et CAS-DAR RotAB, 43 pages + annexes.

Craheix D., Angevin F., Bergez J.-E., Bockstaller C., Colomb B., Guichard L., Reau R., Doré T. 2011. MASC version 2.0. Un outil pour l’analyse de la contribution des systèmes de culture au développement durable. Présentation & principes d’utilisation. INRA, AgroParisTech, GIS GCHP2E. 175 pages.

Craheix D., Angevin F., Bergez J.-E., Bockstaller C., Colomb B., Guichard L., Reau R., Doré T., 2012. « MASC 2.0, un outil d’évaluation multicritère pour estimer la contribution des systèmes de culture au développement durable », Innovations Agronomiques, 20, 35-48.

Gaubrie S., 2011. La durabilité des systèmes de grandes cultures biologiques en Midi-Pyrénées : une approche multicritère réalisée par et pour des conseillers agricoles. Projet de fin d’études. Diplôme d’ingénieur agronome. INP ENSAT, Toulouse. 94 pages.

Sadok W., Angevin F., Bergez J.-E., Bockstaller C., Colomb B., Guichard L., Reau R., Doré  T.,  2008. «  Ex ante assessment of the sustainability of alternative cropping systems: implications for using multicriteria decision aid methods. A review », Agronomy for Sustainable Development, 28, 163–174.

Sadok W., Angevin F., Bergez J.E, Bockstaller C., Colomb B., Guichard L., Reau R., Messéan A. and Doré T., 2009. « MASC: a qualitative multi attribute decision model for ex ante assessment of the sustainability of cropping systems », Agronomy for Sustainable Development, 29, 447-461.

RéféRences bibLiogRaphiques

15anneXe 1. Le modèLe d’évaLuation quaLite_gestion_p.dXi, stRuctuRe de L’aRbRe, fonctions d’utiLité & poids des indicateuRs

16

DEXi Qualite_gestion_P.dxi 27/10/2011 Page 1

Attribute tree

Attribute DescriptionQGP Qualite de la gestion de PSBP Degre de satisfaction du besoin en P des culturesFIP Fertilite initiale en PDEC Exigence moyenne en P des cultures a l echelle de la succession

DFP Diagnostic evolution de la fertilite PFIP Fertilite initiale en PSVEFP Sens et vitesse d evolution de la fertilite PBRI Agrege bilancultural et Recyclage interne de PBAP Bilan cultural de P annuel moyenRIP Recyclage par Restitutions organiques de P

PTP Pouvoir tampon du sol vis a vis de PAUP Autonomie pour la satisfaction des besoins en P

Scales

Attribute ScaleQGP tres defavorable; defavorable; favorable; tres favorableSBP faible; moyen; eleveFIP faible; moyen; eleveDEC exigeante; moyennement exigeante; peu exigeante

DFP tres defavorable; defavorable; favorable; tres favorableFIP faible; moyen; eleveSVEFP defavorable rapide; defavorable lente; stabilite; favirable lente; favorable rapideBRI tres deficitaire; deficitaire; equilibre; excedentaire; tres excedentaireBAP tres deficitaire; deficitaire; equilibre; excedentaire; tres excedentaireRIP faible; moyen; eleve

PTP faible; moyen; eleveAUP faible; moyenne; elevee

Tables

SBP DFP AUP QGP36% 36% 27% faible tres defavorable faible tres defavorablefaible tres defavorable moyenne tres defavorablefaible tres defavorable elevee tres defavorablefaible defavorable faible tres defavorablefaible defavorable moyenne tres defavorablefaible defavorable elevee defavorablefaible favorable faible defavorablefaible favorable moyenne defavorablefaible favorable elevee favorablefaible tres favorable faible defavorablefaible tres favorable moyenne favorablefaible tres favorable elevee favorablemoyen tres defavorable faible tres defavorablemoyen tres defavorable moyenne tres defavorablemoyen tres defavorable elevee defavorablemoyen defavorable faible tres defavorablemoyen defavorable moyenne defavorablemoyen defavorable elevee favorablemoyen favorable faible defavorablemoyen favorable moyenne favorablemoyen favorable elevee tres favorablemoyen tres favorable faible favorablemoyen tres favorable moyenne tres favorablemoyen tres favorable elevee tres favorableeleve tres defavorable faible defavorableeleve tres defavorable moyenne defavorableeleve tres defavorable elevee favorableeleve defavorable faible defavorableeleve defavorable moyenne favorableeleve defavorable elevee favorableeleve favorable faible favorableeleve favorable moyenne tres favorableeleve favorable elevee tres favorableeleve tres favorable faible tres favorableeleve tres favorable moyenne tres favorableeleve tres favorable elevee tres favorable

17

DEXi Qualite_gestion_P.dxi 27/10/2011 Page 2

FIP DEC SBP50% 50% faible exigeante faiblefaible moyennement exigeante faiblefaible peu exigeante moyenmoyen exigeante faiblemoyen moyennement exigeante moyenmoyen peu exigeante eleveeleve exigeante moyeneleve moyennement exigeante eleveeleve peu exigeante eleve

FIP SVEFP DFP44% 56% faible defavorable rapide tres defavorablefaible defavorable lente tres defavorablefaible stabilite defavorablefaible favirable lente favorablefaible favorable rapide favorablemoyen defavorable rapide tres defavorablemoyen defavorable lente defavorablemoyen stabilite favorablemoyen favirable lente favorablemoyen favorable rapide tres favorableeleve defavorable rapide defavorableeleve defavorable lente defavorableeleve stabilite favorableeleve favirable lente tres favorableeleve favorable rapide tres favorable

BRI PTP SVEFP100% 0% tres deficitaire faible defavorable rapidetres deficitaire moyen defavorable rapidetres deficitaire eleve defavorable lentedeficitaire faible defavorable rapidedeficitaire moyen defavorable lentedeficitaire eleve defavorable lenteequilibre faible stabiliteequilibre moyen stabiliteequilibre eleve stabiliteexcedentaire faible favorable rapideexcedentaire moyen favirable lenteexcedentaire eleve favirable lentetres excedentaire faible favorable rapidetres excedentaire moyen favorable rapidetres excedentaire eleve favirable lente

BAP RIP BRI52% 48% tres deficitaire faible tres deficitairetres deficitaire moyen tres deficitairetres deficitaire eleve deficitairedeficitaire faible tres deficitairedeficitaire moyen deficitairedeficitaire eleve equilibreequilibre faible deficitaireequilibre moyen equilibreequilibre eleve excedentaireexcedentaire faible equilibreexcedentaire moyen excedentaireexcedentaire eleve tres excedentairetres excedentaire faible excedentairetres excedentaire moyen tres excedentairetres excedentaire eleve tres excedentaire

18

DEXi Qualite_gestion_P.dxi 27/10/2011 Page 3

Average weights

Attribute Local GlobalQGPSBP 36 36FIP 50 18DEC 50 18

DFP 36 36FIP 44 16SVEFP 56 20BRI 100 20BAP 52 11RIP 48 10

PTP 0 0AUP 27 27

19anneXe 2. pRocéduRe de caLibRage sous R d’un aRbRe deXi

20

2

#******************************************************************************* # Calibrage_ArbreDEXi.R # # Exemple de Procedure de calibrage d'un modèle DEXi en tenant compte # des connaissances des utilisateurs sur les distributions à priori # des valeurs prises par les indicateurs d'entree du modele, et sur # les valeurs de l'indicateur synthétique de sortie du modèle. # # Cette procédure fait partie intégrante d'un document référencé dans le cadre # de l'école thématique dédiée à l'évaluation multicritère # des systèmes de cultures (INRA Toulouse, mai 2012) : # « Utilisation avancée de DEXi pour le calibrage du modèle MASC par les utilisateurs » # B. Colomb. UMR AGIR, INPT INRA 1248. #******************************************************************************* # Le modèle Qualite_gestion_P.dxi utilisé ici pour l'exemple # permet d'apprécier l'appréciation de la qualite de gestion du phosphore # à l'échelle d'un système de culture.

#------------------------------------------------------------------------------ # Etape I : Générer les valeurs des critères de base de l'arbre d'évaluation # et créer une table destinée à être exportée dans le repertoire de travail # puis importée dans le modèle Qualite_gestion_P.dxi

#------------------------------------------------------------------------------ # Sous-étape 1 : Génération des jeux de valeurs des différents indicateurs #------------------------------------------------------------------------------

# Liste des indicateurs basiques et agrégés du modèle # présentés dans l'ordre des import/export de DEXi # A noter que l'indicateur FIP est utilisé deux fois comme indicateur basique

# QGP : "Qualite de la gestion de P" agrege # SBP : "Degré de satisfaction besoins en P des cultures" agrege # FIP : "Fertilite initiale en P" basique # DEC : "Exigence moyenne en P des culture sur la rotation" basique # DFP : "Evolution de la fertilite P" agrege # FIP : "Fertilite initiale en P" basique # SVEFP : "Sens et vitesse d'evolution de la fertilité P" agrege # BRI : "Agrege bilan cultural et recyclage interne de P" agrege # BAP : "Bilan cultural annuel moyen de P" basique # RIP : "Recyclage interne du P par restitutions oraganiques" basique # PTP : "Pouvoir tampon du sol vis à vis de P" basique # AUP : "Autonomie pour la satisfaction des besoins en P" basique

# Choix du nombre de CAS générés

nCAS <- 5000

# Génération des valeurs des indicateurs basiques # Les valeurs sont des notes de 1 à 3, ou 1 à 4 selon les indicateurs. # La note 1 correspond en général à la modalité # la plus défavorable et la note 4 à la plus favorable # On effectue un tirage de valeurs à l'aide de la fonction "sample" # en spécifiant le vecteur de probabilite des valeurs attendues.

# Distribution a priori des indicateurs de basiques pour des systèmes biologiques en MP

# Génération de FIP : valeurs 1, 2 ou 3 ~ equiprobables # A priori donc on considère que les proportions de situations avec des # niveaux de fetilité en P faible, moyen ou éleve sont les mêmes

FIP <- sample(1:3,nCAS,replace=TRUE)

# Génération de PTP : valeur 1 la plus probable # Les sols a forts pouvoirs tampons sont majoritaires ...

PTP <- sample(c(1,2,3), 100, replace = TRUE, prob=c(0.5, 0.3, 0.2) )

# Génération de DEC : valeur 2 la plus probable # Les cultures d'exigence moyenne en P sont les plus fréquentes ...

DEC <- sample(c(1,2,3), 100, replace = TRUE, prob=c(0.3, 0.4, 0.3) )

21

3

# Génération de RIP : valeurs les plus fréquentes 2 et 3 # Les systèmes bio à restitutions organiques faibles ou moyennes # sont les plus fréquents (dans le cas des SDC bio sans élevage)...

RIP <- sample(c(1,2,3), 100, replace = TRUE, prob=c(0.2, 0.4, 0.4) ) # Génération de BAP : Dans le cas fictif traité la valeur la plus frequente # est égale à 1, correspondant à des bilans de Phosphore très négatifs, # la moins fréquente est égale à 4 correspondant à des bilans positifs ...

BAP <- sample(c(1,2,3,4), 100, replace = TRUE, prob=c(0.4,0.25,0.20,0.15) )

# Génération de AUP : valeurs 1, 2 ou 3 ~ equiprobables # A priori on considère que les proportions de situations ayant une autonomie # vis à vis de P faible, moyenne ou élevee sont les mêmes

AUP <- sample(1:3,nCAS,replace=TRUE)

# Distribution des indicateurs pour des systèmes à base de mais irrigués

# FIP <- sample(1:3,nCAS,replace=TRUE, prob=c(0.2, 0.3, 0.5) ) # PTP <- sample(c(1,2,3), 100, replace = TRUE, prob=c(0.4, 0.4, 0.2) ) # DEC <- sample(c(1,2,3), 100, replace = TRUE, prob=c(0.2, 0.3, 0.5) ) # RIP <- sample(c(1,2,3), 100, replace = TRUE, prob=c(0.2, 0.3, 0.5) ) # BAP <- sample(c(1,2,3,4), 100, replace = TRUE, prob=c(0.1,0.3,0.4,0.2) ) # AUP <- sample(1:3,nCAS,replace=TRUE, prob=c(0.1, 0.3, 0.6) )

#------------------------------------------------------------------------------ # Sous-étape 2 : Construction de la table de jeu de cas à evaluer #------------------------------------------------------------------------------

# Outre les indicateurs basiques précédemment générés, il convient d'insérer # les colonnes qui correspondent aux indicateurs agrégés.

# Construction de la table à exporter en .csv pour être utilisée par DEXi # Les options (au sens DEXi, ici systèmes de cultures) sont nommées O1, O2,...

QGPt <- data.frame( CAS = paste("O",1:nCAS,sep=""), QGP = rep("",nCAS), SBP = rep("",nCAS), FIP = FIP , DEC = DEC, DFP = rep("",nCAS), FIP.1 = FIP , SVEFP = rep("",nCAS), BRI = rep("",nCAS), BAP = BAP , RIP = RIP , PTP = PTP , AUP = AUP ) # Le passage a la table transposée permet d'incorporer en 1ère colonne le nom # des indicateurs tel qu'attendu par DEXi dans un fichier d'import d'options.

QGPn <- t(QGPt)

# Incorporation en première ligne du vecteur des noms des indicateurs (vni)

# La 1ere ligne attendue par DEXi dans un fichier d'entrée est un champ caractère vide # puis la liste des noms d'indicateurs entre guillements double

vni <- c("","QGP","SBP","FIP","DEC","DFP","FIP","SVEFP","BRI","BAP","RIP","PTP","AUP")

# Incorporation de cette première ligne

QGPn <- cbind(vni, QGPn)

# Exportation de la matrice des options, sans les noms de lignes et de colonnes, # avec séparateur virgule

write.table(QGPn, file="QGPn.csv", sep = "," , row.names = F, col.names = F )

#------------------------------------------------------------------------------ # Etape II : Evaluation des critères agrégés par DEXi et récupération sous R #------------------------------------------------------------------------------

22

4

# ---Soumission du fichier d'options (QGPn.csv) à l'arbre Qualite_gestion_P.dxi

# Pour les arguments de la commande de lancement de DEXi en batch, # voir la documentation de l'utilitaire DEXiEval. Dans la commande : # Qualite_gestion_P.dxi est l'arbre DEXi à utiliser# QGPn.csv est le fichier d'input contenant la valeur des indicateurs basiques # des options à évaluer # QGPEt.csv est le fichier d'ouput contenant la valeur des indicateurs basiques # et des indicateurs agrégés des options évaluées

shell("DexiEval.exe -keep Qualite_gestion_P.dxi -base1 -on -all -csv QGPn.csv -base1 -ot -all -csv QGPEt.csv")

# Récupération sous R de la table des options évaluées # (indicateurs basiques et agrégés) et mise en forme de la table.

QGPE <-read.table("QGPEt.csv", sep=",", fill=TRUE, header = TRUE)

# Elimination de l'indicateur dédoublé FIP.1 QGPE <- QGPE[, -7] # Les noms des options servent à nommer les lignes de la table R dimnames(QGPE) [1] <- list( QGPE$X ) # La colonne 1 portant le nom des options evaluees peut être enlevée

QGPE <- QGPE[, -1]

#------------------------------------------------------------------------------ # Etape III : Représentation graphique et comparaison statistique # des notes de qualité de gestion du phosphore obtenues # par le modèle et définies à priori par expertise #------------------------------------------------------------------------------

# Vecteur (hb) des proportions obtenues par le modèle pour les différentes notes # de qualités de gestion du P dans l'ordre des notes croissantes, soit : # [ 1:"tres defavorable", 2 : "defavorable",3: "favorable", 4:"tres favorable" ]

hb <- tabulate(QGPE[,"QGP" ], nbins= 4 ) / nCAS * 100

# Distribution à priori des notes de qualité fournies à dire d'expert # Les proportions à priori pour les notes de qualité mentionnée par les experts sont recueillies # dans le vecteur pp dans l'ordre des notes croissantes. # # Cas des systèmes de culture biologiques pp <-c(35, 25, 25, 10) # Cas des systèmes de culture conventionnels à base de maïs irrigués # pp <-c(10, 15, 25, 50)

# Matrice réunissant les notes de qualité à priori et obtenues par le modèle # pour faire un graphique de comparaison des histogrammes et un test de comparaison statistique

bt <- matrix(c(pp,hb) , byrow = T , nrow=2 , dimnames = list(c("Expert", "Modèle"), c("TDF", "DF", "F", "TF")) )

# Graphique de comparaison des histogrammes des notes de qualité à priori et obtenues par le modèle # Utilisation de la fonction graphique barplot

# Arguments pour la fonction de dessin barplot note <- c( "1" , "2" , "3" , "4" ) vcol <- c("red","red","orange","orange","green","green","green4","green4")

23

5

# Dessin avec barplot windows(width = 12/2.54 , height = 12/2.54 , pointsize = 12)

barplot( height= bt , beside =T, names.arg= note , axis.lty=1, col= vcol , border = vcol , density = c(25 ,150) , legend = rownames(bt) , args.legend = list(x = "top", cex = 0.75), cex.axis = 1 , cex.names= 1 , axes = T, offset = 0.5, space = c(0.1, 0.5), ylim = c(0,55) , ylab=list("%", cex = 1) , xlab=list("Note de Qualite de gestion du Phosphore", cex = 1) )

title("Systèmes de culture biologiques" , cex.main = 0.9, font.main= 4 )

title("Systèmes à base de maïs irrigués conventionnels" , cex.main = .9, font.main= 4 )

#---- Comparaison statistique des distributions des notes de qualité à priori et obtenues par le modèle # On applique un test du Chi², adapté aux distributions discrètes (données catégorielles comme ici) # Rappel # si p-value est < 0.05, les deux distributions sont vraisemblablement différentes # si p-value est > 0.05, les deux distributions "viennent de la même population" # et ne sont pas différentes

chisq.test(bt)

# Exemple pour les sytèmes biologiques, avec nCAS = 5000 # X-squared = 2.71, df = 3, p-value = 0.82 ; # OK, distributions non différentes # Exemple pour les sytèmes biologiques, avec nCAS = 5000 # X-squared = 1.0546, df = 3, p-value = 0.78 # OK, distributions non différentes

# Le modèle donne des diagnostics statistiquement non différents des diagnostics à priori, # pour les deux types de systèmes de cultures. # Il peut être considéré comme calibré sur la base du point de vue des experts consultés.

La mise au point d’un modèle d’évaluation multicritère qualitatif de systèmes de culture.

Calibrage par les utilisateurs finaux avant mise en application

Bruno Colomb

RÉSUMÉ

Les systèmes de cultures sont des systèmes de production agricole auxquels sont assignés de multiple fonctionnalités et contraintes qui relèvent des différentes dimensions de la durabilité. L’évaluation intégrée de leurs performances vis-à-vis des unes et des autres repose sur un modèle d’évaluation multicritère préalablement mis au point. Ce document expose une procédure itérative simple de calibrage d’un modèle d’évaluation de système de culture implémenté avec la technologie MCDA DEXi. Le calibrage répond au besoin des praticiens de vérifier si le modèle constitue bien une aide à l’évaluation au-delà de la facilitation opérationnelle, en produisant des diagnostics qui viennent enrichir leur propre représentation de la durabilité des systèmes de culture. Il est à mettre en oeuvre à l’issue de la démarche de développement et de paramétrage du modèle par un collectif de travail désireux de l’utiliser.

Mots-clés : Durabilité, système de culture, évaluation multicritère, modèle, DEXi, calibrage

Dans le cadre du Programme de recherche Pour et Sur le Développement Régional (PSDR3)

en Midi-Pyrénées, le Projet CITODAB bénéficie du soutien financier de :

www.inra.fr/psdr-midi-pyrenees