Objectivité, quantification et compréhension locale : l ...perso.univ-rennes2.fr/system/files/users/juhel_j/2011_OUFOREP... · L’objectivité dans la démarche ne peut être atteinte

Objectivité, quantification et Objectivité, quantification et compréhension locale : compréhension locale :

l’argument de validité peutl’argument de validité peut--il il être situé ?être situé ?être situé ?être situé ?

Jacques JuhelUniversité Européenne de Bretagne Rennes 2

CRPCC (E.A. 1285) & CEFOCOP

6 juin 2011 Colloque OUFOREP, Nantes

PréambulePréambule

� Les professionnels de l’éducation sont amenés à produire des connaissances sur la personne, faire des inférences et élaborer des interprétations sur la base d’observations recueillies dans un certain contexte afin de prendre des décisions, conduire des actions.

� La reconnaissance de la légitimité et de la pertinence des IDA suppose la satisfaction de certains critères.

� Les critères d’appréciation et les pratiques de validation sont étroitement liés à la manière de concevoir la notion de « validité ».

QuestionsQuestions

Quelle est aujourd’hui en psychologie la conception dominante de la validité?

1

Peut-on articuler approche interprétative/située, théorie de la validité et pratiques de validation ?2

La valeur de la connaissance objectiveLa valeur de la connaissance objective

« Rien ne va de soi. Rien n’est donné. Tout est construit » (Bachelard, 1938, p. 14).

� L’objectivité dans la démarche ne peut être atteinte.

� L’objectivité n’est possible que pour un discours portant sur des faits.

� L’objectivité scientifique repose sur la possibilité d’une critique rationnelle de la démarche.rationnelle de la démarche.

Une démarche empirique et logique :

choix d’énoncés dont la signification peut être éprouvée empiriquement,

recours à un cadre analytique cohérent,

construction du fait scientifique et processus de recueil des données factuelles.

Evolution Evolution du concept de du concept de validitévalidité

Opérationnalisme et validité de critère

• Les concepts scientifiques sont assimilables aux procédures employées pour les mesurer (Bridgman, 1927).

• Des attributs psychologiques non observables existent et peuvent être mesurés. peuvent être mesurés.

« La validité est le degré avec lequel un test mesure ce qu’il est supposé mesurer » (Garrett, 1937, p. 324).

• Le concept de validité est profondément enraciné dans l’approche quantitative des différences individuelles.

L’orientation vers un traitement plus compréhensif de la validité

• Approche de validation centrée sur l’analyse du contenu de l’outil d’évaluation (évaluation des acquis scolaires, relations avec les objectifs de l’enseignement).


avec les objectifs de l’enseignement).

« La question de la validité revient à poser celle de savoir si le test fonctionne comme nous pensons qu’il doit fonctionner. On ne peut donc pas dire d’un test qu’il est valide ou pas sauf pour un objectif particulier…» (Rulon, 1946, p. 290).

L’influence du positivisme logique : le modèle de la validité de construit

« La validation de construit est nécessaire dès lors qu’un test est supposé mesurer un attribut psychologique non ‘opérationnellement défini’» (Cronbach & Meehl, 1955, p. 282).

Quelle est la légitimité à inférer des mesures effectuées aux


• Quelle est la légitimité à inférer des mesures effectuées aux construits théoriques que sont supposées renseigner ces mesures?

• L’argument à l’appui des inférences (i.e., la validité) peut être compris comme une forme particulière d’explication.

L’influence du positivisme logique : le modèle de la validité de construit

� Le processus de validation de construit est un processus de développement et de recherche de preuves en faveur d’une forme particulière d’explicationqui :


• représente une théorie par un système de lois et de relations entre les construits que sous-tend la théorie (le réseau nomologique),

• évalue la capacité de la représentation théorique à rendre compte de l’organisation des différences entre individus en employant des méthodes corrélationnelles (techniquement, des modèles d’équations structurelles).

L’émergence d’une approche constructiviste de la validité

• Les construits en éducation renvoient à des valeurs et sont socialement dépendants.

« Les théories ne peuvent plus être directement testées par les faits car ces derniers ne sont pas neutres »(Messick, 1998, p. 36).

• La validité, dans une conceptualisation unitaire et à facettes


• La validité, dans une conceptualisation unitaire et à facettes multiples, n’est pasune propriété inhérente de l’outil mais

« un jugement évaluatif intégré du degré avec lequel les données empiriques et les rationnels théoriques soutiennent l’adéquationet la justessedes inférences faites et des actions menées sur la base des mesures ou des résultats de l’évaluation » (Messick, 1989, p. 13).

L’émergence d’une approche « constructiviste » de la validité

• Une approximation conditionnelle de la validité.

• La validation dépend à la fois de l’outil et des interprétations et utilisations proposées.

• Cinq sources de données probantes fournies par l’étude :


• Cinq sources de données probantes fournies par l’étude : • de l’adéquation du contenu de l’outil d’évaluation aux objectifs

fixés,• des processus de réponse aux items,• de la structure interne du (des) construit(s) mesuré(s),• des relations du (des) construit(s) mesuré(s) avec d’autres

variables,• de la pertinence et de l’utilité des mesures, des valeurs, des

implications et des conséquences sociales de l’évaluation (AERA et al., 1999).

L’émergence d’une approche « constructiviste » de la validité

• L’inclusion, très débattue, de la validité dite « conséquentielle » dans la théorie de la validité :

• hors du champ de la validité (par ex., Borsboom),

• du domaine de l’éthique(par ex., Lissitz & Samuelson, Popham),


• un aspect central de la validité (par ex., Linn, Messick, Moss,

Shepard): les résultats de l’évaluation n’ont essentiellement pas de sens s’ils ne sont pas contextualisés au regard de leurs conséquences.

La validité comme argument pratique

« Une approche de la validité plus qu’un type de validité» (Kane, 2006)

• Un cadre réaliste et pragmatique d’évaluation de l’interprétation et de l’utilisation proposées des mesures.

• Réaliste : qui suppose un jugement de préférence sur des


• Réaliste : qui suppose un jugement de préférence sur des critères objectifs.

• Pragmatique : qui considère que le fait est ancré dans un contexte et ne peut être indépendant de toute interprétation.

• Un cadre d’évaluation qui impose d’examiner les conséquences pratiques de l’interprétation proposée.


• L’argument interprétatif : énoncé clair et explicite de l’interprétation et de l’utilisation proposées des mesures.

• L’argument de validité : évaluation de la plausibilité des inférences et hypothèses spécifiques que l’argument


inférences et hypothèses spécifiques que l’argument interprétatif explicite.

Une responsabilité partagée :

« Le constructeur de l’outil doit présenter des arguments qui fondent les interprétations et utilisations proposées. Le praticien doit apporter des preuves supplémentaires concernant notamment des interprétations et utilisations locales, et interroger les interprétations et utilisations proposées » (Kane, 2009, p. 49).


• Une même mesure peut être interprétée de plusieurs façons, plus ou moins légitimes, et peut être utilisée pour des décisions et des actions de nature différente.

• Les données empiriques et théoriques probantes nécessaires à la validation dépendent de l’argument interprétatif.


la validation dépendent de l’argument interprétatif.

• Chacune de ces interprétations, décisions, actions nécessite une validation.

• Les facteurs qui réduisent la validité doivent être individuellement évalués à chaque phase de développement à l’aide de stratégies d’analyse quantitative ou qualitative.


� Les exigences de validation ne sont pas les mêmes selon qu’il s’agit:

• de décrire une performance (attributs observables ou définis opérationnellement),


• d’interpréter les mesures en termes de traits, de processus cognitifs ou de construits théoriques sous-jacents.

• Erreur d’élusion de la validité : la généralisation ne peut se faire sans validation (Kane, 2009).

� Catégorisation utile d’outils façonnant la pensée et l’action.

� Principes guidant le choix des preuves par rapport aux interprétations et utilisations des mesures.

� Aspect heuristique et portée opérationnelle de la notion d’argument interprétatif.

Contributions de l’approche Contributions de l’approche dominante de dominante de la validitéla validité

d’argument interprétatif.

« Les standards peuvent être utilement appliqués à des techniques d’évaluation moins formelles que les tests comme celles employées pour évaluer les acquis scolaires et les effets de l’apprentissage » (AERA et al., 1999, p. 3).

� Dans les faits, deux sources de données probantes rarement exploitées (Cizeket al., 2010) :

L’étude des processus de réponse aux items (moins de

Ce que l’approche Ce que l’approche contemporaine de la contemporaine de la validité peine à validité peine à apporterapporter

2% des études de validité).

L’étude des effets du contexte d’évaluation, des biais des méthodes et des conséquences sociales de l’évaluation (moins de 1% des études de validité).

Les propriétés psychologiques ciblées existent et sont la cause des variations observées.

• La validité est une propriété de l’outil.

Ces propriétés sont-elles bien appréhendées par l’instrument de

L’orientation positiviste : la validité est L’orientation positiviste : la validité est une propriété jugéeune propriété jugée

Ces propriétés sont-elles bien appréhendées par l’instrument de mesure et comment fonctionne celui-ci ? (Borsboom, 2004, 2009).

Centration sur la mesure : les variations dans les réponses aux items dépendent d’une structure latente sous-jacente.

• La validation est un processus de développement et de test de l’explication.

Centration sur les structures de processus

Etant données les conditions, les domaines et les cibles de l’évaluation,

• quelle est la contribution du contexte à l’explication

L’orientation positiviste : la validité est L’orientation positiviste : la validité est une propriété jugéeune propriété jugée

• quelle est la contribution du contexte à l’explication (construits multi-niveaux, Zumbo, 2009),

• quels sont les structures et processus qui sous-tendent ces propriétés (modèles de diagnostic cognitif, Mislevy, 2009),

• comment les processus intra-individuels conduisent-ils aux différences interindividuelles (Borsboom & Mellenbergh, 2007) ?

ReconceptualisationsReconceptualisations de la validité dans de la validité dans les approches relativistesles approches relativistesLa vérité est socialement construite, situationnelle et subjective (Denzin & Lincoln, 2008).

cadre vérité-correspondance

critères de validité : vérification, confirmation,

réfutation

(D’après Girot-Séville & Perret, 2002)

réfutation

cadre vérité-adéquation

compréhension, signification, intersubjectivité

ReconceptualisationsReconceptualisations de la validité dans de la validité dans les approches relativistesles approches relativistes

� Reproduction : le concept doit être retenu dans sa forme traditionnelle (Clavarinoet al., 1995; Silverman, 2000).

� Parallélisme : critères de véracité des interprétations (crédibilité : évaluation de la congruence entre observations et réalité; transférabilitéou généralisation; fiabilité, confirmabilité ) (Lincoln & Guba, 1985; mais voir

Guba& Lincoln, 1994).Guba& Lincoln, 1994).

� Diversification : re-conceptualisations radicales arguant de la nature socialement construite de la validité : « la validité est plus personnelle et interpersonnelle que méthodologique » (Reason, 1981, p. 244; Lather, Thorne).

� Abandon du concept de validité et recherche d’autres critères : adéquation, authenticité (équité, authenticité éducative, authenticité des preuves, etc.), plausibilité, véracité, crédibilité, consensus, etc.

Implications de l’orientation relativisteImplications de l’orientation relativiste

� La validité de l’interprétation construite pour un individu/un groupe, pour un problème précis et dans un contexte donné ne peut être assurée par la seule applicationd’un ensemble de procédures agréées et définies par avance.

� Le concept de validité « interprétative » est indissociablement lié à une approche épistémologique combinant des éléments lié à une approche épistémologique combinant des éléments pouvant relever de différentes traditions relativistes (constructiviste, interprétativiste, etc.) (Dumez, 2010).

� Il ne peut y avoir de conceptualisation canonique de la validité mais seulement coexistence des critères employés pour démontrer que l’interprétation représente la réalité d’un certain point de vue.

� Les problèmes d’évaluation posés aux professionnels de l’éducation et l’évolution des pratiques dans ce domaine,

� l’évolution des conceptions de l’apprentissage (perspectives cognitive et socio-culturelle),

nécessitent que :

Elargir la conception de la validitéElargir la conception de la validité

nécessitent que :

l’approche de la validité soit située,

le processus de validation puisse faire appel à des méthodologies de type interprétiviste(Moss et al., 2006).


Une approche de la validité qui permette de :

� juger de la fiabilité et de la crédibilité des interprétations et utilisations proposées autant que de leur utilité et leur capacité à répondre aux problèmes posés et aux besoins,

� introduire la subjectivité et faire évoluer, sur la base d’observations locales, la nature des questions posées, le type de d’observations locales, la nature des questions posées, le type de données probantes à considérer et les interprétations effectuées,

� prendre en considération les antécédents et conséquences des inférences faites et des actions mises en œuvre pour des individus et/ou des groupes.

Posture pragmatique : envisager la coexistence de différentes approches dans un dialogue pluraliste (Moss, 1998)?


� Un mode dialectiquede recherche de validité reposant sur la confrontation d’interprétations en apparence contradictoires, la réflexion critique et l’interaction entre approches épistémologiques et méthodologiques différentes [« Le défi de perspectives nouvelles », Messick, 1989].

Etude de cas intrinsèque, instrumentale (problème spécifique) ou multiples favorisant l’induction analytique.multiples favorisant l’induction analytique.


� L’apport de l’herméneutique(théorie de l’interprétation, Gadamer, 1960): principes d’analyse, questions sur le développement et l’évaluation des interprétations.

Le consensus comme critère d’une interprétation solide.

La considération des biais et des valeurs en tant que contraintes nécessaires à l’acte d’interprétation.

Le concept de cercle herméneutique / l’idée d’un processus dynamique, continué et intégrateur de multiples preuves de validité.

La profondeur herméneutique : éclairage sur les structures socio-culturelles qui contribuent au processus interprétatif.

L’utilisation du portfolio dans la formation des enseignants (Moss et al.,

2006).

En guise de cEn guise de conclusiononclusion� Une approche pragmatique de l’évaluation de la légitimité et de la

pertinence des Inférences faites, Décisions prises et Actions menées sur la base des résultats de l’évaluation.

Mécanismes de validationarguments de validité de niveau

nomothétique,

Adéquation , justesse et niveau de confiance

accordé aux inférences et interprétations faites sur la

base des résultats de l’évaluation

Analyses interprétivistesdescriptions situées à forte

densité, études de cas

nomothétique,

Documents

Objectivité, quantification et compréhension locale : l ...perso.univ-rennes2.fr/system/files/users/juhel_j/2011_OUFOREP... · L’objectivité dans la démarche ne peut être atteinte