Rôles et usages des publications scientifiques en psychologie. Quels enjeux pour les chercheurs et les praticiens ? Table ronde, CNAM, Paris 28 septembre 2013

Critères de qualité de la recherche qualitative

Enjeux et complexité

Ø  La recherche qualitative s’intéresse à l’analyse de cas concrets dans leur temporalité et leur particularité singulière, tels qu’ils se manifestent à travers l’expression des individus et de leurs activités en situation contextualisée

Ø  (Flick, 1998)

Ø  Les méthodologies qualitatives représentent un courant hétérogène de modélisations dynamiques ; recherches sur les processus en situation, contextualisés (courants narratifs, ethnométhodes, interactionnisme symbolique, courants historico-culturels, etc) (Santiago, Rouan, 2001).

Ø  Qualitative research is the best means of explaining a number of singular facts peculiar to human beings and social systems which ‘other methods cannot reach

Ø  (Pope & Mays, 2005)

Qu’appelle-t-on « méthodes qualitatives » en psychologie ?

Postulats fondamentaux et proximité avec la méthode clinique en psychologie

s  Ces méthodologies présentent une communauté de postulats

fondamentaux communs quelles partagent avec la méthode clinique en psychologie telle que définie en France (à distinguer de la sous-discipline) :

Ø  Outils méthodologiques liés à l’appréhension de situations concrètes singulières

Ø  Travail sur récits, textes ou données visuelles recueillis en situation et enregistrés

Ø  Données analysées de manière qualitative (suivant différentes théories)

Ø  Importance donnée au langage en tant que médiateur de l’expérience humaine

Ø  Prise en compte de la place du chercheur et de ses postulats dans le travail de recherche

3

4

ENJEUX 1.

Les Faits Ø  Augmentation significative des recherches et publications qualitatives

depuis les années 1980 Ø  Intérêt croissant des chercheurs en sciences de la santé (articles,

ouvrages, colloques, réseaux, comités et groupes d’experts, sites web, etc.)

MAIS critiques importantes Ø  Manque de rigueur de l’échantillonnage Ø  Manque de fidélité et constance des données Ø  Manque de reproductibilité Ø  Manque de possibilité de comparaison avec d’autres travaux

(généralisation difficile) Ø  Manque d’explicitation des procédures de validation

5

ENJEUX 2. Manque de critères explicites permettant d’évaluer la qualité des travaux qualitatifs

Ø  Difficultés des experts évaluateurs et des rédacteurs pour évaluer la recherche

qualitative Ø  Difficulté de publication des recherches qualitatives pour les chercheurs (réclament une

évaluation spécifique pour ce type de travaux) Ø  Difficultés à établir un consensus sur des critères d’évaluation communs et appropriés

aux champs de la santé (Flick, 2007) Ø  Auteurs et experts peu/mal informés sur ces critères (Pickler, 2007) Ø  Profusion de directives, pas de consensus sur des indicateurs(cf débat dans BMJ, 1995;

Kuper, Reeves & Levinson, 2008; Kuper, Lingard & Levinson, 2008)

s  Utiliser certains critères « quantitatifs » tels quels? (ex. fiabilité et validité) s  Adapter certains critères « quantitatifs »? Lesquels ? s  Utiliser des critères spécifiques « qualitatifs »? Lesquels ?

PROBLEMATIQUE DE NOTRE RECHERCHE « Quels critères de qualité pour la recherche qualitative ? » (2011-2014, Fonds National Suisse)

Quels critères de qualité pour la recherche qualitative en sciences humaines et sociales de la santé »

(Psychologie de la santé, Ethique médicale, Sociologie des sciences) (Santiago-Delefosse, Benaroyo, Kauffman, Bruchez, Stephen)

Nécessité d’organiser les savoirs (grilles de critères existantes) pour :

Ø  Meilleure formation des chercheurs + experts évaluateurs des revues Ø  Meilleure information des experts d’organismes financeurs Ø  Meilleure compréhension des spécificités des travaux qualitatifs Ø  Meilleure reconnaissance pour la publication et diffusion de connaissances

Méthodes (4 étapes sur 3 ans)

Ø  Recherche bibliographique : 132 grilles de critère de qualité existantes en anglais, sciences de la santé (médecine, santé publique, sociologie santé, psychologie/psychiatrie)

Ø  Analyse de contenu et lexicale des grilles de critères Ø  Focus Groupes pluridisciplinaires, tests de terrain

Objectifs Ø  Inventaire des grilles existantes en santé Ø  Explicitation des fondements théoriques et épistémologiques des grilles Ø  Vérification de leurs intérêts, limites, validité d’usage et apports via Groupe

d’experts et Tests sur les différents terrains Ø  Rédaction de recommandations d’utilité et d’usage des grilles testées Ø  Publications: articles scientifiques et ouvrage méthodologique

Résultats 1 : Analyse de contenu de 133 grilles sciences de la santé

Priorités des objectifs pour évaluer la recherche qualitative différentes suivant les auteurs, trois grands groupes :

Ø  Les travaux insistant sur la nécessaire description méthodique et détaillée du plan de recherche, du contexte (Chappel & Rogers, 1998 ; Rogers, Popay, Williams & Latham, 1997, 1998).

Ø  Les travaux insistant sur l’apport conjoint des méthodes (Chappel & Rogers, 1998 ; Seale et Silverman, (1994, 1997).

Ø  Les travaux insistant sur la construction de la recherche et la place du chercheur dans le contexte (Chappel & Rogers, 1998 ; Hoddinott et Pill, 1997)

s  7

Résultats 3 : Analyse de contenu des paradigmes de référence tels que définis par les auteurs des grilles

Les définitions des « grandes » catégories ne renvoient pas aux mêmes contenus…

Ø  Grande diversité des termes utilisés par les auteurs pour décrire leur travail et leurs conceptions des critères

Ø  Confusion des niveaux épistémologiques, théoriques et méthodologiques

Ø  Bases philosophiques et arrières plans théoriques parfois confus Ø  Complexité épistémologique et différences paradigmatiques de situation des

auteurs dans la recherche qualitative

9

CONCLUSION 1.���Reproduction des débats entre sciences physiques et de la nature et sciences sociales et

humaines (sciences de l’esprit) 1. Structures multiples des grilles (difficilement comparables)

Ø  Liste de concepts ou objectifs généraux à atteindre Ø  Description des étapes du plan de recherche Ø  Mélanges de concepts et d’étapes de plan de recherche

2. Grilles peuvent être classées suivant un continuum entre :

Conceptions quasi quantitatives des critères d’évaluation du qualitatif §  Critères définis comme dans les travaux quantitatifs et très légèrement ou peu adaptés §  Description des étapes de la recherche sur le modèle du quantitatif §  Insistance sur la méthodologie §  Absence de critères renvoyant aux théories, analyses, épistémologie, valeurs

Conceptions considérant que l’évaluation de la qualité du qualitatif doit faire appel à d’autres critères

§  Critères moins précis mais parfois très nombreux §  Référence à la formation des chercheurs et à leur positionnement dans la recherche §  Pas ou peu de description des étapes §  Insistance sur les valeurs, l’épistémologie, l’analyse théorique

10

CONCLUSION 2.

3. Le champ sémantique des critères d’évaluation de la recherche qualitative reste problématique

s  Soit il est précis et décrit les différentes étapes de la recherche, mais il se calque alors sur la recherche quantitative (avec une épistémologie néo-positiviste)

s  Soit il est très vaste et les critères polysémiques restent encore à préciser

4. Plus les grilles restent proches des critères quantitatifs, plus elles décrivent les étapes de la recherche et s’intéressent à la seule méthodologie. Plus les grilles proposent des nouvelles catégories d’évaluation, plus elles comportent des critères, mais ce foisonnement devient difficile à maîtriser sémantiquement (elles se focalisent davantage sur les critères liés à l’épistémologie, aux valeurs et au positionnement théorique) 5. Ces divisions se retrouvent à l’intérieur même des disciplines

Ø  Indiquent que les questions de méthodes ne peuvent résoudre les débats épistémologiques et les questions théoriques.

Ø  Reste à faire une classification de ces grilles et critères en les positionnant suivant l’épistémologie des auteurs et les fondements théoriques qui les guident.

Ø  Cette explicitation permettant alors de déterminer les formes de pertinence de l’usage des grilles, leurs qualités et leurs limites en fonction d’un questionnement épistémologique et d’une théorie spécifique.

12

Exemple grilles : Santé Publique et Médecine

Cohen & Crabtree, 2008, Annals of Family Medicine

Boulton, Fitzpatrick et al., 1996, Dpt of Epidem Public Health, London, Journal of Eval Clin Practice Ø  Introduction Aim clear and a qualitative approach appropriate? Ø  Sample & generalizability Criteria for selection described, method of recruitment clear? Characteristics of sample described & final sample adequate? Ø  Methods of data collection Fieldwork and methods of data collection adequately described? Data collected systematically and sensitively? Careful records of data kept? Ø  Data analysis Processes of analysis adequately described? Evidence provided in support of the analysis? Sufficient original material presented? Evidence of efforts to establish reliability ? Ø  Discussion Is the study set in a broader context?

Ø  Importance of the research Ø  Use of appropriate & rigorous methods Ø  Clarity and coherence of the research

report Ø  Importance of establishing validity or

reliability Ø  Importance of verification or reliability Ø  Importance of reflexivity Ø  Carrying out ethical research

Rigor relies mainly on establishing equivalent epistemological rules of objectivity and researcher neutrality or critical distance from data.

G1 construite comme un plan de recherche, critères représentatifs de la recherche quantitative, ‘transposés’ sur qualitatif G2 utilise une typologie issue de la recherche quantitative, avec vocabulaire « qualitatif » non défini (‘validity’ et ‘reliability’)

13

Exemple Grilles : Sciences infirmières et Psychiatrie

Cesario & Santa-Donato, 2002, J Obst Gyn Neonat Nursing

Category I: Descriptive Vividness (essential information, clarity, credibility, adequate length of time, validation with participants…) Category II: Methodologic Congruence Rigor in documentation (phenomenon identified, philosophical base explicited, questions, aims, assumptions identified, literature, methods, data collection and analysis...) Procedural rigor (right questions, steps described, sufficient data, time spent, selection...) Ethical rigor (participants informed of their rights, informed consent, rights protected...) Confirmability (description of data collection process, could other researcher arrive at similar conclusions...) Category III: Analytical Preciseness (interpretive theoretical statements correspond with findings, propositions dev. during the study verified by data? Conclusions based on the data gathered?...) Category IV: Theoretical Connectedness (concepts adequately defined/validated by data?, conceptual map derived from data, clear connection data-framework,…) Category V: Heuristic Relevance (Intuitive recognition, relashionship to existing body of knowledge, applicability...)

Meyrick, 2006, J Health Psychology

Researcher epistemological and theoretical stance Clearly stated, objective and reflexive Methods Aims, objectives are clear, and methods appropriate to research question Sampling Detail of sample described, represents themes, groups. Theoretical sampling detailed and sampling strategy described Data collection Transparent, change in focus justified, Systematic analytic framework described, Data collection/analysis responsive to data Analysis Transparent pathway data to conclusions Systematic process described, complete, all cases, theories + deviance examined Triangulation of method, source, sample, research Internal validation: reflexivity, qualitative audit trail data to conclusions External validation: multiple coding Results and conclusions Findings grounded in data (illustrated). Respondent validation. Applicability: transferable-sufficient detail to judge, generalizable representative

Practical utility of qualitative research emerges through key themes of perception, transparency, sensitivity to context G3 décrite avec énormément de détails, concepts explicités, au total plus de 50 critères et sous-critères proposés. G4 explicite fondements théoriques/epistémologiques. Accent mis sur multicodage/ réflexivité du chercheur/distance critique…

Projet présenté en 2010 : la langue comme motif principal du refus en première soumission: 2 experts sur 3

 The proposal did not convinced me that there is a need for focusing on a language that is not English and thereforelimits the pool of potential experts and potential consumers of the assessment tool » (Expert 2)

s  Projet non anglophone = limite (Expert 3)

s  pourquoi en Français alors qu’Anglais est utilisé par revues majeures ? pourquoi ne pas développer en Anglais puis traduire ? quels utilisateurs potentiels en Français ? (Expert 2)

s  développer outil international, en Français ? Peu compréhensible vu le peu de publications dans cette langue (Expert 3)

Historique des travaux sur les publications Ø  Répertoire des revues francophones de psychologie – Un outil à destination des auteurs (1999). Ø  Rédiger un article pour une revue scientifique. (2002). Ø  Recherche bibliométrique pour le Ministère de l’Enseignement Supérieur: qualité scientifique des revues en

psychologie (Jeannin & Santiago-Delefosse, 2003) Ø  Processus d’expertise dans l’évaluation des travaux qualitatifs (Castro, Blanchet, Santiago-Delefosse &

Haas, 2003) Ø  Méta-analyse des critères de qualité à partir de grilles d’évaluation anglo-saxonnes (2004) Ø  Hétérogénéité des publications qualitatives via sites Internet (Bruchez, Fasseur & Santiago-Delefosse,

2004) Ø  Analyse des représentations de la "scientificité" des supports de publication de psychologie par les

chercheurs en psychologie. (Jeannin, Santiago-Delefosse, 2004). Ø  Maximiser l'impact de la recherche en psychologie au moyen de l'auto-archivage. (Harnad, Santiago-

Delefosse, 2004). Ø  Evaluer la qualité des publications. Quelles spécificités pour la recherche qualitative ? (2004). Ø  Qualitative méthodology, questions and links between theory and methodology. (2010) Ø  Comparative analysis of ten assesment grids of quality criteria in qualitative research (Santiago-Delefosse,

Bruchez, 2011) Ø  Analysis of the criteria for assessing the quality of qualitative research in the field of health sciences at an

international level(Santiago-Delefosse, Bruchez, Stephen, 2013)

2011 - Projet financé par le Fonds National de la Recherche Suisse ���

“Quality of Qualitative Research in the Health Sciences: which Evaluation Criteria?” 2011-2014 : 290.000 Euros ���