ESIT, 27 septembre 2008

L’évaluation de la recherche en lettres et sciences humaines :

pratiques actuelles et réflexions prospectives

Sophie Moirand Université Sorbonne nouvelle (Cediscor–Syled)

1. Bref cadrage institutionnel

Conseil supérieur de la recherche et de la technologie1990 : DRED,

Direction de la recherche et des études doctorales« politique de financement » : encadrement doctoral, équipes d’accueil, jeunes équipes sur dossiers selon des plans quadriennaux (expertises par les « pairs »)( + CNU : Centre National des Universités)

Actuellement (1er janvier 2007) : « culture de projet »– AERES : évaluation des unités de recherche, des écoles doctorales (financement

par établissement ?)– ANR : financement sur projets après expertises

( + CNU : Centre National des Universités)

2. Les « indicateurs » :des champs d’analyse

• bilans et projets (plans quadriennaux) : rayonnement international, organisation de colloques, réponses à des appels d’offres, productions (publications, brevets, logiciels…) –> justification du financement

• nature des productions :(dans les « humanités », essentiellement des publications). revues scientifiques, ouvrages collectifs ou individuels. didactique, diffusion, divulgation, valorisation (???)

• nature des revues : diffusion nationale/internationale, avec comité de lecture national/international, anonymat et sélection, langue de publication…

Questions à débattre : nature des productions ? qui sont les « experts »? les consignes de rédaction ? les consignes d’évaluation ?

2. Les indicateurs : quantitatif et/ou qualitatif ?

• Fin 2004 (contrat quadriennal 2005-2008) : « l’enseignant-chercheur publiant »

Ce concept (?) s’est peu à peu imposé pour servir à évaluer non pas les chercheurs individuellement mais pour évaluer aussi les équipes de recherche et les financer (EA et UMR)

• 2007 : des listes de revues « reconnues » au niveau européen par disciplines servent d’outil d’évaluation pour certaines disciplines dites « humanités » (sciences du langage, par exemple)

Projet ERIH (European Reference Index of the Humanities) :dans le cadre de l’ESF (European Science Foundation) en collaboration avec l’HERA (Humanities in the European Research Area, 6e programme-cadre européen)

---> quelques commentaires sur « notre » expérience récente

3. Situation actuelle : des critères à discuter ?

– pour les enseignants-chercheurs : nombre X d’articles de revues A ou B des listes de l’ERIH, publications dans des actes de colloques et des éditeurs également recensés dans des listes (4 éditeurs français ! Aucun éditeur suisse…)

– pour les projets de l’ANR, par exemple :– notation de 1 à 10 pour chacun des critères d’évaluation + 6 à 10 lignes de commentaire :

qualité scientifique et technique du projet, qualité de la construction du projet et de la coordination, impact global du projet, qualité de l’équipe, faisabilité du projet

– exemple de « consignes » : rendre compte de l’excellence scientifique en terme de progrès des connaissances vis-à-vis de « l’état de l’art », du caractère novateur et ambitieux, de l’originalité dans le contexte du laboratoire, de l’originalité des objectifs, de la nouveauté de l’approche et de l’intérêt du projet…

3. Faire des propositions ? L’exemple des publications scientifiques

– chiffres de vente vs nombre de lecteurs– indexations bibliographiques (INIST-CNRS, MLA)– présence dans les bibliothèques des universités françaises et étrangères (SUDOC,

Copac, Melvyl, etc.)– traductions des ouvrages ou des articles – comptes-rendus (recensions) dans des revues scientifiques nationales et

internationales) ? Et pourquoi pas dans les médias ? – présence sur différents sites d’information (scientifiques, professionnels et pourquoi

pas grand public) ?– index de citation : Scholar google ? Thomson scientific, ISI web of knowledge ? Etc.Etc.

4. Discours de recherche… et discours d’évaluation de la recherche

Plan IMaMRaD• Introduction• Material

and Methods• Results

and Discussion[American National Standards Institute]

Question : que faire de ce « plan » en lettres et SHS ?

Comment faire une recherche en SHS ?

Étape 1 : définir un objet, poser une questionÉtape 2 : problématique, hypothèseÉtape 3 : observation et techniquesÉtape 4 : traitement et interprétation des donnéesSciences humaines n° 11 (1991)

Question : quelles sont les traces de cette démarche cognitive dans les écrits scientifiques ?

Quelques traces d’auto-évaluation…

Dans les rapports de certaines équipes :• équipe : active, productive, reconnue, visible• chercheurs : dynamiques, très motivés, actifs• champs de recherche : riches, très riches, attractifs• collaborations : fructueuses, solides, suivies• formation dispensée : rigoureuse

• pôle d’attraction, rayonnement, vitalité Question : est-ce donc aux équipes de « se valoriser » ?

Des consignes pour rédiger ?

• Rédiger un rapport de recherche :Faut-il se contenter de décrire ce qu’on fait ? Faut-il déjà valoriser ce qu’on fait ?

• Comment rédiger une évaluation ? Quels sont les critères d’évaluation et de notation ?

Quelques observations à discuter ---> débat

Bibliographie utilisée

– Compte rendu des Assises de la Maison de la Recherche et des Sciences humaines de Caen, 28 mars 2008 : L’évaluation des publications en Sciences humaines et Sociales : ouvrages et revues.

–  Conseil supérieur de la recherche et de la technologie, rapport d’activité 2005-2006 : Vers un nouveau paysage de la recherche. Paris, la Documentation française, 2007.

– Moirand, S.: « Qu’est-ce qu’un discours de recherche en lettres et sciences humaines ? », communication au Colloque Les discours universitaires, formes, pratiques, mutations, Bruxelles 24-26 avril 2008, à paraître dans les Actes.

– Kyheng, R. : De la sémantique des textes au web sémantique. Texto! Textes et cultures (en ligne), juin 2005, vol.X, n°2.