Colloque Open access et évaluation de la recherche

Toulouse les 13 et 14 octobre 2016

Colloque organisé par le réseau « Archives ouvertes Toulouse » : Compte-rendu

Intervenants : • J.-C. Guédon, Professeur de littérature

comparée à l'Université de Montréal, Québec, signataire de la Déclaration de Budapest, 2002

• Didier Torny, Directeur adjoint scientifique (section 36-40), Institut National des Sciences Humaines et Sociales (InSHS-CNRS)

• Iratxe Puable, Managing Editor, Plos One• Alain Monteuil, Responsable du pôle

Archive Ouverte, Institut National de Recherche en Informatique et en Automatique (INRIA) Rhône-Alpes)

• Michaël Bon, PhD, Biophysicien, Commissariat à l'Energie Atomique (CEA), Fondateur du Self Journal of Science)

• J. Bordier, Docteur en sociologie, chercheur indépendant et conseiller éditorial

• Bernard Rentier, membre du Working Group Open Access (sous groupe "Quality assessment") de l'European University Association, premier vice-président du conseil fédéral belge de la politique scientifique, recteur émérite de l'Université de Liège, Belgique

• Ben Johnson, Higher Education Policy Adviser, Higher Education Funding Council for England (HEFCE)

• Jean-Paul Deroin, Président de la CP-CNU (Commission Permanente du Conseil National des Universités)

• Marin Darcos, Directeur de la plateforme Open Edition

• Guillaume Cabanac, Enseignant-chercheur, Institut de Recherche en Informatique Toulouse (IRIT), Université Toulouse III - Paul Sabatier)

• Chérifa Boukacem-Zeghmouri, Co-responsable de l'Unité Régionale de Formation à l'Information Scientifique et Technique (URFIST) de Lyon et maître de conférences HDR, laboratoire Elico, Université Claude Bernard - Lyon 1)

• Marc Rennéville, Directeur de recherche CNRS, Directeur de publication de la revue hypermédia Criminocorpus

• Sébastien Poublanc, Docteur en histoire, Rédacteur en chef adjoint du magazine de sciences humaines et sociales Mondes Sociaux

• Odile Contat, Responsable d'études documentaires pôle IST, Institut National des Sciences Humaines et Sociales (InSHS)

• Pierre Moret, Directeur de Recheche CNRS au laboratoire TRACES UMR 5608, CNRS/ Université Toulouse - Jean Jaurès et président CoCNRS section 32 « Mondes anciens et médiévaux »

• Michel Polh, Directeur adjoint, chargé de l’IST, Institut National de la Santé et de la Recherche Médicale (INSERM)

• Ginette Arliguié, Professeur des universités et maître de conférences à l'Université Toulouse III - Paul Sabatier, membres de la section 60 « mécanique, génie mécanique, génie civil», CNU Groupe 9.)

• Florent Champy, Directeur de recherche au CNRS, Laboratoire Interdisciplinaire Solidarités, Sociétés, Territoires, Centre d’Etude des Rationalités et des Savoirs (LISST-CERS, UMR CNRS/EHESS/UT2J).

Constats :

• la reconnaissance de revues prestigieuses aux coûts d’abonnement élevé, à diffusion plus lente et accès payant

• Indices de type : FI, h-index, qui encouragent la course à la publication

• La reconnaissance de la démarche de publication en libre-accès, à diffusion rapide et à coût faible, via les plates-formes ouvertes ou les revues en libre-accès

• Les nouvelles formes de diffusion des travaux de la recherche en ligne

1. Sur quoi se fonde le système d’évaluation de la recherche actuellement ?

2. Le problème du facteur d’impact ?• Est devenu dans certaines disciplines le seul critère de reconnaissance de la

valeur d’un travail de recherche, alors que sa pertinence est discutable

• RAPPEL : – Le FI est le nombre moyen de citations de chaque article publié dans une

revue. Une revue avec un FI élevé serait ainsi considérée comme plus importante (parce que plus visible : plus lue et plus citée) qu'une revue avec un FI faible (source : Wikipédia).

– Il est calculé à partir des bases de données bibliographique Web of Science Core Collection (WoS) de la société américaine Thomson Reuters, de Scopus et de Google Scholar.

Facteur d’impact de 41,456, avec près de 400 000 citations de ses articles (2014)Calcul : nombre de citations des articles publiés dans une revue pendant une période donnée (2 ou 5 ans) divisé par le nombre total d’articles publiés pendant cette même période dans cette même revue

Objectifs du colloque

• Faire le point sur les modifications en cours concernant :– les méthodes d’évaluation institutionnelle de la

recherche (rappel : recommandations de H2020 de faire évoluer les critères d’évaluation des chercheurs).

– Les nouvelles pratiques en ligne de consultation, d’évaluation et de diffusion, pour proposer la prise en compte d’autres choses critères que le FI

I) De nouvelles méthodes d’évaluation dans les revues, épi-revues ou blogs de recherche :

• Exemple de la revue Plos One, revue scientifique en libre accès

• Volonté d’apporter plus de transparence et plus d’ouverture • Volonté de répondre à des besoins spécifiques des chercheurs :

– plus d’efficacité dans l’évaluation– plus de rapidité– Plus d’équité (éviter de céder aux considérations qui touchent à l’impact de la

recherche ou à son niveau d’intérêt, mais rechercher la qualité avant tout)

Dans les revues

Système d’évaluation double, avant et après acceptation du manuscrit

AVANT ACCEPTATION :

• Évaluation par l’éditeur et le comité éditorial– à partir de critères définis en interne,

pour plus d’équité, pour ne pas exclure des travaux de recherche moins attrayant au premier abord (approbations internes, conflits d’intérêts, disponibilités des données)

APRES ACCEPTATION DU MANUSCRIT :

• Evaluation par la communauté scientifique elle-même sur le niveau d’intérêt et l’impact de la recherche

• Processus plus lent, moins transparent, pas forcément efficace

Comité scientifique

1 2

Système d’évaluation après publication du manuscrit

• L’évaluation de l’impact de l’article est possible grâce à l’utilisation de compteurs métriques type Altmetrics

• Mesure de l’impact et de l’intérêt de l’article au niveau de l’article individuel et non du journal

Dans les épi-revues• La plate-forme Episciences qui héberge les épi-revues a été créée par le

CCSD (si on a un compte dans HAL, on a un compte dans Episciences)

• RAPPEL : – une épi-revue est revue électronique en libre accès, alimentée par

les articles déposés dans les archives ouvertes telles que HAL ou arXiv, et non publiés par ailleurs.

– Les comités éditoriaux des épirevues organisent l'activité d'évaluation et de discussion scientifique des prépublications soumises ou sélectionnée

Episciences fournit une plate-forme technique d’examen par les pairs

Intérêts des épi-revues (1) :

Intérêts des épi-revues (2) :• Permettent une réappropriation du workflow par les

communautés scientifiques, qui peuvent investir d’autres tâches dans la chaîne de publication de leurs travaux et décider de créer une revue par exemple.

Ex : JDMDH Journal of Data Mining and Digital Humanities Créée en 2014, la revue JDMDH se situe à l'intersection de la fouille des données et des humanités numériques

• Intéressant de créer une revue quand les travaux de recherche sont interdisciplinaires (problème qui se pose aussi pour l’évaluation)• Petit + : Une revue qui sélectionne un article lui appose directement une

labellisation (on passe de l’auto-archivage à la publication proprement dite)

Avantages des évaluations des épi-revues :

• Les critères de la grille de relecture peuvent être rendus visibles et non anonymes (libre décision de la revue).

• Il existe pour le lecteur la possibilité d’évaluer un article après publication, en suivant un formulaire présentant des champs spécifiques à remplir, et le compte-rendu de l’évaluation est public (régulation par l’auto-modération)

• Un article qui n’aurait pas été sélectionné pour la revue reste cependant accessible sur HAL

Dans les blogs de recherche

• Création du SJS Self Journal of science par Michaël Bon

Intérêts du self-journal :

• réappropriation du workflow par le chercheur• conçu comme un espace personnalisé pour

les scientifiques, il permet de déposer des articles, d’en débattre, de les classer et de les évaluer collectivement

Idée centrale du SJS

• faire table rase des fonctions de rédacteur en chef et de comité de rédaction voire de la notion même de revue en tant que point de passage obligé pour la validation des publications

• de conduire les scientifiques à réfléchir à ce qui fait la valeur d’un travail scientifique

Expérimentations du projet OpenAire

• Dans la revue VertigO (revue québécoise en sciences de l’environnement)

• Initiative d’Horizon 2020 et du Consortium Couperin, confié au collectif OpenEdition pour mettre en place un dispositif d’évaluation ouvert sur une des revues hébergées par OpenEdition

• pour analyser un processus de co-construction des connaissances grâce à internet

Principes :

• A partir d’articles non publiés dans des revues ou susceptibles de corrections, le sociologue Julien Bordier a imaginé des dispositifs d’évaluation ouverte de deux types :– rapports d’évaluation publiés et non anonymés– open-commentary sur des pre-prints à retravailler

Bilans• Vrai défi d’aller chercher les évaluateurs, même si sur

internet• A permis d’établir un dialogue entre l’évaluateur et

l’auteur• Trois des cinq textes examinés sont aujourd’hui en

cours de publication

Limites

• des limites techniques se sont présentées pour les annotations dans le texte (il fallait installer un plug-in, et il aurait fallu qu’il soit implanté directement sur le site). – Utilisation du plug-in Hypothesis

Intérêts

• Les outils numériques permettent de reconstituer sous d’autres formes le processus du débat scientifique.

• Comme le rapport d’évaluation était public (1er dispositif), il a dû être plus justifié, plus détaillé

II) L’évaluation de la recherche : les méthodes instituées et les nouveautés possibles

La question de la récompense des chercheurs dans les Universités européennes

• les méthodes traditionnelles demeurent avec :– l’utilisation du h-index (Indice essayant de quantifier

la productivité scientifique et l’impact d'un scientifique en fonction du niveau de citation de ses publications. source : Wikipédia).

– la comptabilisation du nombre d’articles dans des journaux à fort impact (FI)

– l’attribution de primes de performance basées sur les « scores d’impact » ou « mesures d’impact » (que le chercheur peut ensuite mettre dans son CV)

Le cas du Royaume-Uni

• le rapport Finch de 2012 a eu un fort impact sur les critères d’évaluation – RAPPEL : le rapport Finch recommande que le

Royaume-Uni adopte le libre accès et présente des recommandations pour organiser la transition et accélérer le processus, mais de manière mesurée (promotion, par une politique claire de financement, de la publication en libre accès ou hybride comme support principal de diffusion de la recherche, notamment celle financée par des fonds publics).

Avancées concrètes• une notion d’open access sera intégrée pour la

campagne REF (Opérateur de la campagne d’évaluation de la recherche : Research excellence framework) de 2021

• Principes : – les universités auront obligation de proposer des publications

conformes aux critères OA définis par le HEFCE (organisme qui dépend du gouvernement et s’occupe du financement des activités d’enseignement et de recherche dans les établissements d’enseignement supérieur)

– Si les publications ne remplissent pas ces critères, le dossier ne sera pas éligible

Conditions

• Pour que le dossier d’évaluation soit éligible pour la campagne de REF 2021, il faut que les publications des chercheurs soient toutes disponibles par : – La voie verte : dans un entrepôt libre d’accès– La voie dorée : dans des revues à CL en OA

• Cette obligation d’OA ne concernera que les articles de revue et les conférences (exclusion des ouvrages).

Concernant les APCs (Article processing charges)

• des négociations avec les éditeurs pour une réduction des APCs ont été lancées Frais de publication (Article processing charges) pour : – Soit réduire les coûts des abonnements payés par

les Universités en fonction du montant des APCs– Soit réduire les coûts des APCs pour les universités

abonnées– Soit imaginer un forfait incluant abonnement et

publication en libre accès

La situation en France

• CP-CNU : • Pas de prise en compte de l’OA pour les

promotions des chercheurs pour l’instant

• HCERES : • Intégration des publications en OA à partir de la

vague A (2020-2021)• Modifications de la méthodologie des évaluations

à partir de la vague D

Nouveautés dans les évaluations de l’HCERES

• dans la méthodologie du dossier d’évaluation, avec une reconfiguration du dossier plus axé sur la stratégie de l’unité, sur sa politique, ses aspects organisationnels et les aspects qualitatifs (avec la mise en place d’un système d’auto-évaluation)

• dans le mode de saisie du dossier d’évaluation, qui se fera en ligne, à flux continu, avec la possibilité d’utiliser les archives ouvertes pour avoir accès aux activités de recherche (l’HCERES est en discussion avec HAL pour aspirer les données des autres bases)

méthodologie du dossier d’évaluation (1)• le nombre de critères va être limité, et les évaluations

recentrées sur les produits et activités de recherche• Un travail est en cours pour constituer un référentiel

des produits et activités de recherche par discipline ou activité de recherche par les communautés scientifiques elles-mêmes (ex : définir un périmètre des produits de la recherche et de les hiérarchiser). Les référentiels en cours d’élaboration serviront pour les publications concernées par la vague D (au 15 décembre).

méthodologie du dossier d’évaluation (2)

• Une importance est accordée dans les dossiers d’évaluation à l’accès à l’information scientifique, ce que les experts peuvent juger eux-mêmes lorsqu’ils essayent de consulter les publications

• Il n’y aura plus à fournir les listes exhaustives des productions et des activités des chercheurs, mais 20% de ce que l’unité a fait de mieux, en explicitant pourquoi il s’agit du mieux de l’unité (volet auto-évaluation).

mode de saisie du dossier

• Volonté que la plate-forme de dépôt de l’HCERES aspire ce qui est sur HAL (pour éviter des doubles saisies), mais cela suppose des évolutions de HAL.

• créer un entrepôt national des références et des publications, pour soulager les communautés des renseignements des dossiers d’évaluation

Problèmes à résoudre (1)

• pour la transparence, il faudra trancher concernant la publicité des résultats de l’évaluation

• L’HCERES souhaiterait ouvrir un portail (il est en négociations avec HAL) qui donnerait accès aux archives d’évaluation depuis l’origine et accès aux documents ayant servi à construire l’évaluation

Problèmes à résoudre (2)• Les obstacles concrets à la mise en place de ce portail

sont – la loi de juillet 2013 sur l’ESR qui limite à un résumé la

publication des rapports des unités (donc pas d’obligation de publication). Evolutions qui ne peuvent pas être envisageables avant la vague A.

– changement des vagues, pour coller à l’évolution de la carte des régions

– création de postes pour mettre en place des partenariats avec les sites pour qu’ils créent leur propre plate-forme de dépôt et qu’ils l’alimentent. De même, il est très important de créer des postes pour aider les chercheurs à saisir leurs données

III) Les nouvelles pratiques de consultation et de diffusion en ligne

Le FI et les SHS : un problème concret

Revues très réputées en SHS

Elles ne sont pas répertoriées

Problème de l’expertise

• Pools d’experts pour recenser les revues en sciences humaines, qui sont essentiellement composés d’anglophones et comme ces experts évaluent la qualité de la langue (anglais), cela influe sur le reviewing.

• Pour la sélection du pool d’experts des humanités numériques, Marin Darcos, le Directeur de OpenEdition, a inventé un indice, le Digital Humanity decision power (DHDP), qui correspond au ‘pourcentage de chance de devenir un expert pour faire partie d’un comité d’experts pour évaluer les Humanités numériques’

DHDP = nombre d’experts / nombre de membres de la communauté soit E/M, où est le nombre d’experts et E le nombre de personnes ayant répondu à l’enquête « Who are you Digital Humanists ? »

Et pourtant…

64 millions de visites en 2015 !

• Notion très importante dans les SHS : • la sérendipité et le principe du sleeping

beauty (Van Raan) ou du lecteur inattendu, qui explique la hausse de visualisation d’un article en fonction de la conjoncture sociale.

Les réseaux sociaux de la recherche : états des lieux

• L’apparition des réseaux sociaux de la recherche a montré comment le gap entre les bibliothèques et les chercheurs a été comblé par les éditeurs et par les entrepreneurs qui ont perçu l’aspect potentiellement lucratif de l’intermédiation

• Captation de valeur par les éditeurs

Développement

• Apparition de permettant l’accès rapide et direct à des travaux de recherche

• Apparition de nouveaux standards pour l’édition en ligne : – DOI (Digital object identifier (DOI, littéralement

« identifiant numérique d'objet)– standard éditorial Crossmark– comptage de consultation de type Altmetrics

• Apparition de et de à partir de 2011

• Attractivité : – Services innovants (groupes, cv, accès rapide aux fichiers…)– Bon référencement par Google des travaux déposés

• Le chercheur se retrouve alors acteur de sa propre image, dans la même logique que la course à la publication et la pression à la performance

• Déluge de mails (pour utiliser ces nouveaux outils, pour trouver les experts), car cela permet ensuite de monnayer cette connaissance

De nouveaux outils de comptage

• Du fait de cet usage massif des réseaux sociaux, des outils comme Altmetrics se sont développés, pour élargir et affiner l’évaluation en proposant une métrique liée aux réseaux sociaux (web 2.0) outil de calcul de l’impact d’une recherche à court terme (plug-in qui s’implante directement sur le navigateur), et prenant en compte le domaine OA

Principes

• Des moteurs de calcul de citations comptabilisent les views, downloads, partages sur les réseaux sociaux...

Limites

ATOUTS• moyen d’estimer la visibilité

et l’infiltration d’une recherche sur les réseaux sociaux

• Certains éditeurs implémentent directement cet outil sur leur site, ce qui permet de rendre compte de l’impact d’un article et non pas d’une revue

INCONVENIENTS• sensible à la pollution et au

gaming (partage par des amis pour valoriser une recherche).

• ne faut pas confondre la visibilité d’un article avec sa portée scientifique.

Exemples de valorisation de travaux de recherche (1)

• Le musée numérique Criminocorpus

Idées• 28 expositions exclusivement en ligne• Chacune est alimentée par des documents des fonds

publics très consultés pour la recherche mais aussi des documents issus de collections privées qu’il n’aurait pas été possible de rendre consultable par tous sans le numérique

• Un système de ‘’dossiers liquides’’ a été adopté, qui renvoie à l’idée évoquée plus tôt par Bernard Rentier d’’’articles liquides’’ : un travail de recherche doit être toujours en cours de développement, d’où l’idée qu’il n’est plus un ‘’solide’’ mais un ‘’liquide’’

Exemples de valorisation de travaux de recherche (2)

• La revue Mondes sociaux

Idées

• créée en avril 2013• un magazine de diffusion des SHS, en libre-accès,

publiant des articles de recherche écrits par des chercheurs (articles basés sur des thèses, des articles de recherche, des ouvrages), sans comité scientifique

• de proposer une diffusion massive sur les réseaux sociaux (‘’vulgarisation de la recherche ‘’pour l’HCERES)

• prescripteurs de contenus adaptés aux nouvelles pratiques du numérique : écrire pour le collégien de 3e

• principe du ‘’dossier liquide’’

Pour les commentaires ouverts

• commentaires constructifs, qui ont mené à des propositions de soumettre un article pour le commentateur qui émettaient des remarques sur le contenu diffusé

• Plate-forme de débats, sur des sujets variés, qui encourage la démocratie numérique

IV) Les retours d’expérience sur l’intégration de l’open access dans les processus d’évaluation

Point de vue de l’INSHS• La Responsable d’études documentaires à l’InSHS Odile

Contat, en charge de l’aide aux revues scientifiques, a confié son expérience sur la prise en compte du libre accès dans la dotation aux revues

• L’attribution de ces subventions repose sur une politique d’évaluation délimitée par des critères discriminants, qui viennent des sciences de l’information (ex : bonnes pratiques éditoriales, dontle libre accès)

• Il s’agit de valoriser l’édition scientifique ouverte, transparente et collective.

Principes• Le modèle Latindex a été une source dont s’est inspiré l’InSHS, pour

valoriser au maximum les principes d’ouverture et de transparence : – existence d’une version numérique de la revue– présentation des membres du comité de lecture sur le site et des

affiliations– respect de procédures d’évaluation pour les articles : experts extérieurs– suivi d’une grille d’évaluation– visibilité de la date de réception et d’acceptation de l’article.

• RAPPEL : LATINDEX est un système d’information académique, gratuit, à but non lucratif, spécialisé sur les revues académiques éditées en Amérique ibérique et lusophone. Le système est basé sur le fruit de la coopération entre différentes institutions de 23 pays (source : Wikipédia).

Degrés de prise en compte de la publication en libre-accès dans les procédures d’évaluation

• Disciplines présentées dans la table ronde : – Archéologie, Histoire, Philologie– Bio-médical– Sciences Appliquées– Sociologie

Conclusions de la table ronde : • Le socle d’évaluation scientifique ne bouge pas concernant

l’open access, mais certaines pratiques qui impliquent de la vulgarisation scientifique ou ‘’animation de la recherche’’ sont prises en compte (ex : blogs de recherche)

• La prise en compte du facteur d’impact n’est pas aussi forte dans toutes les disciplines, elle l’est plus particulièrement dans le bio-médical où le recours y est systématique

• Dans les sciences appliquées, une initiative a été prise dans l’évaluation : que les rapporteurs ne mentionnent pas le facteur d’impact

CONCLUSION :

• La prise en compte de l’OA n’est pas encore instituée, et les organismes d’évaluation doivent encore donner l’impulsion pour concevoir des récompenses pour les chercheurs qui publient en accès ouvert

• Comme il faut payer pour publier en OA dans la voie gold, le problème de la récompense du chercheur qui publie quand même en OA est réel

• A l’horizon 2021, la prise en compte de l’OA dans les évaluations de la recherche devrait pouvoir être effective