Upload
urfist-de-paris
View
380
Download
0
Embed Size (px)
DESCRIPTION
Aspects techniques et institutionnels de l'évaluation bibliométrique des organismes de recherche.
Citation preview
Evaluation et caractérisation des entités de recherche : acteurs et
méthodes en documentationL’évaluation des établissements et
des politiques documentaires à l’heure de la bibliométrie
MEDIADIX - URFIST
Saint-Cloud 13 avril 2010
Manuel Durand-Barthez - URFIST Paris
Principes fondamentaux
Contexte législatif français : la LOLFSous-ensemble Enseignement
supérieur & Recherche : le programme P 150
Référentiels internationaux : classements de Shanghai, de Leyde, du Times QS/THE, le PRSP de Taïwan…
La cible des indicateurs
Capacités de financementInfrastructurePotentiel humain:
Enseignants () chercheurs Etudiants, dont doctorants BIATOS
Employabilité des étudiants sortantsQuotité enseignement / recherche ; etc…
L’enjeu des publications
Item visible Article scientifique : indicateur privilégié
(format, périodicité)Evaluation rapide via la citation
L’OST: un acteur, des référentiels
G.I.P. à couverture interministérielle dans le domaine de la Recherche
Fournit des informations notamment dans trois domaines liés au P150 de la LOLF: Publications scientifiques Brevets Programmes PCRD
Des domaines privilégiés
Sciences de la matièreSciences de la nature et de la vie« La base de données source est le Web of
Science® de Thomson Reuters qui fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. » Méthodologie IPERU, Chap.II.1
Le W.O.S. : 3 bases
6650 titres6650 titres en Sciences Technologie Médecine
Base Science Citation Index1950 titres1950 titres en Sciences sociales
Base Social Science Citation Index1150 titres1150 titres en Sciences humaines
Base Arts & Humanities Citation Index
EVALUATION DES SOURCES(Titres des revues)
JOURNAL CITATION REPORTJOURNAL CITATION REPORT(J.C.R.)(J.C.R.)Tableau statistique annuelparaît au Printemps de l’année « n+1 »
2008: > 6500 titres analysés en STM≈ 2000 en Sci. sociales
Journal: EMBO JImpact Factor: 8.295 Cites in 2008 to articles published in: 2007 = 3309
2006 = 4494 07+06 = 8303
Number of articles published in: 2007 = 454 2006 = 547
07+06 = 1001Calculation:
Cites to recent articles 8303------------------------------ = ---------- = 8.295 Number of recent articles 1001
Bilan critique
Modèle anglo-saxon privilégiant la recherche appliquée
Citations quantifiées sans nuances, sur une « première
couronne » sans tenir compte des différences de
pratique dans chaque disciplineAbsence flagrante des Sciences
humaines
Problématique des SHSSciences sociales relativement
bien couvertes dans le SSCI: Economie (209 titres) Sc. Educ. (113 titres) Droit (104 titres) Sociologie (100 titres)
Problématique des SHS
La base AHCI (Arts & Humanities) du WOS est dépourvue de modules d’évaluation statistique
Listes de l’AERES issues de l’ERIH European Reference Index for the Humanities.
Présentent des carences (dénombrement + classement)
Les alternatives
Aux BD de référenceAu facteur d’impact des
revuesAu facteur H associé aux
chercheursA l’évaluation par les pairs
Les BD de référence
ScopusScholar GoogleDBLP (informatique)Journalbase (SHS = WOS + Scopus +
ERIH + AERES) env. 10.000 titres sur 21.000 entrées (initiative CNRS/TGE Adonis - Michèle Dassa & Christine Kosmopoulos)
Facteurs d’impactTraçabilité des citations : par qui la
publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-même citée etc…
Exécution itérative du PageRank de Google (méthode de la « marche aléatoire »)
Définition de collèges invisiblesEigenfactor lié au J.C.R. (ISI)Scimago Journal Rank lié à Scopus
(Elsevier)
Réseaux de co-citations
Autre approche des collèges invisiblesCitebase (S. Harnad et T. Brody, Univ.
Southampton) lié au miroir britannique d’ArXiv
CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées
Facteur H
Variantes du Facteur « H »Facteur « G » de Leo Egghe (Univ. Anvers)Nombre « g » d'articles dont la somme des Nombre « g » d'articles dont la somme des
nombres de citations est au moins « g2 »nombres de citations est au moins « g2 » un « g-index » de 10 indique que l'auteur a écrit un « g-index » de 10 indique que l'auteur a écrit
10 papiers dont la somme des citations est au 10 papiers dont la somme des citations est au moins de 100moins de 100
Il est censé remédier au « gel » des Il est censé remédier au « gel » des publications captées au-dessus de l’indice H publications captées au-dessus de l’indice H en tenant compte du nombre en tenant compte du nombre exceptionnellement élevé de citations exceptionnellement élevé de citations générées par quelques-unes d’entre ellesgénérées par quelques-unes d’entre elles
Variantes du Facteur « H »
Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google, tenant compte de: L’ancienneté de l’article Le nombre d’auteurs 6 combinaisons résultent de l’intersection
de ces deux paramètres
Evaluations alternatives qualitatives
A l’origine sur les preprints d’ArXivSur l’article, dans la revue même, type
Open Access : European Geological Union
Sur des articles publiés dans diverses revues, par des collèges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central
Rapporter l’évaluation
GRAAL (Universités)SIGAPS (C.H.U. et organismes
assimilés de Santé)CRAC (Compte rendu annuel d’activité
des chercheurs du CNR) restructuré en BD RIBAC (Recueil d’informations pour un observatoire des activités des chercheurs)
Rapporter l’évaluation
CNRS : rapport d’activité à 2 et à 4 ansFiches UR3 (fiches individuelles
d’activité enseignant-chercheur ou chercheur concernant les 4 dernières années)
Fiches AERESContrats quadriennauxContrats d’objectifs
Acteurs de l’évaluation: fonction (1)
Type de tâche effectuée Repérage
Adressage Patronymes
Comptage Indices & facteurs
Impact des revues où publié Facteur H
Acteurs de l’évaluation: fonction (2)
Restitution Avalisée directement (instance
centrale) Débattue en conseil
Taux d’occupation Unique supplémentaire
Acteurs de l’évaluation: statut
Corps des Bibliothèques IngénieurAdministratifEnseignant-chercheurChercheur« Autre »…?
Acteurs de l’évaluationFormation à la tâche
Empirique (« tas »…)Stage courtSpécialisée
Acteurs de l’évaluation:évolution des méthodes
Opportunité de travaux coopératifsMutualisation des expériences (groupes de
travail associant les catégories professionnelles et les domaines disciplinaires)
Appels de l’OST à enrichir et faire évoluer ses bases et modèles
Exemple de la coopérative EREFIN (une vingtaine d’organismes coparticipants, dont l’OST)
Conclusion 1
Soutenir et faire évoluer les professionnels de l’information- documentation
Le cas échant, impliquer les SCD pour mieux les intégrer à l’environnement universitaire, lorsque la situation s’y prête
Conclusion 2
Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités
Compter, certes oui, mais pourquoi, à quelle fin ?
Conclusion 3
Vers un document « unique » (…?!) pour l’évaluation ?