View
108
Download
2
Category
Preview:
Citation preview
Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ?
Validation et évaluation de l’information sur Internet
Journée d’étude du 31 janvier 2007 Ministère de la Recherche, Amphithéâtre Poincaré
Manuel Durand-Barthez, SCD Toulouse 3
2 types d’évaluation:
A priori, qualitative, par les pairs (peer reviewing) A posteriori, quantitative,
par les citations (bibliométrique)
Définition du problème
Nécessité de promouvoir des alternatives de type qualitatif par rapport au
modèle dominant quantitatif
Méthode
Démonter le système quantitatif (bibliométrie) qui trop souvent régit en amont la soumission d’article
Réformer ce système de l’intérieur Introduire une évaluation
qualitative coopérative Y associer étroitement l’OAI
L’EVALUATION DES PUBLICATIONS SCIENTIFIQUES
Depuis 1960, modèle quasi monopolistique:
ISI (Institute of scientific Information – Philadelphie)
[Groupe U.S. Thomson Inc.]
EVALUATION DES AUTEURS
S.C.I. (Science Citation Index)
9300 titres revendiquéssur la Plate-Forme propriétaire de l’ISI
WEB OF SCIENCE (WoS)
EVALUATION DES SOURCES(Titres des revues)
JOURNAL CITATION REPORT(J.C.R.)
Tableau statistique annuel
paraît au Printemps de l’année « n+1 »
2005: + de 6000 titres analysés
Journal: EMBO JImpact Factor: 10. 053
Cites in 2005 to articles published in: 2004 = 43142003 = 6624
03+04 = 10938
Number of articles published in: 2004 = 4622003 = 626
03+04 = 1088Calculation:
Cites to recent articles 10938 ------------------------------ = ---------- = 10.053
Number of recent articles 1088
Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités :
Certaines peuvent mieux supporter
5 ans de délai
Notamment parce que la nature des articles publiés possède un caractère
plus pérenne et plus fondamental, appréciable (et donc "citable") sur une
plus longue durée
Facteurs de pondération:
- Périodicité + ou – grande: 2 ou 52 num. par an ?
- Nombre d’articles par numéro
- Changement de titre en cours d’année
- « Jeune » périodique (libre, par ex.)
- Nombre de textes type « review »
- Langue, alphabet
- Autocitations
Scholar Google
Une réplique « ouverte » du W.O.S.
Pas d’exploitation « sophistiquée » des données
Délimitation du corpus inconnue et mouvante
10è référence
Citée 511 fois
Lien vers Nature
La « Fronde »
Publication d’articles polémiques, notamment
dans Nature
Citebase et CiteseerUne autre conception du Une autre conception du
Facteur d’ImpactFacteur d’Impact Des expériences fondées sur l’OAI Comparaisons portant sur:
- Nb. de téléchargements
- Nb. de citations générées
- Temps écoulé entre ces deux actions
- Cycle de la publication (long terme)
CiteSeer
Facteur de HIRSCH
Calcul d’une moyenne faisant coïncider:
Nb de Publications et Nb de Citations
= indice h
Il y associe un indice m portant sur la durée n (nombre d’années)
résultant de la pente (slope) h versus n
•m 1 (h = 20 après 20 ans d’activité) : chercheur de « bon niveau »•m 2 (h = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de haut niveau dans une université très cotée•m ≥ 3 (h = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…
EVALUATION QUALITATIVE
(hors Citations)
Le Peer Reviewing classique
2 referees en principe anonymes Arbitrage par l’Editor in Chief 1 (rarement 2) « navettes » Voir les Recommandations aux AuteursExemple de la Charte de l’American Chemical Society
L’évaluation qualitative coopérative
arXiv
Citeseer
F1000
Communication / Evaluation intracommunautaire
≈ 1990: espaces de données GOPHER, interface VERONICA puis navigateur MOSAIC
Vérification mutuelle d’expériences Foisonnement des échanges
d’évaluation intracommunautaires Modèle actuel majoritaire préféré
à l’exposition publique…
Citeseer – Commentaire en ligne
Addition du Commentaire
Evaluation a priori partagée - Modèle de Rodriguez et al.
The convergence of digital libraries and the peer-review process [2006]
Faculty of 1000 (1)
"Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3)
"Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6),
"Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9).
Recommended
F1000 Factor 3.1
Must Read
F1000 Factor 6.2
Exceptional
F1000 Factor 10.7
Fac of 1000 (2)
F1000 Factor = Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30)
Exemple: 3 examinateurs, 2 attribuent la
mention Must Read, le 3è décerne l’Exceptional => on a un F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2
Ceci correspond à un "Exceptional" rating badge.
F1000 – Les « perles cachées »
Signalement périodique d’articles issus de revues « prestigieuses » à faible impact : Hidden Jewels
Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »
Citation et Accès libre
Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres
La philosophie de l’accès libre n’a pas la citation pour objectif principal mais de fait, il la facilite
Pour conclure
La citation: un problème déontologique ?
Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ?
Importance d’un travail coopératif sur les alternatives
Sources (1)
Lefèbvre, Muriel (Urfist Toulouse)
Vers une remise en question des modalités traditionnelles d'évaluation des savoirs scientifiques ? (13/04/2006)
http://archivesic.ccsd.cnrs.fr/sic_00112197
Sources (2)
http://isiwebofknowledge.com/http://arxiv.org http://citebase.org http://citeseer.ist.psu.edu http://scholar.google.com http://www.f1000biology.com/home/
Sources (3)
Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102
Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.pdf
Les mêmes: The convergence of digital libraries and the peer-review process 2006
http://arxiv.org/ftp/cs/papers/0504/0504084.pdf
Recommended