MODMODELELEESS, , OUTILS ET METOUTILS ET METHHODESODES
DE BIBLIOMDE BIBLIOMETETRRIEIE
Session de Formation Session de Formation lundi 17 mars 2008lundi 17 mars 2008
URFIST de RennesURFIST de Rennes
Manuel Durand-BarthezManuel Durand-Barthez, SCD Toulouse 3, SCD Toulouse 3
2 types 2 types d’évaluation:d’évaluation:
2 types 2 types d’évaluation:d’évaluation:
• A priori, qualitative, par les pairs (peer reviewing)• A posteriori, quantitative, par les citations (bibliométrique)
• A priori, qualitative, par les pairs (peer reviewing)• A posteriori, quantitative, par les citations (bibliométrique)
Définition du problèmeDéfinition du problème
Nécessité de promouvoir des
alternatives de type qualitatif par rapport au modèle dominant
quantitatif
Nécessité de promouvoir des
alternatives de type qualitatif par rapport au modèle dominant
quantitatif
MéthodeMéthodeMéthodeMéthode
• Démonter le système quantitatif Démonter le système quantitatif (bibliométrie) qui trop souvent (bibliométrie) qui trop souvent régit en amont la soumission régit en amont la soumission d’articled’article
• Réformer ce système de l’intérieurRéformer ce système de l’intérieur• Introduire une évaluation Introduire une évaluation
qualitative coopérativequalitative coopérative• Y associer étroitement l’OAIY associer étroitement l’OAI
• Démonter le système quantitatif Démonter le système quantitatif (bibliométrie) qui trop souvent (bibliométrie) qui trop souvent régit en amont la soumission régit en amont la soumission d’articled’article
• Réformer ce système de l’intérieurRéformer ce système de l’intérieur• Introduire une évaluation Introduire une évaluation
qualitative coopérativequalitative coopérative• Y associer étroitement l’OAIY associer étroitement l’OAI
L’EVALUATION DES L’EVALUATION DES PUBLICATIONS SCIENTIFIQUESPUBLICATIONS SCIENTIFIQUESL’EVALUATION DES L’EVALUATION DES PUBLICATIONS SCIENTIFIQUESPUBLICATIONS SCIENTIFIQUES
Depuis 1960, modèle quasi Depuis 1960, modèle quasi monopolistique:monopolistique:
ISI (Institute of scientific ISI (Institute of scientific Information – Philadelphie)Information – Philadelphie)
[Groupe U.S. Thomson Inc.]
Depuis 1960, modèle quasi Depuis 1960, modèle quasi monopolistique:monopolistique:
ISI (Institute of scientific ISI (Institute of scientific Information – Philadelphie)Information – Philadelphie)
[Groupe U.S. Thomson Inc.]
EVALUATION DES EVALUATION DES AUTEURSAUTEURSEVALUATION DES EVALUATION DES AUTEURSAUTEURS
9750 titres9750 titres revendiquéssur la Plate-Forme propriétaire
de l’ISIWEB OF SCIENCE (WoS)
9750 titres9750 titres revendiquéssur la Plate-Forme propriétaire
de l’ISIWEB OF SCIENCE (WoS)
Répartition par Répartition par DomainesDomainesRépartition par Répartition par DomainesDomaines• 6650 titres6650 titres en Sciences
Technologie MédecineBase Science Citation Index• 1950 titres1950 titres en Sciences socialesBase Social Science Citation Index• 1150 titres1150 titres en Sciences humainesBase Arts & Humanities Citation
Index
• 6650 titres6650 titres en Sciences Technologie Médecine
Base Science Citation Index• 1950 titres1950 titres en Sciences socialesBase Social Science Citation Index• 1150 titres1150 titres en Sciences humainesBase Arts & Humanities Citation
Index
EVALUATION DES SOURCES(Titres des revues)EVALUATION DES SOURCES(Titres des revues)
JOURNAL CITATION REPORTJOURNAL CITATION REPORT
(J.C.R.)(J.C.R.)Tableau statistique annuel
paraît au Printemps de l’année « n+1 »
2006: + de 6000 titres analysés
JOURNAL CITATION REPORTJOURNAL CITATION REPORT
(J.C.R.)(J.C.R.)Tableau statistique annuel
paraît au Printemps de l’année « n+1 »
2006: + de 6000 titres analysés
Journal:Journal: EMBO J
Impact FactorImpact Factor: 10. 053
Cites in 2006 to articles published in:Cites in 2006 to articles published in: 20052005 = 3503
20042004 = 5131
04+0504+05 = 8634
Number of articles publishedNumber of articles published in:in: 20052005 = 394
20042004 = 462 04+0504+05 = 856
Calculation:Calculation:
Cites to recent articlesCites to recent articles 8634 ------------------------------ = ---------- = 10.086
Number of recent articlesNumber of recent articles 856
Le calcul sur deux ans n'est pas forcément le Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : plus adapté à toutes les spécialités :
Certaines peuvent mieux supporterCertaines peuvent mieux supporter
5 ans de délai5 ans de délai
Notamment parce que la nature des articles publiés possède un caractère
plus pérenne et plus fondamental, appréciable (et donc "citable") sur une
plus longue durée
Facteurs de pondération:Facteurs de pondération:
- Périodicité + ou – grande: 2 ou 52 num. par an ?Périodicité + ou – grande: 2 ou 52 num. par an ?
- Nombre d’articles par numéroNombre d’articles par numéro
- Changement de titre en cours d’annéeChangement de titre en cours d’année
- « Jeune » périodique (libre, par ex.)« Jeune » périodique (libre, par ex.)
- Nombre de textes type « Nombre de textes type « review review » »
- Langue, alphabetLangue, alphabet
- AutocitationsAutocitations
Scholar GoogleScholar GoogleScholar GoogleScholar Google
• Une réplique « ouverte » du Une réplique « ouverte » du W.O.S.W.O.S.
• Pas d’exploitation Pas d’exploitation « sophistiquée » des données« sophistiquée » des données
• Délimitation du corpus Délimitation du corpus inconnue et mouvanteinconnue et mouvante
• Une réplique « ouverte » du Une réplique « ouverte » du W.O.S.W.O.S.
• Pas d’exploitation Pas d’exploitation « sophistiquée » des données« sophistiquée » des données
• Délimitation du corpus Délimitation du corpus inconnue et mouvanteinconnue et mouvante
La « Fronde »La « Fronde »La « Fronde »La « Fronde »
Publication d’articles Publication d’articles polémiques, notamment polémiques, notamment
dans dans NatureNature
Publication d’articles Publication d’articles polémiques, notamment polémiques, notamment
dans dans NatureNature
Citebase Citebase et et CiteseerCiteseerUne autre conception du Une autre conception du Facteur d’ImpactFacteur d’Impact
Citebase Citebase et et CiteseerCiteseerUne autre conception du Une autre conception du Facteur d’ImpactFacteur d’Impact• Des expériences fondées sur l’OAIDes expériences fondées sur l’OAI• Comparaisons portant sur:Comparaisons portant sur:
- Nb. de téléchargements- Nb. de téléchargements- Nb. de citations générées- Nb. de citations générées- Temps écoulé entre ces deux - Temps écoulé entre ces deux
actionsactions- Cycle de la publication (long - Cycle de la publication (long
terme)terme)
• Des expériences fondées sur l’OAIDes expériences fondées sur l’OAI• Comparaisons portant sur:Comparaisons portant sur:
- Nb. de téléchargements- Nb. de téléchargements- Nb. de citations générées- Nb. de citations générées- Temps écoulé entre ces deux - Temps écoulé entre ces deux
actionsactions- Cycle de la publication (long - Cycle de la publication (long
terme)terme)
CiteSeer
Mining Sequential Patterns: Generalizations And Performance Improvements (1996) Ramakrishnan Srikant, Rakesh AgrawalProc. 5th Int. Conf. Extending Database Technology, EDBT
Facteur de HIRSCHFacteur de HIRSCH Facteur de HIRSCHFacteur de HIRSCH
Calcul d’une moyenne faisant Calcul d’une moyenne faisant coïncider:coïncider:
• Nb de Publications et Nb de Publications et • Nb de CitationsNb de Citations
= indice = indice hh
Calcul d’une moyenne faisant Calcul d’une moyenne faisant coïncider:coïncider:
• Nb de Publications et Nb de Publications et • Nb de CitationsNb de Citations
= indice = indice hh
Il y associe unIl y associe un indiceindice m portant surportant sur la duréela durée n (nombre d’années)(nombre d’années)
résultant de la penterésultant de la pente (slope)(slope) h versusversus n
•m m 11 ( (h h = 20 après 20 ans d’activité) : = 20 après 20 ans d’activité) : chercheurchercheur de « bon niveau » de « bon niveau »•m m 22 ( (h h = 40 après 20 ans d’activité) : = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de chercheur responsable d’une équipe de haut niveau dans une université très cotéehaut niveau dans une université très cotée•m ≥ m ≥ 33 ( (h h = 60 après 20 ans d’activité, = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors voire 90 après 30 ans) : chercheur hors pair, Nobel etc…pair, Nobel etc…
Le Le Peer Reviewing Peer Reviewing classiqueclassique
Le Le Peer Reviewing Peer Reviewing classiqueclassique
• 2 2 referees referees en principe en principe anonymesanonymes• Arbitrage parArbitrage par l’l’Editor in ChiefEditor in Chief• 1 (rarement 2) « navettes »1 (rarement 2) « navettes » Voir les Recommandations aux Voir les Recommandations aux AuteursAuteursExemple de la Charte de Exemple de la Charte de l’American Chemical Societyl’American Chemical Society
• 2 2 referees referees en principe en principe anonymesanonymes• Arbitrage parArbitrage par l’l’Editor in ChiefEditor in Chief• 1 (rarement 2) « navettes »1 (rarement 2) « navettes » Voir les Recommandations aux Voir les Recommandations aux AuteursAuteursExemple de la Charte de Exemple de la Charte de l’American Chemical Societyl’American Chemical Society
L’évaluation qualitative L’évaluation qualitative coopérativecoopérative
L’évaluation qualitative L’évaluation qualitative coopérativecoopérative
arXiv arXiv
CiteseerCiteseer
F1000F1000
arXiv arXiv
CiteseerCiteseer
F1000F1000
Evaluation a priori partagée - Modèle de Rodriguez
The convergence of digital libraries and the peer-review process [2006]
Evaluation a priori partagée - Modèle de Rodriguez
The convergence of digital libraries and the peer-review process [2006]
Faculty of 1000 (1)Faculty of 1000 (1)
"Recommended""Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3)
"Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6),
"Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9).
Recommended
F1000 Factor 3.1
Must Read
F1000 Factor 6.2
Exceptional
F1000 Factor 10.7
Fac of 1000 (2)Fac of 1000 (2)Fac of 1000 (2)Fac of 1000 (2)
• F1000 Factor =F1000 Factor = Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30)
• Exemple: 3 examinateurs, 2 Exemple: 3 examinateurs, 2
attribuent la mentionattribuent la mention Must Read, le , le 3è d3è déécerne l’Exceptionalcerne l’Exceptional => on a on a un F1000 Factor deun F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2
• Ceci correspond Ceci correspond àà un "Exceptional" un "Exceptional" rating badge.rating badge.
• F1000 Factor =F1000 Factor = Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30)
• Exemple: 3 examinateurs, 2 Exemple: 3 examinateurs, 2
attribuent la mentionattribuent la mention Must Read, le , le 3è d3è déécerne l’Exceptionalcerne l’Exceptional => on a on a un F1000 Factor deun F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2
• Ceci correspond Ceci correspond àà un "Exceptional" un "Exceptional" rating badge.rating badge.
F1000 – Les « perles F1000 – Les « perles cachées »cachées »F1000 – Les « perles F1000 – Les « perles cachées »cachées »• Signalement périodique
d’articles issus de revues « prestigieuses » à faible impact : Hidden Jewels
• Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »
• Signalement périodique d’articles issus de revues « prestigieuses » à faible impact : Hidden Jewels
• Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »
Citation et Accès libreCitation et Accès libre
• Les articles en accès libre sur Les articles en accès libre sur le Web sont cités de 2,5 à 7 le Web sont cités de 2,5 à 7 fois plus que les autresfois plus que les autres
• La philosophie de l’accès libre La philosophie de l’accès libre n’a pas la citation pour objectif n’a pas la citation pour objectif principal mais de fait, il la principal mais de fait, il la facilitefacilite
• Les articles en accès libre sur Les articles en accès libre sur le Web sont cités de 2,5 à 7 le Web sont cités de 2,5 à 7 fois plus que les autresfois plus que les autres
• La philosophie de l’accès libre La philosophie de l’accès libre n’a pas la citation pour objectif n’a pas la citation pour objectif principal mais de fait, il la principal mais de fait, il la facilitefacilite
Pour conclurePour conclure
• La citation: un problème déontologique ?
• Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ?
• Importance d’un travail coopératif sur les alternatives
• La citation: un problème déontologique ?
• Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ?
• Importance d’un travail coopératif sur les alternatives
Sources Sources (1)(1)Sources Sources (1)(1)
Lefèbvre, Muriel (Urfist Toulouse) Vers une remise en question des
modalités traditionnelles d'évaluation des savoirs scientifiques ? (13/04/2006)
http://archivesic.ccsd.cnrs.fr/sic_00112197
Lefèbvre, Muriel (Urfist Toulouse) Vers une remise en question des
modalités traditionnelles d'évaluation des savoirs scientifiques ? (13/04/2006)
http://archivesic.ccsd.cnrs.fr/sic_00112197
Sources (2)Sources (2)Sources (2)Sources (2)
• http://isiwebofknowledge.com/• http:// arxiv.org • http://citebase.org • http://citeseer.ist.psu.edu • http://scholar.google.com • http://www.f1000biology.com/
home/
• http://isiwebofknowledge.com/• http:// arxiv.org • http://citebase.org • http://citeseer.ist.psu.edu • http://scholar.google.com • http://www.f1000biology.com/
home/
Sources Sources (3)(3)Sources Sources (3)(3)
• Hirsch, Jorge E.: Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 PNAS, Nov. 15, 2005, 102 (46) 16569-16572(46) 16569-16572www.pnas.org/cgi/doi/10.1073/pnas.0507655102
• Rodriguez, Marko A.; Bollen, Johan; Van de Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status.Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030v1.pdf
• Les mêmesLes mêmes:: The convergence of digital The convergence of digital libraries and the peer-review process 2006libraries and the peer-review process 2006
http://arxiv.org/ftp/cs/papers/0504/0504084.pdf
• Hirsch, Jorge E.: Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 PNAS, Nov. 15, 2005, 102 (46) 16569-16572(46) 16569-16572www.pnas.org/cgi/doi/10.1073/pnas.0507655102
• Rodriguez, Marko A.; Bollen, Johan; Van de Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status.Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030v1.pdf
• Les mêmesLes mêmes:: The convergence of digital The convergence of digital libraries and the peer-review process 2006libraries and the peer-review process 2006
http://arxiv.org/ftp/cs/papers/0504/0504084.pdf