Annales de dermatologie et de vénéréologie (2014) 141, 531—535

Disponible en ligne sur

ScienceDirectwww.sciencedirect.com

REGARDS SUR LA RECHERCHE

Modèle de valorisation des publicationsmédicales scientifiques : le logiciel SIGAPS

SIGAPS: A software package for the evaluation of medicalpublications

C. Derancourta,∗, P. Devosb, N. Moorec,J.-L. Rouvillaina

a Délégation à la recherche clinique et à l’innovation, CHU de Martinique,97229 Fort-de-France cedex, Martiniqueb EA2694, délégation à la recherche clinique et à l’innovation, université de Lille II,CHRU de Lille, 59037 Lille cedex, Francec CIC1401, CHU de Bordeaux, 33076 Bordeaux, France

Recu le 27 janvier 2014 ; accepté le 20 juin 2014Disponible sur Internet le 5 aout 2014

MOTS CLÉSBibliométrie ;Publications ;Facteur d’impact ;SIGAPS ;Valorisation

Résumé Le système d’interrogation, de gestion et d’analyse des publications scientifiquesSIGAPS est un outil bibliographique de conception francaise, innovant, qui permet le recen-sement et l’analyse des références bibliographiques produites par un chercheur ou une unité,à partir de la base Medline (Pubmed). Cette mesure prend en compte le rang de signature del’auteur, ainsi que le niveau de la revue selon son facteur d’impact dans la discipline. Les limitessont celles du facteur d’impact. Les analyses produites par SIGAPS permettent une valorisationfinancière des établissements hospitaliers.© 2014 Elsevier Masson SAS. Tous droits réservés.

KEYWORDSBibliometry;Publications;Impact factor;SIGAPS;Evaluation

Summary The ‘‘système d’interrogation, de gestion et d’analyse des publications scienti-fiques’’ (System for Identification, Management and Analysis of Scientific Publications), orSIGAPS, is an innovative tool of French design that enables the identification and analysis ofbibliographic references produced by a given researcher or unit using the Medline database

∗ Auteur correspondant.Adresses e-mail : Christian.Derancourt@chu-fortdefrance.fr, cderancourt@gmail.com (C. Derancourt).

http://dx.doi.org/10.1016/j.annder.2014.06.0250151-9638/© 2014 Elsevier Masson SAS. Tous droits réservés.

532 C. Derancourt et al.

(PubMed). This evaluation takes into account the author’s rank of signature and the impactfactor of the journal of publication within the discipline in question. The limits are those ofthe impact factor. Analyses produced by SIGAPS enable financial assessment to be made byhospitals.© 2014 Elsevier Masson SAS. All rights reserved.

LumCfilrsti

ese

tédserbMdsrltl(

P

Llvdrpvrdcetàvtltl

lptnad

llllclr5

Jc

p

eB2

ddpls

tcAadcuslqEeusqqvs

es activités de recherche des centres hospitalo-niversitaires (CHU) ont longtemps été rémunérées deanière forfaitaire, à hauteur de 10,5 à 13 % à du budget duHU. En 2007 est apparu en France un nouveau modèle denancement des activités de recherche et d’enseignement,

e modèle « MERRI » : missions d’enseignement, deecherche, de référence et d’innovation, auxquellesont éligibles les CHU ainsi que les établissements hospi-aliers non universitaires ayant une activité de recherchemportante.

Ce modèle comprend un socle fixe, une part modulablet une part variable. La part modulable a été déterminéeur la base de quatre indicateurs : publications scientifiques,ssais cliniques, étudiants et brevets.

Pour le calcul de l’indicateur « Publications », le minis-ère de la Santé a choisi d’utiliser un logiciel de bibliométrielaboré par le CHU de Lille en 2002 : il s’agit du système’interrogation, de gestion et d’analyse des publicationscientifiques SIGAPS [1—3] (Fig. 1). Le principe de cet outilst l’automatisation du recensement et de l’analyse deséférences bibliographiques produites par une unité (éta-lissement, pôle, service, individu), à partir de la baseedline (Pubmed). L’objectif principal est le recensemente la production scientifique réalisée au sein d’un établis-ement de manière quantitative et qualitative, en tempséel. On peut également utiliser cet outil à d’autres fins :’analyse des collaborations ou de l’évolution de la produc-ion au cours du temps, ce qui permet de mieux connaître’activité de recherche d’un établissement, son maillageéquipes émergentes, collaborations).

rincipes de fonctionnement

e logiciel SIGAPS fonctionne à partir de l’interrogation dea base de données bibliographiques Medline, via le ser-eur Pubmed. Chaque chercheur est identifié par son nome famille et l’initiale de son prénom et, à partir de cesenseignements, le logiciel va télécharger l’ensemble desublications correspondant à cette identité. Une premièrealidation automatique est effectuée par le logiciel quietiendra, de manière large, les publications dont l’adressee l’auteur est celle de l’établissement, ou faisant état deollaborations avec d’autres auteurs de l’établissement, ouncore ayant un nom unique, éliminant d’emblée un cer-ain nombre de publications intruses. Il est ensuite demandé

chaque établissement de procéder annuellement à unealidation par l’auteur présumé ou à défaut une valida-ion externe (administrateur du système) à partir de la

iste de publications présélectionnées de manière automa-ique : le chercheur validera la publication dont il est bien’auteur et exclura les autres. La validation par le chercheur

Sra

ui-même est le garant de la meilleure fiabilité. L’auteureut être amené à prendre contact avec les administra-eurs de l’établissement en cas de désaccord, d’articles’apparaissant pas dans la sélection automatique (articlesyant des collaborations insolites, erreurs ou changemente nom de l’auteur. . .).

Dans un second temps, le logiciel va permettre’établissement d’un score pour l’établissement, le service,e chercheur. Le score, actualisé tous les ans, est basé sure nombre et la qualité des publications, et la position de’auteur sur chaque publication. La qualité se fondera sur leoncept de facteur d’impact « relatif » au sein de la spécia-ité. Dans chaque discipline (au nombre de 170 environ), lesevues sont classées selon leur facteur d’impact respectif en

groupes ABCDE, certaines revues étant non classées (NC).Cette classification est basée sur les données du JCR :

ournal Citation Reports (http://www.thomsonreuters.om/journal-citation-reports/).

Les catégories de A à E sont déterminées en fonction desercentiles du facteur d’impact dans la spécialité (Fig. 2).

Chaque catégorie est affectée d’une pondération, qui estn 2013 : 8 points pour les revues A, 6 points pour les revues, 4 points pour les revues C, 3 points pour les revues D,

points pour les revues E et un point pour les revues NC.Une seconde pondération intervient en fonction du rang

e signature de l’auteur : en 2013, cette pondération este 4 points pour le premier et le dernier auteur, 3 pointsour le second auteur, 2 points pour le troisième auteur et’avant-dernier auteur et 1 point pour les autres positions deignature.

À partir de 2008, le score SIGAPS a été calculé par mul-iplication de ces deux coefficients, ce qui fournit, pourhaque article, un score de 1 à 32. Par exemple, un article

en premier auteur a donc un score de 32 (8 × 4), unrticle NC en cinquième auteur (non dernier ou avant-ernier), 1 point (1 × 1). Le score d’une équipe ou d’unhercheur est la somme des scores de tous ses articles. Sin article contient plusieurs auteurs de la même équipe, lecore retenu pour l’article correspond au score de l’auteure mieux placé. Ainsi, une publication n’est comptabiliséeu’une fois par entité (service, pôle ou établissement).n revanche, lorsque deux personnes appartiennent parxemple à des pôles différents du CHU et participent àne même publication, cette publication est comptabili-ée pour chacun des pôles, mais elle n’est comptabiliséeu’une seule fois au titre du CHU et c’est le meilleur scoreui est retenu par le système. La somme des scores indi-iduels ou des pôles est donc supérieure à la somme descores de l’établissement. Les modalités de calcul du score

IGAPS ayant plusieurs fois évoluées, on ne peut pas compa-er directement les scores d’année en année, en particuliervant et après 2008.

Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS 533

tions

L

LdLedSlu2l

n

12, des pu

Figure 1. Exemple de feuille « SIGAPS » de validation des publica

À titre d’exemple, dans le budget MERRI 2013 correspon-dant à l’export 2012 (période 2008—2011), un article dansune revue de rang A comptabilisant 32 points SIGAPS (pourle premier ou dernier auteur) correspondait à un finance-ment de l’ordre de 24 000 euros, en sachant que cette mêmepublication sera comptabilisée pendant 4 ans. Il s’agit là duscore pour l’établissement. Il n’est pas possible d’appliquerce même financement aux scores individuels, par exemple.Le problème de l’attribution des scores à tel ou tel ser-vice ou pôle dans un établissement est difficile à résoudre :faire une quote-part relative où un score est distribué surl’ensemble des services ou retenir pour chaque article etscore la personne (et donc le pôle) le mieux placé dansl’article.

IF2012 (Ann Derm) = Nombre de citations, en 20Nombre d’articl

r

- A : revues ayant un fact

- B : revue s ayan t un fact

le 90ème

percen tile.

- C : revue s ayan t un fact

quartile .

- D : revue s ayan t un fact

médiane .

- E : revues ayant un fact

Max

Min

Médiane

Q3

Q1

+

0

P90A

B

C

D

E

N

CNon Clas sé par l’IS I

Max

Min

Médiane

Q3

Q1

+

0

P90

Max

Min

Médiane

Q3

Q1

+

0

+

0

P90A

B

C

D

E

N

C

A

B

C

D

E

N

CNon Clas sé par l’IS I

Figure 2. Catégories des revues en fonction de l’impact factor.

.

imites de l’outil

es limites du score SIGAPS sont liées à celles du facteur’impact (impact factor), qui contribue à son calcul [4—6].e facteur d’impact d’un journal pour une année donnéest le nombre moyen de citations de chaque article publiéans ce journal par les autres journaux indexés dans lecience Citation Index (SCI) de Thomson Reuters pendantes deux années précédentes. Par exemple, un journal auran facteur d’impact de 3 en 2013 si ses articles de 2011 et012 sont cités en moyenne trois fois chacun en 2013 par’ensemble des journaux indexés dans le SCI.

Par exemple, pour la revue Annales de dermatologie,ous obtenons :

es articles parus en 2010 et 2011blié s en 2010 et 2011

= 196321

= 0, 611

Le facteur d’impact pour l’évaluation des revues esteconnu de longue date mais est cependant controversé. En

eur d’impact supérieur au 90ème

percentile

eur d’impact entre le 3ème

qua rtile (75%) et

eur d’impact entre la mé diane et le 3ème

eur d’impa ct entre le 1er

quartile et la

eur d’impact inférieur au 1er

quartile

5

edfpldjltdp

spilêdt1nepbpfp(l

tSvppdpnc

pnac[scsfRS

ofiap

réMsé

2sdrfi

gMlandusdséadrs

D

Ld

R

[

[

des établissements de santé. Presse Med 2009;38:1056—61.

34

ffet, cette classification désavantage les revues publiéesans une autre langue que l’anglais. Cependant, l’impactactor reste un système de cotation des revues qui corres-ond grosso modo à la hiérarchie reconnue des revues, et àa diffusion effective des résultats de la recherche. Ceci est’autant plus vrai que dans SIGAPS l’impact factor n’est pasugé globalement, mais par groupe de disciplines. De plus,’impact factor est une mesure objective dont le calcul estransparent et parfaitement connu. Les revues ont bien sûres moyens d’augmenter leur facteur l’impact, comme laublication de revues générales ou de sujets à la mode.

D’autres modes d’évaluation des revues sont en discus-ion, notamment à partir de la base des données SCOPUS,our l’instant inaccessible au SIGAPS. L’utilisation d’autresndicateurs bibliométriques visant à mesurer directement’impact des publications comme le facteur « H » devraittre intéressante [7]. Cet indice tient compte du nombree publications d’un chercheur mais également des cita-ions : un index « H » de 10 signifie que le chercheur à produit0 publications citées chacune au moins 10 fois. Cet indice’est malheureusement pas adapté aux jeunes chercheurs,st cumulatif (effet « rente ») et ne tient pas compte de laosition parmi les auteurs. De plus, il favorise considéra-lement les disciplines à la mode à fort taux de citationar rapport aux disciplines plus confidentielles, dont à laois l’impact factor et le nombre de citations n’atteindrontas les scores de certaines revues de médecine interneNew Engl J Med, Lancet, JAMA) ou de disciplines telles’immunologie, la génétique ou l’oncologie.

L’absence de correspondance entre les disciplines scien-ifiques de l’Institute for Scientific Information de Thomsoncientific et les sous-sections du Conseil national des uni-ersités francaises est également une limite de l’outil. Ainsi,our les revues n’appartenant pas exclusivement à une disci-line, le calcul de la catégorie SIGAPS dépend des multiplesisciplines dans lesquels le journal est affecté. Ce calculeut avoir un impact sur la catégorie finale, éventuellementon représentative de la reconnaissance de la revue par laommunauté scientifique d’une discipline.

Dans un objectif purement comptable, il pourrait êtrelus efficace pour les auteurs de viser directement un jour-al facile d’accès, en francais, indexé dans la base Medline,vec un article de format court (cas clinique), ce qui est enontradiction avec un objectif d’excellence de la recherche8,9]. C’est d’ailleurs pour cette raison qu’on est passé d’uncore additif à un score multiplicatif, qui encourage la publi-ation en bonne place dans les revues à fort impact dansa discipline, plutôt que dans des revues confidentielles enrancais. Une évaluation toute récente montre qu’au CHU deouen, il y a de fait une corrélation inverse entre le scoreIGAPS et la proportion d’articles publiés en francais [10].

Les publications multicentriques sont finalement plusnéreuses pour la collectivité car chaque établissement seranancé en fonction du meilleur rang de signature de sesuteurs, ce qui amène à une réflexion sur la distribution deslaces dans les rangs de signatures.

Enfin, dans son utilisation actuelle en France, la valo-isation des publications n’est effective que pour lestablissements de santé ayant accès à la valorisation

ERRI variable, c’est-à-dire les CHU et quelques établis-

ements hospitaliers non universitaires, cette valorisationtant conditionnée par un seuil minimal de production, de

[

C. Derancourt et al.

00 000 euros en 2012, revu annuellement. Ces notions deeuil, relevant d’une politique nationale et d’une volontée ne pas « saupoudrer » l’argent de la recherche, pour-aient être sujettes à discussion, pour ce point précis denancement d’aval de la recherche, sur résultats.

Malgré ces limites, l’outil SIGAPS représente un outil ori-inal d’estimation de la production de publications indexéesedline, de conception francaise, de bonne reproductibi-

ité [11], aux applications nombreuses. Il a notamment étédopté par la grande majorité des sous-sections du Conseilational des universités francaises dans l’évaluation des can-idats aux fonctions de professeur des universités, et il esttilisé dans des évaluations d’ensemble d’hôpitaux ou depécialités [12—14]. Il reste cependant dans ces cas à bienéfinir la période d’application : un score SIGAPS ne peut’interpréter qu’accompagné de la période sur laquelle il até calculé. Pour les chercheurs, plus qu’un score cumulé oubsolu, ce sera probablement la variation au cours du tempse ce score qui donnera la meilleure vision de l’activité deecherche passée, lorsque le mode de calcul du score seratabilisé.

éclaration d’intérêts

es auteurs n’ont pas transmis de déclaration de conflits’intérêts.

éférences

[1] Devos P, Dufresne E, Renard JM, Beuscart R. SIGAPS: a proto-type of bibliographic tool for medical research evaluation. StudHealth Technol Inform 2003;95:721—6.

[2] Devos P, Lefranc H, Dufresne E, Beuscart R. From bibliome-tric analysis to research policy: the use of SIGAPS in LilleUniversity Hospital. Stud Health Technol Inform 2006;124:543—8.

[3] Devos P. De la bibliométrie au financement : le logiciel SIGAPS.J Neuroradiol 2008;35:31—3.

[4] Seglen PO. Why the impact factor of journals should not beused for evaluating research. Br Med J 1997;314:497.

[5] Brown H. How impact factors changed medical publishing-andscience. Br Med J 2007;334:561—4.

[6] Saha S, Saint S, Christakis DA. Impact factor: a valid measureof journal quality? J Med Libr Assoc 2003;91:42—6.

[7] Hirsch JE. An index to quantify an individual’s scienti-fic research output. Proc Natl Acad Sci U S A 2005;102:16569—72.

[8] Mancini J, Darmoni S, Chaudet H, Fieschi M. The paradoxof bibliometric activity-based funding (T2A) SIGAPS: a risk ofdeleterious effects on French hospital research? Presse Med2009;38:174—6.

[9] Sabourin JC, Darmoni S. Avec le score SIGAPS : c’est lemoment de publier dans les Annales de Pathologie. Ann Pathol2008;28:77—8.

10] Griffon N, Devos P, Gehanno JF, Darmoni SJ. Existe-t-il une cor-rélation entre le score SIGAPS et les publications en francais ?Presse Med 2012;41:e432—5.

11] Darmoni SJ, Ladner J, Devos P, Gehanno JF. Robustesse du scoreSIGAPS, critère bibliométrique pour valoriser les publications

12] Lefèvre JH, Faron M, Drouin SJ, Glanard A, Chartier-KastlerE, Parc Y, et al. Évaluation comparative et objective de laproduction scientifique des services hospitaliers au sein de

ues :

[14] Rouprêt M, Drouin SJ, Faron M, Glanard A, Bitker MO, Richard

Modèle de valorisation des publications médicales scientifiq

l’Assistance Publique—Hôpitaux de Paris : analyse des scores

SIGAPS. Rev Med Interne 2013;34:342—8.

[13] Ruffion A, Descotes JL, Kleinclauss F, Zerbib M, Dore B, SaussineC, et al. Is SIGAPS score a good evaluation criteria for universitydepartments? Prog Urol 2012;22:195—6.

le logiciel SIGAPS 535

F, et al. Analysis of the bibliometrics score of surgical depart-ment from the academic hospitals of Paris: what is the rank ofurology? Prog Urol 2012;22:182—8.