Facteur d'impact, des données en question
21
déc.
2007
Trois responsables de revues scientifiques viennent de prendre la plume pour critiquer et dénoncer le facteur d'impact. Encore, me direz-vous. Mais je passerai sur les critiques les moins pertinentes[1] pour m'attarder sur le cœur de leur article : la qualité et la transparence des données de Thomson Scientific, l'entreprise qui publie annuellement le Journal Citation Reports.
Car je le soulignais ailleurs, l'intérêt du facteur d'impact, au-delà de ses usages abusifs et pas toujours éclairés, c'est sa transparence : les règles du jeu sont connues à l'avance et les chercheurs savent sur quelle base ils sont évalués. Ce qui nous change du copinage, localisme et autres barbarismes académiques. Sauf que si les données sont inaccessibles et opaques, comme le racontent les auteurs, cet intérêt est perdu. En fait, ils ont essayé d'obtenir une version du Science Citation Index pour, notamment, comprendre et comparer l'impact facteur de leurs revues avec ceux des "concurrents". Manque de chance, la base de données fournie n'est pas celle qui sert au calcul, et les résultats obtenus à la main ne collaient pas avec ceux publiés dans le Journal Citation Reports. Ils ont réclamé la version qui fait foi, en vain. La conclusion s'impose d'elle-même : Quand un auteur n'est pas capable de fournir des données originales pour vérifier un chiffre dans un des articles qui nous est soumis, nous n'acceptons pas sa publication. Nous espérons que ce compte-rendu convaincra quelques chercheurs et organismes de financement de ne plus accepter le facteur d'impact comme représentation exacte de la qualité — ou de l'impact — d'un article publié dans un journal donné.
Que cette déficience de Thomson Scientific soit temporaire ou permanente, la question des données n'en reste pas moins cruciale. Car au même moment, un spécialiste de bibliométrie publiait sur son site un article à paraître en 2008 : "Caveats for the use of citation indicators in research and journal evaluations". Celui-ci s'attarde notamment sur les erreurs dans le recensement des revues, qui fait que J Phs Chem-US est compté alternativement comme J Phys Chem A ou J Phys Chem B, recueillant donc deux fois moins de citations, et qu'à l'inverse, Angewandte Chemie est surévalué de 21,5% parce que la version allemande de la revue est souvent citée en même temps que sa version internationale !
Alors oui, un audit des données de Thomson Scientific ne serait pas de trop, voire une vraie tentative de construction d'une base et d'un indicateur concurrents (comme SCImago), afin de forcer Thomson Scientific à la transparence.
Notes
[1] Comme le fait que les citations des articles rétractés sont quand même comptabilisées. Bien-sûr ! Le facteur d'impact ne mesure que la visibilité et l'on ne voudrait pas nier que l'article de Hwang a fait l'effet d'un électrochoc dans la communauté scientifique, si ?
Commentaires
Bonjour
Je me demande de plus en plus, si ce qui manque n'est pas un système totalement ouvert, un peu à la wikipedia, ou chacun peut mettre ses citations, avec un lien vers la publication électronique. Ensuite, avec cette bdd publique, on pourra calculer différents facteurs. Bien sûr, je ne dis pas que ce sera parfait, je dis simplement que le biais introduit par les donneés pourra être mieux pris en compte et corrigé. Celui sur les indices, c'est autre chose.
celui > Comme getCITED ? Effectivement, c'est une voie à creuser (qui possède l'avantage de pouvoir traiter les livres aussi bien que les articles). Mais propriétaire ou non, un index automatisé devrait pouvoir fonctionner avec un très faible taux d'erreur si l'on part du principe que les citations (format, exactitude) sont vérifiées avant publication...
sur le meme sujet http://bjoern.brembs.net/news.php?item.289
On y apprend notamment que les revues negocient avec Thomson scientific...
Je crois comprendre qu'un des gros problèmes vient des articles de revues: un gros article de revue avec plusieurs dizaines de références va être très cité alors qu'un News and Views n'est pratiquement jamais cité. Donc, il est nécessaire que les revues et ISI déterminent ensemble de manière rigoureuse quel type d'article doit être pris en compte.
Très intéressant. J'imagine qu'aujourd'hui avec Google Scholar et autres moteurs de recherches scientifiques, on devrait pouvoir facilement court-circuiter Thomson Scientific et créer des petits programmes pour calculer le facteur d'impact à l'image de ce petit programme pour calculer l'index de Hirsch : http://www-ihm.lri.fr/~roussel/moulinette/h/h.cgi.
@PAC Pour l'index de Hirsch, ce n'est pas évident si vous vous appelez Martin ou Smith.
blop > Merci pour le lien. Même si je ne partage pas la haine de ce chercheur : ses articles dans la base getCITED que je mentionnais plus haut.
;-) Lequel indexe d'ailleurs lui-mêmewoody > Effectivement, les articles de type "review" sont favorisés par construction. Ce qui favorise certains journaux. C'est logique quand certaines "reviews" deviennent effectivement des milestones, ça l'est peut-être moins quand on cite une "review" pour ne pas avoir à citer douze articles séparés. Mais bon, là encore, les règles du jeu sont claires (à défaut d'être connues)... Ce qui n'est pas le cas, par exemple, du choix des articles considérés comme citables (le dénominateur), qui se fait au cas par cas et souvent après négociation comme l'indiquait blop. Bref, ma conclusion : mieux vaut critiquer le facteur d'impact là où il est réellement critiquable et faillible que pour son inadéquation à coller aux propres critères du "bon article" des chercheurs...
Intéressant bien que peu surprenant. Je me demande même si je n'avais pas déjà vu passer des critiques dans un rapport de l'Inist sur la question de l'opacité des données collectées.
Marin Dacos de Revues.org a commencé une série de billets sur l'évaluation de l'information scientifique (1 et surtout le 2 sur la faiblesse des enquêtes) qui devrait compléter votre propos.