Trois responsables de revues scientifiques viennent de prendre la plume pour critiquer et dénoncer le facteur d'impact. Encore, me direz-vous. Mais je passerai sur les critiques les moins pertinentes[1] pour m'attarder sur le cœur de leur article : la qualité et la transparence des données de Thomson Scientific, l'entreprise qui publie annuellement le Journal Citation Reports.

Car je le soulignais ailleurs, l'intérêt du facteur d'impact, au-delà  de ses usages abusifs et pas toujours éclairés, c'est sa transparence : les règles du jeu sont connues à  l'avance et les chercheurs savent sur quelle base ils sont évalués. Ce qui nous change du copinage, localisme et autres barbarismes académiques. Sauf que si les données sont inaccessibles et opaques, comme le racontent les auteurs, cet intérêt est perdu. En fait, ils ont essayé d'obtenir une version du Science Citation Index pour, notamment, comprendre et comparer l'impact facteur de leurs revues avec ceux des "concurrents". Manque de chance, la base de données fournie n'est pas celle qui sert au calcul, et les résultats obtenus à  la main ne collaient pas avec ceux publiés dans le Journal Citation Reports. Ils ont réclamé la version qui fait foi, en vain. La conclusion s'impose d'elle-même : Quand un auteur n'est pas capable de fournir des données originales pour vérifier un chiffre dans un des articles qui nous est soumis, nous n'acceptons pas sa publication. Nous espérons que ce compte-rendu convaincra quelques chercheurs et organismes de financement de ne plus accepter le facteur d'impact comme représentation exacte de la qualité — ou de l'impact — d'un article publié dans un journal donné.

Que cette déficience de Thomson Scientific soit temporaire ou permanente, la question des données n'en reste pas moins cruciale. Car au même moment, un spécialiste de bibliométrie publiait sur son site un article à  paraître en 2008 : "Caveats for the use of citation indicators in research and journal evaluations". Celui-ci s'attarde notamment sur les erreurs dans le recensement des revues, qui fait que J Phs Chem-US est compté alternativement comme J Phys Chem A ou J Phys Chem B, recueillant donc deux fois moins de citations, et qu'à  l'inverse, Angewandte Chemie est surévalué de 21,5% parce que la version allemande de la revue est souvent citée en même temps que sa version internationale !

Alors oui, un audit des données de Thomson Scientific ne serait pas de trop, voire une vraie tentative de construction d'une base et d'un indicateur concurrents (comme SCImago), afin de forcer Thomson Scientific à  la transparence.

Notes

[1] Comme le fait que les citations des articles rétractés sont quand même comptabilisées. Bien-sûr ! Le facteur d'impact ne mesure que la visibilité et l'on ne voudrait pas nier que l'article de Hwang a fait l'effet d'un électrochoc dans la communauté scientifique, si ?