Ce très beau titre est emprunté à  Peter Lawrence, auteur de l'article "The mismeasurement of science" paru dans un numéro récent (août 2007) de la revue Current Biology. Un article qui, ouvrant sur la citation anthologique de Leà³ Szilà¡rd, ne peut pas être foncièrement mauvais…

Par contre, il sera nécessairement militant. C'est effectivement une charge contre le fonctionnement actuel de la recherche scientifique et en particulier l'évaluation des chercheurs. Lawrence hait le facteur d'impact et les indicateurs de production de la recherche. Nonobstant le fait que ceux-ci ne sont qu'un moyen d'évaluation parmi d'autres, je me permets de remettre ici quelques pendules à  l'heure :

  • oui, c'est l'impact des revues où publient les chercheurs qui est mesuré avant tout, et non l'impact de leurs articles eux-mêmes. Parce que cette seconde donnée est plus difficile à  obtenir et que la première en fournit une bonne approximation. Surtout, parce que c'est une évaluation statistique valable à  une échelle macroscopique qui ne devrait jamais s'appliquer telle quelle à  un chercheur X ou Y[1]. Alors, l'exemple de l'article qui s'est avéré faux mais a été publié dans une "bonne" revue et rapportera un bon poste ne devrait jamais être rencontré : les indicateurs quantitatifs ne sont pas destinés à  remplacer l'examen en détail du CV de leurs candidats ;
  • oui, l'index de Hirsch (h-index, qui vaut n si j'ai publié au moins n articles cités n fois) est une exception en ce qu'il s'intéresse aux articles eux-mêmes et se calcule chercheur par chercheur. Avec des bémols cependant… Même chose pour les facteurs d'usage ;
  • non, les indicateurs de citation ne sont pas des mesures de l'importance ou de la pertinence d'une recherche mais de sa visibilité. Je répète : plus un article est visible plus il sera cité, et vice-versa, et c'est tout ! La visibilité est parfois corrélée à  des avancées importantes mais elle l'est aussi à  des controverses, des articles étonnants ou des revues de littérature.

Un grand moment de l'article est la réflexion de l'auteur sur ses propres pratiques de citation : parmi les 48 références d'un de ses articles, seules huit sont adéquates au sujet de l'article alors que trois sont fautives et 37 sont fortuites (tout autre article similaire aurait pu être cité à  la place). Et l'auteur pointe avec justesse la question de l'hyper-cosignature et de la tendance à  mettre son nom partout, que l'on soit proche ou non des travaux publiés, ainsi que la cascade des refus qui veut que l'on soumette d'abord son manuscrit à  Nature puis à  Cell avant le Journal of Plant Science et le Bulletin of Cellular Plant Studies : mes lecteurs peuvent-ils confirmer ou infirmer cette pratique ?

Alors oui, les critiques de Lawrence sont justes et il arrive à  synthétiser certains problèmes que rencontre actuellement la recherche (je n'ai rien dit sur les défauts du peer-review, le manque d'un code éthique etc.). Mais elles sont parfois exagérées parce qu'il prend les indicateurs au pied de la lettre, comme d'ailleurs la plupart de ceux qui les produisent ou les commanditent. Vivement un usage éclairé des indicateurs de recherche !

Notes

[1] Pour citer Michel Zitt, de l'OST : Le physicien et historien des sciences, D. de Solla Price, voyait la bibliométrie, dont il était un père fondateur, comme une approche essentiellement statistique et soulignait qu'il ne s'intéressait pas aux cas individuels. Même s'il faut souvent descendre au niveau individuel pour faire de l'évaluation bibliométrique (en raison notamment de la forme des distributions statistiques, par exemple certains individus particulièrement visibles dans leur domaine « préemptent » une grande partie des citations et influent fortement les indicateurs), celle-ci n'a pas grand-chose à  apporter à  l'évaluation individuelle.