La science, la cité

Ce très beau titre est emprunté à  Peter Lawrence, auteur de l'article "The mismeasurement of science" paru dans un numéro récent (août 2007) de la revue Current Biology. Un article qui, ouvrant sur la citation anthologique de Leà³ Szilà¡rd, ne peut pas être foncièrement mauvais…

Par contre, il sera nécessairement militant. C'est effectivement une charge contre le fonctionnement actuel de la recherche scientifique et en particulier l'évaluation des chercheurs. Lawrence hait le facteur d'impact et les indicateurs de production de la recherche. Nonobstant le fait que ceux-ci ne sont qu'un moyen d'évaluation parmi d'autres, je me permets de remettre ici quelques pendules à  l'heure :

• oui, c'est l'impact des revues où publient les chercheurs qui est mesuré avant tout, et non l'impact de leurs articles eux-mêmes. Parce que cette seconde donnée est plus difficile à  obtenir et que la première en fournit une bonne approximation. Surtout, parce que c'est une évaluation statistique valable à  une échelle macroscopique qui ne devrait jamais s'appliquer telle quelle à  un chercheur X ou Y^[1]. Alors, l'exemple de l'article qui s'est avéré faux mais a été publié dans une "bonne" revue et rapportera un bon poste ne devrait jamais être rencontré : les indicateurs quantitatifs ne sont pas destinés à  remplacer l'examen en détail du CV de leurs candidats ;
• oui, l'index de Hirsch (h-index, qui vaut n si j'ai publié au moins n articles cités n fois) est une exception en ce qu'il s'intéresse aux articles eux-mêmes et se calcule chercheur par chercheur. Avec des bémols cependant… Même chose pour les facteurs d'usage ;
• non, les indicateurs de citation ne sont pas des mesures de l'importance ou de la pertinence d'une recherche mais de sa visibilité. Je répète : plus un article est visible plus il sera cité, et vice-versa, et c'est tout ! La visibilité est parfois corrélée à  des avancées importantes mais elle l'est aussi à  des controverses, des articles étonnants ou des revues de littérature.

Un grand moment de l'article est la réflexion de l'auteur sur ses propres pratiques de citation : parmi les 48 références d'un de ses articles, seules huit sont adéquates au sujet de l'article alors que trois sont fautives et 37 sont fortuites (tout autre article similaire aurait pu être cité à  la place). Et l'auteur pointe avec justesse la question de l'hyper-cosignature et de la tendance à  mettre son nom partout, que l'on soit proche ou non des travaux publiés, ainsi que la cascade des refus qui veut que l'on soumette d'abord son manuscrit à  Nature puis à  Cell avant le Journal of Plant Science et le Bulletin of Cellular Plant Studies : mes lecteurs peuvent-ils confirmer ou infirmer cette pratique ?

Alors oui, les critiques de Lawrence sont justes et il arrive à  synthétiser certains problèmes que rencontre actuellement la recherche (je n'ai rien dit sur les défauts du peer-review, le manque d'un code éthique etc.). Mais elles sont parfois exagérées parce qu'il prend les indicateurs au pied de la lettre, comme d'ailleurs la plupart de ceux qui les produisent ou les commanditent. Vivement un usage éclairé des indicateurs de recherche !

Le commentaire de blop demande une réponse détaillée, je m'exécute donc dans un billet à  part... d'autant qu'on reste dans le thème de cette série !

Voici donc ce qu'écrit blop :

Bibliographie (où l'on cite les collègues pour ne pas les fâcher et les rapporteurs pour être bien vu)
Ca c'est du Latour tout craché ! La bibliographie ne servirait qu'à  faire étalage de son réseau et à  se reporter à  d'autres boîtes noires.
Mais ce n'est jamais qu'une partie marginale de la bibliographie. 1 ou 2 articles ajoutés à  la fin pour des raisons "politiques". Mais le gros de la biblio consiste à  replacer la recherche dans un contexte (scientifique, pas amical), à  rendre à  César ce qui appartient à  Jules, à  permettre au lecteur qui veut aller plus loin d'aller plus loin. Parce que si j'écris "17% des titres des articles comportent plus de 30 mots", sans détail ni citation, n'importe quel lecteur DOIT se demander "il le sort d'où ce chiffre ?".

D'abord non, ce n'est pas Latour tout craché mais bien moi qui ai ajouté ce commentaire perfide dans un billet étiqueté "humour". Latour, lui, considère non pas ces raisons bassement politiques mais le fait qu'en citant des résultats antérieurs, un chercheur "consolide sa forteresse", il multiplie les obstacles que doit franchir celui qui cherchera à  le contredire. A l'inverse de Robert Merton qui voit dans les citations un système de récompense envers ses pairs^[1], Latour y voit donc d'abord un procédé rhétorique, avec un très fort effet de réel :

La présence ou l'absence de références, de citations et de notes de bas de page est un signe si sûr du sérieux d'un texte que l'on peut en partie transformer un fait en fiction ou une fiction en fait simplement en retranchant ou en ajoutant des références.^[2]

En fait, il n'existe pas, à  l'heure actuelle, de "théorie de la citation". Certains comportement nous échappent, surtout qualitativement (pour le quantitatif, on l'a déjà  vu, l'effet Matthieu et l'obsolescence rapide jouent à  plein). Comment expliquer par exemple le choix entre deux références très semblables quand il faut n'en citer qu'une ? Quand est-ce qu'une citation est pertinente et quand est-ce qu'elle ne l'est pas ? Pourquoi seuls 20% des auteurs qui citent un article l'ont lu^[3] ? Pourquoi certaines références sont-elles omises, soit parce qu'un résultat ou concept est devenu suffisamment connu (phénomène que l'on nomme "oblitération par incorporation"), soit parce que des raisons personnelles nous y poussent ? Bruno Latour^[4] donne l'exemple suivant :

Comme Pierre [Kernowicz] est chez Pincus et publie dans un bon journal, on ne peut se permettre d'utiliser ses travaux sans le citer, ainsi que ses lecteurs auraient pu le faire si l'auteur avait été un Français de France ou un Japonais du Japon.

Bref, comme l'écrit Eugene Garfield^[5] (le père du Science Citation Index et de l'analyse de citations) :

I often quoted Lewis Carroll’s "Humpty Dumpty" to express the ambiguous nature of words and citations. When I use a term it means just what I want it to mean - nothing more or less. And so when you use a cited reference (citation), it also means what you want it to mean. A citation is generally more precise than words, but its meaning is ambiguous nevertheless.

Quant aux tentatives de citer pour flatter ou, à  la demande du rédacteur en chef, de citer préférentiellement des articles de la revue (auto-citations), ce sont bien des pratiques qui existent. Un article du Wall Street Journal^[6] rapportait en juin 2006 quelques mauvaises pratiques destinées à  augmenter artificiellement le facteur d'impact. Parmi elles, on trouve bien l'auto-citation, comme l'illustre le World Journal of Gastroenterology qui a été exclu du classement de Thomson/ISI parce que 85% des citations de ses articles étaient des auto-citations et que peu d'autres revues le citaient. A l'inverse, on trouve des revues qui font en sorte de citer le moins possible leurs concurrents directs, comme le Journal of Telemedecine and Telecare qui cite moins Telemedecine and e-Health que celui-ci ne le cite.

P.S Ce billet a le plus grand nombre de citations de tous mes billets. Posez-vous la question : qu'est-ce qui a motivé chacune d'entre elles ? Vous verrez que la réponse n'est pas si facile...