La mal-mesure de la science
23
oct.
2007
Ce très beau titre est emprunté à Peter Lawrence, auteur de l'article "The mismeasurement of science" paru dans un numéro récent (août 2007) de la revue Current Biology. Un article qui, ouvrant sur la citation anthologique de Leà³ Szilà¡rd, ne peut pas être foncièrement mauvais…
Par contre, il sera nécessairement militant. C'est effectivement une charge contre le fonctionnement actuel de la recherche scientifique et en particulier l'évaluation des chercheurs. Lawrence hait le facteur d'impact et les indicateurs de production de la recherche. Nonobstant le fait que ceux-ci ne sont qu'un moyen d'évaluation parmi d'autres, je me permets de remettre ici quelques pendules à l'heure :
- oui, c'est l'impact des revues où publient les chercheurs qui est mesuré avant tout, et non l'impact de leurs articles eux-mêmes. Parce que cette seconde donnée est plus difficile à obtenir et que la première en fournit une bonne approximation. Surtout, parce que c'est une évaluation statistique valable à une échelle macroscopique qui ne devrait jamais s'appliquer telle quelle à un chercheur X ou Y[1]. Alors, l'exemple de l'article qui s'est avéré faux mais a été publié dans une "bonne" revue et rapportera un bon poste ne devrait jamais être rencontré : les indicateurs quantitatifs ne sont pas destinés à remplacer l'examen en détail du CV de leurs candidats ;
- oui, l'index de Hirsch (h-index, qui vaut n si j'ai publié au moins n articles cités n fois) est une exception en ce qu'il s'intéresse aux articles eux-mêmes et se calcule chercheur par chercheur. Avec des bémols cependant… Même chose pour les facteurs d'usage ;
- non, les indicateurs de citation ne sont pas des mesures de l'importance ou de la pertinence d'une recherche mais de sa visibilité. Je répète : plus un article est visible plus il sera cité, et vice-versa, et c'est tout ! La visibilité est parfois corrélée à des avancées importantes mais elle l'est aussi à des controverses, des articles étonnants ou des revues de littérature.
Un grand moment de l'article est la réflexion de l'auteur sur ses propres pratiques de citation : parmi les 48 références d'un de ses articles, seules huit sont adéquates au sujet de l'article alors que trois sont fautives et 37 sont fortuites (tout autre article similaire aurait pu être cité à la place). Et l'auteur pointe avec justesse la question de l'hyper-cosignature et de la tendance à mettre son nom partout, que l'on soit proche ou non des travaux publiés, ainsi que la cascade des refus qui veut que l'on soumette d'abord son manuscrit à Nature puis à Cell avant le Journal of Plant Science et le Bulletin of Cellular Plant Studies : mes lecteurs peuvent-ils confirmer ou infirmer cette pratique ?
Alors oui, les critiques de Lawrence sont justes et il arrive à synthétiser certains problèmes que rencontre actuellement la recherche (je n'ai rien dit sur les défauts du peer-review, le manque d'un code éthique etc.). Mais elles sont parfois exagérées parce qu'il prend les indicateurs au pied de la lettre, comme d'ailleurs la plupart de ceux qui les produisent ou les commanditent. Vivement un usage éclairé des indicateurs de recherche !
Notes
[1] Pour citer Michel Zitt, de l'OST : Le physicien et historien des sciences, D. de Solla Price, voyait la bibliométrie, dont il était un père fondateur, comme une approche essentiellement statistique et soulignait qu'il ne s'intéressait pas aux cas individuels. Même s'il faut souvent descendre au niveau individuel pour faire de l'évaluation bibliométrique (en raison notamment de la forme des distributions statistiques, par exemple certains individus particulièrement visibles dans leur domaine « préemptent » une grande partie des citations et influent fortement les indicateurs), celle-ci n'a pas grand-chose à apporter à l'évaluation individuelle.
Commentaires
Intéressant billet, et point de vue tout à fait raisonnable de son auteur...
Au passage, je me demandais si le facteur d'impact de la revue ne pouvait pas donner une estimation statistique de l'impact futur d'un article donné, alors que l' évaluation individuelle que Lawrence appelle de ses voeux ne pourrait par construction que prendre en compte l'impact passé.
Pour la "cascade des revues", je peux confirmer. J'aurais voulu écrire un billet dessus, où l'on apprendrait le genre de blague qui circule parmi les chercheurs: "Tu soumet à PNAS? Paper Not Accepted in Science?". Ceci dit, je crois que la plupart des chercheurs sont conscients de la portée de leur travaux, et commencent par des revues où ils ont les meilleures chance de passer. Il faut beaucoup de foi dans son manuscrit pour commencer par Nature ou Science à chaque fois!
En premier Cell et seulement ensuite Nature !
Tout d'abord un bemol sur le debut de l'article : la comparaison avec la musique n'est pas pertinente. Elle le serait si les radios en questions n'etaient ecoutees que par des musiciens. On selectionnerait plutot ce qui sort de l'IRCAM que les chants de noel... Faudra lui envoyer qq bouquin de Bourdieu pour qu'il integre la notion de champs :-)
Non on ne perd pas notre temps a soumettre a Cell puis Nature puis Science puis PLOS puis... tous les articles. On a une idee approximative de la "valeur" de l'article, ce qui permet de determiner une fourchette de revues. On commence par le haut du panier puis on descend.
Est-ce mal de vouloir etre visible ? Je pourrais publier mes articles dans le journal de mon departement. Mais si je publie c'est pour faire connaitre mes resultats, pas pour dire "j'ai publie 343 articles". Donc effectivement, je cherche a donner de la visibilite a mes recherches, en publiant dans des revues qui sont les plus lues et en allant a des conferences.
Benjamin >
: tout à fait, puisque le facteur d'impact d'une revue est l'espérance (en probabilité) du nombre de citations qu'un article publié dans cette revue recevra dans les deux ans. Le facteur d'impact a donc une visée de prévision que ne possèdent pas leur autres indicateurs. Sauf qu'en pratique, la distribution des citations est très asymétrique et quelques articles fortement cités sont responsables d'une grande partie du facteur d'impact. Donc tu as toutes les chances d'être moins cité que celui-ci… Et merci pour le jeu de mot (ou rétro-acronyme), je ne connaissais point ! ^^Scope > Oui, j'imagine que dans certaines disciplines c'est ainsi.
1) Benjamin a fait un lapsus intéressant entre "refus" et "revues".
2) Le "très beau titre" ne doit-il pas sa parenté à "The Mis-Measure of Man" (Stephen Jay Gould IIRC) ?
Merci François, j'ai fait une boulette, pas besoin de l'écrire deux fois ^^ sincèrement, j'avais lu "cascade des revues", ce qui est un lapsus des yeux assez intéressant; il me semble que le sens est conservé d'une formulation à l'autre, non? Comme dit Blop, cette cascade est en pratique limitée à quelques revues, sans quoi on y passe sa vie.
... mais je crois comprendre que nous avons ici beaucoup d'eucaryotistes corrompus jusqu'à la moelle qui publient (ou aimeraient publier) dans Cell plutôt que Nature!
Fr. > Si si, Gould, bien sûr ! Que serait-on sans Gould ? ^^
Personnellement, je suis d'accord avec une des conclusions: le facteur d'impact des revues ne reflète que la visibilité. En ce qui concerne le facteur d'impact des publications, si je me réfère aux miennes, il y a peu de relation entre le nombre de citations et leur importance pour moi. La seule corrélation très claire est la durée dans le temps avec des citations tardives (plus de 5 ans) nombreuses.
Il me paraît évident (mais non prouvé) que la publication dans une revue de haut facteur d'impact augmente le nombre de citations, ce qui naturellement relativise les écarts de facteurs d'impacts entre les articles des revues prestigieuses et les autres. Je soumets donc mes articles d'abord aux revues prestigieuses, tout en m'attendant à des refus.
Je pense que la bibliométrie est nuisible pour la mesure de l'activité individuelle et qu'elle doit avant tout être utilisée pour évaluer les grandes structures, sous forme de rendement, où l'on tient compte des moyens financiers et humains mis en oeuvre. Naturellement cette évaluation des structures doit être répercutée sur l'activité individuelle, mais elle peut alors l'être intelligemment.
Beau papier. Merci de signaler cet article. Une bonne critique du facteur d'impact a été publiée dans Monastersky R. (2005). « The Number That's Devouring Science », The Chronicle of Higher Education, vol. 52, nº 8, p. A12: accesible sur http://chronicle.com/free/v52/i08/08a01201.htm.
La lutte contre la bibliométrie individuelle serait-elle enfin à l'ordre du jour?
voir aussi http://www.sauvonslarecherche.fr/spip.php?article1633