La science, la cité

Aller au contenu | Aller au menu | Aller à la recherche

Mot-clé : scientométrie

Fil des billets - Fil des commentaires

Le "publish or perish", coupable idéal de la fraude scientifique

Toujours à propos de la fraude scientifique, un discours omniprésent ces derniers mois n’a de cesse de m’agacer : le fait de mettre la hausse des cas de fraude sur le dos de la pression à la publication, le fameux “publish or perish”.

La pression à la publication est un coupable idéal mais je tiens à rétablir son innocence ! Le raisonnement semble logique : à trop demander des résultats aux chercheurs, on les pousse à s’affranchir des règles de bonne conduite et à plagier, à fabriquer ou falsifier des résultats… Et pourtant, c’est démenti par une étude intitulée on ne peut plus explicitement “Misconduct Policies, Academic Culture and Career Stage, Not Gender or Pressures to Publish, Affect Scientific Integrity”. Ses auteurs ne sont pas des inconnus : l’un, Vincent Larivière, est spécialiste de scientométrie (l’étude de la dynamique scientifique à partir des publications) ; l’autre, Daniele Fanelli, de méta-revues et d’éthique de la recherche.

Qu’ont-ils montré exactement ? Par une étude multifactorielle de 611 articles rétractés (suite à une fraude) et 2226 articles ayant fait l’objet d’un erratum (suite à une erreur honnête) en 2010-2011, ils ont corrélé la probabilité des premiers et derniers auteurs de frauder ou d’être intègre respectivement, avec des facteurs de risque psychologiques, sociologiques et structurels :

journal.pone.0127556.t001.PNG

Ils concluent que le sexe des auteurs n’est pas statistiquement significatif, que la fraude a plus de risque de se produire dans les pays qui n’ont pas de code de conduite, où la critique des pairs l’emporte sur le respect de l’autorité, où la performance est rétribuée financièrement, et au début de la carrière des chercheurs. La probabilité de frauder étant plus faible dans les pays où la performance de publication détermine l’évolution de carrière et le financement de la recherche, ils concluent que the widespread belief that pressures to publish are a major driver of misconduct was largely contradicted: high-impact and productive researchers, and those working in countries in which pressures to publish are believed to be higher, are less-likely to produce retracted papers, and more likely to correct them.

Les mêmes auteurs ont remis le couvert il y a quelques mois en montrant que le taux de publication individuel des chercheurs n’avait pas augmenté depuis un siècle. Ce qui a augmenté c’est le nombre d’article en collaboration, mais quand on compte chaque article comme une fraction du nombre d’auteurs de l’article alors l’effet disparaît. Par conséquent : the widespread belief that pressures to publish are causing the scientific literature to be flooded with salami-sliced, trivial, incomplete, duplicated, plagiarized and false results is likely to be incorrect or at least exaggerated.

journal.pone.0149504.g002.PNG

Je n’ai pas encore trouvé d’explication à la propagation de ce mythe, à part qu’il permet de blâmer les agences de financement et la culture de l’évaluation à tout va, dont beaucoup de chercheurs se passeraient bien volontiers…

Partage

Pourquoi la recherche est-elle inégalitaire ?

Yves Gingras était de passage hier au Centre Emile Durkheim de Bordeaux, pour un séminaire consacré aux dérives de l’évaluation de la recherche, et au mauvais usage de la bibliométrie (d’après le titre de son dernier ouvrage). Je vous épargne son argumentation, que vous retrouverez en bref sur le site de l’UQÀM ou en plus long dans une note de recherche ; mais le livre ne fait que 122 pages et coûte 8 €, je vous conseille donc fortement sa lecture !

Ce qui m’intéresse, c’est la réaction de la discutante apprenant que toutes les distributions bibliométriques sont de “type Pareto” et suivent une loi dite “80-20” : ainsi, 20% des chercheurs reçoivent 80% des citations et des financements. Quel choc ! Cette anthropologue, directrice de recherche au CNRS, n’arrivait pas à s’en remettre : ainsi, la science serait fondamentalement inégalitaire ? Où est passée la république des savants ? Le monde académique a-t-il besoin de cette structure pyramidale pour produire des énoncés scientifiquement pertinents ?

Yves Gingras entra alors dans l’explication due à Derek J. de Solla Price de la “distribution des avantages cumulés”. Celle-ci correspond au phénomène sociologique qui veut que la richesse entraîne la richesse, ce que constate la sagesse populaire qui affirme qu’on ne prête qu’aux riches ; phénomène portant le joli nom d’effet Matthieu (d’après l’évangile selon St Matthieu 25-29 : “Car on donnera à celui qui a et il sera dans l’abondance, mais à celui qui n’a pas, même ce qu’il a lui sera retiré”).

Ainsi, même si nous partons à peu près tous égaux en terme de capital scientifique, de faibles différences au démarrage vont s’amplifier par effet Matthieu et provoquer une importante stratification sociale. Je fis alors remarquer qu’on pourrait voir la masse anonyme des 80% de chercheurs comme des chercheurs besogneux, produisant de la “science normale” (dans le sens de Thomas Kuhn), consolidant le socle des connaissances, utiles sans faire de vagues.

Yves Gingras reconnut dans ma proposition l’hypothèse Ortega. D’après Wikipédia :

The Ortega hypothesis holds that average or mediocre scientists contribute substantially to the advancement of science. According to this hypothesis, scientific progress occurs mainly by the accumulation of a mass of modest, narrowly specialized intellectual contributions. On this view, major breakthroughs draw heavily upon a large body of minor and little-known work, without which the major advances could not happen.

Pourquoi “l’hypothèse Ortega” ? Parce que le philosophe Jose Ortega y Gasset écrivait dans son livre La rebelión de las masas (trad. anglaise The Revolt of the Masses, 1932) (je souligne) :

For it is necessary to insist upon this extraordinary but undeniable fact: experimental science has progressed thanks in great part to the work of men astoundingly mediocre, and even less than mediocre. That is to say, modern science, the root and symbol of our actual civilization, finds a place for the intellectually commonplace man and allows him to work therein with success. In this way the majority of scientists help the general advance of science while shut up in the narrow cell of their laboratory, like the bee in the cell of its hive, or the turnspit of its wheel.

Les auteurs de l’ouvrage “Social Stratification Science”, qui avait justement inspiré Derek J. de Solla Price, se sont notamment intéressé à l’hypothèse Ortega. Ils ont démontré en 1972 que celle-ci était fausse (mais leur démonstration, à base de calcul de citations, est discutable selon moi). Les implications politiques sont potentiellement énormes : les auteurs suggèrent qu’on pourrait réduire le nombre d’étudiants en doctorat et supprimer les formations doctorales des plus mauvaises universités sans que ça n’altère l’avancement des connaissances ! Mais en 1985, l’un des deux auteurs publia un article avec un économiste pour montrer que le nombre de chercheurs qui auront une contribution scientifique significative est directement proportionnel au nombre de personnes qui entament une carrière de chercheur. Dans ce cas, mieux vaut ne pas diminuer le nombre de doctorants et de chercheurs !

On pourrait poursuivre cette exégèse de l’hypothèse Ortega jusqu’à épuisement du sujet. Google Scholar recense seulement 17 articles qui lui sont consacrés : qui veut se lancer dans une review complète ?

Partage

Comment on compte les publications ?

Au détour d'une conversation anodine sur Twitter, une question posée par Tom Roud m'a interpellé : comment, demande-t-il, évalue-t-on les chercheurs sur des grosses expériences comme celles de la physique des hautes énergies (comme en ce moment au LHC). Pablo Achard a répondu côté "évaluation humaine" : être choisi pour représenter la collaboration lors d'une conférence, parmi la centaine d'autre co-signataires d'un article, est une reconnaissance de sa contribution individuelle. Le chercheur Jeremy Birnholtz, qui a étudié ce phénomène, confirme mais explique que d'autres facteurs jouent — par exemple la possibilité de distinguer deux niveaux d'auteurs : le niveau "infrastructural", lié à la conception des détecteurs et logiciels, récurrent dans la série d'articles issus d'un même appareillage ; et le niveau "découverte" différent pour chaque article, revendiqué par les auteurs qui peuvent défendre leurs résultats au niveau le plus fin.

Côté bibliométrie et comptage automatique des publications, la réponse est évidemment différente. En réalité, la façon dont les publications sont comptées n'est pas toujours bien connu. Laissez-moi vous expliquer les deux méthodes existantes :

  • on peut procéder à un compte fractionnaire, où chaque item possède un poids égal à 1, qui se répartit proportionnellement selon la ventilation choisie ; par exemple, si deux équipes japonaises et une équipe américaine co-publient un article, on comptera 2/3 pour le Japon et 1/3 pour les USA. Si cet article concerne de façon égale la microbiologie et la génétique, on comptera 2/6 pour le Japon dans la discipline "microbiologie" et autant dans la discipline "génétique". Ainsi de suite, à tous les niveaux et selon toutes les ventilations choisies (pays, institution, discipline etc.). Ce type de compte permet de raisonner en terme de contribution à la science mondiale ; il présente l'avantage d’être consolidable à toutes les échelles et sommable d’un niveau à un autre. Cependant, il a tendance à donner un poids plus faible à la participation à une publication très internationalisée ;
  • on peut sinon effectuer un compte de présence, où l'on compte 1 ou 0 selon que l’acteur est présent ou non. Dans notre exemple, cela revient à compter 1 pour le Japon en microbiologie et 1 en génétique, 1 pour les USA en microbiologie et 1 en génétique. Soit un poids total de l’article égal à 4. Ce type de compte suit une logique de participation à la science mondiale, puisqu'on s'intéresse non pas à une contribution relative mais à la présence ou à l’absence d’un acteur ; il présente l’avantage d’être plus immédiatement compréhensible pour le lecteur, notamment dans l’étude de liens bilatéraux entre acteurs où le nombre obtenu correspond directement au nombre de publications où coexistent les deux acteurs. Mais ce type de compte est très instable dans les changements d'échelle d’observation, si bien que l’on se retrouve fréquemment avec des sommes sur le monde des indicateurs pays supérieures à 100%.

Même s'il n'y a pas de pratique bonne ou mauvaise, vous aurez compris que le compte fractionnaire a l'avantage de lisser le poids des grosses collaborations. En pratique, on l'utilise plus pour les analyses macro, tandis que le compte de présence est prépondérant pour les analyses micro. Je vous renvoie à ce sujet à la note méthodologique de l'Observatoire des sciences et techniques.

Ma conclusion c'est que tous les indicateurs bibliométriques ne se valent pas et qu'il faut faire attention à la façon dont ils sont calculés — mais ça, vous le saviez déjà !

Partage

Qu'est-ce qu'un bon chercheur ?

Le bon chercheur il publie mais le mauvais chercheur il publie aussi. (Olivier Le Deuff)

La bibliométrie offre une mesure de la production et de la visibilité des chercheurs agrégées à un niveau macro comme l'institution, le pays, la discipline etc. Mais à force de reprises tronquées, on est arrivé à l'idée que 1) la bibliométrie permet d'évaluer les chercheurs individuellement et 2) qu'elle donne une mesure de leur qualité. D'où les critiques récurrentes comme quoi elle se plante totalement. Forcément, si on y met ce qu'on veut... Mais, pour le plaisir de l'argument, essayons d'imaginer une bibliométrie qui permettrait de mesure la qualité d'un chercheur. Quelles pistes s'offrent à nous ?

Hypothèse 0 : le bon chercheur c'est celui dont les pairs disent qu'il est un bon chercheur

Ca, c'est le schéma classique, le raisonnement pré-bibliométrique. On part du principe que seuls les pairs peuvent évaluer une recherche, dire si un chercheur est bon ou pas et si ce qu'il fait a 5 ans d'avance ou 10 ans de retard. Sauf qu'il faut pour cela des pairs bien informés sur l'état actuel de la recherche, si possible mondiale. Heureusement, on en trouve. Ensuite, il faut qu'ils puissent juger et rendre un verdict le plus objectif possible, sans être "parasités" par des considérations extérieures. C'est plus facile si l'on fait appel à des tiers neutres. Mais alors il faut qu'ils puissent se projeter dans la recherche qu'ils évaluent, qu'ils aient le temps d'en lire les articles et d'en saisir toutes les dimensions. Appliquez ça notamment aux SHS où la diversité des questions de recherche, des cas étudiés ("terrains") et des cadres théoriques fait que chaque chercheur travaille à peu près tout seul. C'est très difficile et imparfait. Mais prenez aussi les sciences dures où, comme l'expliquait Pierre Joliot, ce qu'un chercheur considère comme ses meilleurs articles sont souvent les plus originaux, les plus novateurs. Un pair évaluateur qui passerait en revue sa bibliographie s'arrêterait-il sur cette poignée d'articles encore incompris ou bien considèrerait-il que les autres sont les plus marquants ? Bien souvent, la recherche innovante et fertile est inévaluable au moment où elle se fait…

Hypothèse 1 : le bon chercheur c'est celui qui publie beaucoup

Comme l'ont montré Latour et Woolgar dans La vie de laboratoire, la publication d'articles est au cœur de l'activité du chercheur :

les acteurs reconnaissent que la production d'articles est le but essentiel de leur activité. La réalisation de cet objectif nécessite une chaîne d'opérations d'écriture qui vont d'un premier résultat griffonné sur un bout de papier et communiqué avec enthousiasme aux collègues, au classement de l'article publié dans les archives du laboratoire. Les nombreux stades intermédiaires (conférences avec projection, diffusion de tirés-à-part, etc.) ont tous un rapport sous une forme ou sous une autre avec la production littéraire.

Le bon chercheur, ce serait donc celui qui produit des résultats et qui arrive à publie beaucoup. Sauf que le paysage des revues scientifiques est un peu le monde des Bisounours et toute recherche (y compris de mauvaise qualité) peut se publier, même en passant par le filtre des "rapporteurs" — d'où la citation d'Olivier Le Deuff reproduite en-tête. Qui plus est, il est souvent facile de saucissonner son travail en un maximum d'articles, d'avoir quelques signatures de complaisance ou de participer à un programme de recherche en physique des hautes énergies qui vous assure une présence au firmament des auteurs.

Hypothèse 2 : le bon chercheur c'est celui qui est cité

Finalement, et c'est le principe de base de l'analyse des citations, un chercheur qui cite un autre chercheur donne une accolade qui prouve que l'article a été remarqué, qu'il a eu une vie après la publication. C'est la seule chose qu'on puisse affirmer avec certitude, mais la citation est ce qui se rapproche le plus d'une monnaie d'échange du capital scientifique et par extension de la qualité d'un chercheur. On peut donc penser que le bon chercheur c'est celui qui est cité. Mais que penser des articles frauduleux ou rétractés qui continuent d'être cités, des auto-citations qui permettent d'augmenter son score tout seul ou des citations qui viennent d'articles de seconde zone ? C'est pour ces raisons que les analyses de citation s'appuient essentiellement sur les données de Thomson Reuters (Science Citation Index), qui a des critères stricts d'inclusion des revues et de calcul des scores de citation. Mais cette base de données a un fort biais vers les revues anglo-saxonnes et ses critères de scientificité ne sont pas forcément partagés par tout le monde.

Hypothèse 3 : le bon chercheur c'est celui qui publie beaucoup et qui est cité

Que se passe-t-il si l'on combine deux qualités que devrait posséder un bon chercheur : publier beaucoup et être cité ? On obtient un indicateur composite, qu'Yves Gingras qualifie d'hétérogène, comme le nombre moyen de citations par article ou l'indice h. Avec cet indice, on peut dire qu'un chercheur A qui a publié trois articles cités soixante fois (indice h = 3) est moins bon qu'un chercheur B ayant publié dix articles cités onze fois (indice h = 10). Mais est-ce que cela traduit bien la réalité ? Yves Gingras, dans sa note sur "La fièvre de l'évaluation de la recherche" qui vient d'être reprise dans le numéro de mai de La Recherche, écrit que non. Que le chercheur A n'est pas, en réalité, moins bon que B.

C'est ce point particulier que je voudrais analyser plus en détail. Vaut-il mieux favoriser celui qui a publié beaucoup et qui a réussi que chacun de ses articles soit tout de même remarqué ou celui qui a peu publié et qui a été très remarqué ? La réponse n'est pas évidente mais j'entends, au fond de la salle, que le chercheur parcimonieux A doit être préféré. C'est en effet la réponse classique, pas tant parce que son total (180) est supérieure à celui du chercheur B (110) que parce que sa fulgurance et sa brillance nous impressionnent. Mais la bibliométrie a mis en évidence l'effet Matthieu selon lequel on donne plus à ceux qui ont déjà. Et donc qu'il est plus facile de recevoir sa 60e citation quand on est déjà cité 59 fois que de recevoir sa 11e citation quand on peine à se faire remarquer. Considérons un modèle simple où la valeur v de la citation numéro n vaut 1/n : la première citation compte pour 1, la seconde pour 0,5 etc. Alors on peut calculer la valeur des citations d'un article en sommant les 1/n (les matheux auront reconnu la série harmonique qui diverge, ce qui est cohérent avec nos hypothèses : même si la valeur des citations croît de plus en plus lentement, leur somme augmente sans discontinuer et on peut toujours comparer deux chercheurs au firmament).

Alors, le chercheur A vaut 3*4.6798=14.0394 et le chercheur B vaut 10*3.0198=30,198. Le chercheur B vaut effectivement plus que le chercheur A ! Ses 110 citations ont plus de valeur car elles ont moins bénéficié de l'effet Matthieu. Mais l'effet Matthieu dit aussi qu'il est plus facile d'être cité quand on en est à son 10e article et que son nom commence à circuler que quand on est un jeunôt qui a 3 articles au compteur. Les deux effets (nombre de citations reçues par article ou nombre d'articles publiés) semblent s'opposer et on ne sait pas ce que donne leur cumul. Mais je voulais montrer par cet exemple que les outils de la bibliométrie offrent des pistes de réflexion et des débuts de réponse, qui peuvent être contre-intuitifs.

Hypothèse 4 : le bon chercheur c'est celui qui ne fait pas comme les autres

Cette dernière hypothèse est de moi. Elle se veut un peu provocatrice mais n'est sans doute pas si loin de la réalité. Déjà, elle voit le chercheur au-delà de son activité de publication et inclut son rôle de passeur, de communicateur… Et surtout, c'est un plaidoyer pour la diversité en science. Quand on préfère le chercheur A au chercheur B, n'est-ce pas le même réflexe qui nous fait préférer le coureur de sprint au coureur de fond ? Qui nous fait préférer l'athlète qui brille par son aisance que celui qui sue à grosses gouttes ? Car au final, il s'agit surtout de stratégies de publication différentes, et on a besoin des deux. Je ne dis pas que tous les chercheurs se valent et qu'on ne pourrait pas se passer d'un mauvais chercheur par ci par là (tout le monde a des exemples en tête). Mais il faut aussi accepter que tous les chercheurs ne se ressemblent pas et qu'ils ne soient pas facilement "benchmarkables".

Partage

La bibliométrie, discipline maudite

Yves-François Le Coadic, qui écrivait vendredi àla liste de diffusion Liste ADBS-INFO, a bien raison. Faisant le constat que la bibliométrie est accusée de tous les maux, il soulignait combien celle-ci n'est même pas comprise :

Mais la bibliométrie est-elle connue et comprise par ceux et celles qui la stigmatisent? On peut en douter et mesurer l'ignorance qui semble exister dans les milieux académiques français concernant cette discipline àtravers deux exemples. Ignorance ainsi d'une enseignante de psychologie de l'Université de Paris V qui, sur le site de Mediapart, le « nouveau quotidien de référence » parle de biométrie en lieu et place de bibliométrie ! Ignorance patente aussi de l'auteure d'un article sur Paul Otlet, dans le dernier numéro de la revue Cités (...) au titre provocateur « L'idéologie de l'évaluation. La grande imposture ». Ignorance qui ne l'empêche guère de porter l'opprobre sur le "Pauvre Otlet àqui l'on attribue la paternité de l'Internet et de la bibliométrie, mais dont la croyance rationnelle contenait probablement déjàles erreurs et les servitudes volontaires de notre présent".

Je peux témoigner d'un autre exemple, plus grave encore. La revue PLoS ONE publiait la semaine dernière un article proposant un indicateur complémentaire àl'indice h, l'indice e. Même écrit par un physicien, il s'agit d'un article de bibliométrie, avec force équations et considérations empruntées àla science de l'information, et il s'inscrit dans le corpus de cette discipline. Pourtant, je lis que son Academic Editor est Étienne Joly, chercheur de l'Institut de pharmacologie et de biologie structurale de Toulouse. Dont le seul titre de gloire en matière de bibliométrie est sans doute de s'être exprimé sur l'accès libre lors d'un colloque àl'Académie des sciences en 2007. Dont le domaine d'expertise, d'après PLoS ONE, tient de la biochimie et des protéines membranaires. Et quand bien même PLoS se targue de rechercher les Academic Editors appropriés pour traiter chaque soumission, ils lui confient un manuscrit de bibliométrie — une responsabilité tellement importante qu'il n'est même pas obligé ensuite de faire appel àdes rapporteurs pour décider de la publication ou non de l'article.

Sur Friendfeed, personne n'y trouvait rien àredire. Bora Zivkovic, qui fait le lien entre la communauté des internautes/blogueurs et la revue, bottait en touche àmes courriels. Et la revue n'a jamais donné suite au formulaire de contact rempli sur leur site… Comme si, la bibliométrie concernant tous les chercheurs, chacun y était compétent. C'est le drame de cette discipline. Et le résultat, c'est effectivement qu'àforce plus personne n'y sera compétent. Mais en attendant ce jour funeste, les spécialistes de bibliométrie sont là, et ils sont encore utiles pour mettre les points sur les i et répéter àl'envi que les indicateurs bibliométriques ne peuvent pas servir àcomparer entre elles des disciplines différentes et qu'ils sont relatifs àla base de données de publications qui a servi àles calculer !

Partage

- page 1 de 4