La science, la cité

Le bon chercheur il publie mais le mauvais chercheur il publie aussi. (Olivier Le Deuff)

La bibliométrie offre une mesure de la production et de la visibilité des chercheurs agrégées à un niveau macro comme l'institution, le pays, la discipline etc. Mais à force de reprises tronquées, on est arrivé à l'idée que 1) la bibliométrie permet d'évaluer les chercheurs individuellement et 2) qu'elle donne une mesure de leur qualité. D'où les critiques récurrentes comme quoi elle se plante totalement. Forcément, si on y met ce qu'on veut... Mais, pour le plaisir de l'argument, essayons d'imaginer une bibliométrie qui permettrait de mesure la qualité d'un chercheur. Quelles pistes s'offrent à nous ?

Hypothèse 0 : le bon chercheur c'est celui dont les pairs disent qu'il est un bon chercheur

Ca, c'est le schéma classique, le raisonnement pré-bibliométrique. On part du principe que seuls les pairs peuvent évaluer une recherche, dire si un chercheur est bon ou pas et si ce qu'il fait a 5 ans d'avance ou 10 ans de retard. Sauf qu'il faut pour cela des pairs bien informés sur l'état actuel de la recherche, si possible mondiale. Heureusement, on en trouve. Ensuite, il faut qu'ils puissent juger et rendre un verdict le plus objectif possible, sans être "parasités" par des considérations extérieures. C'est plus facile si l'on fait appel à des tiers neutres. Mais alors il faut qu'ils puissent se projeter dans la recherche qu'ils évaluent, qu'ils aient le temps d'en lire les articles et d'en saisir toutes les dimensions. Appliquez ça notamment aux SHS où la diversité des questions de recherche, des cas étudiés ("terrains") et des cadres théoriques fait que chaque chercheur travaille à peu près tout seul. C'est très difficile et imparfait. Mais prenez aussi les sciences dures où, comme l'expliquait Pierre Joliot, ce qu'un chercheur considère comme ses meilleurs articles sont souvent les plus originaux, les plus novateurs. Un pair évaluateur qui passerait en revue sa bibliographie s'arrêterait-il sur cette poignée d'articles encore incompris ou bien considèrerait-il que les autres sont les plus marquants ? Bien souvent, la recherche innovante et fertile est inévaluable au moment où elle se fait…

Hypothèse 1 : le bon chercheur c'est celui qui publie beaucoup

Comme l'ont montré Latour et Woolgar dans La vie de laboratoire, la publication d'articles est au cœur de l'activité du chercheur :

les acteurs reconnaissent que la production d'articles est le but essentiel de leur activité. La réalisation de cet objectif nécessite une chaîne d'opérations d'écriture qui vont d'un premier résultat griffonné sur un bout de papier et communiqué avec enthousiasme aux collègues, au classement de l'article publié dans les archives du laboratoire. Les nombreux stades intermédiaires (conférences avec projection, diffusion de tirés-à-part, etc.) ont tous un rapport sous une forme ou sous une autre avec la production littéraire.

Le bon chercheur, ce serait donc celui qui produit des résultats et qui arrive à publie beaucoup. Sauf que le paysage des revues scientifiques est un peu le monde des Bisounours et toute recherche (y compris de mauvaise qualité) peut se publier, même en passant par le filtre des "rapporteurs" — d'où la citation d'Olivier Le Deuff reproduite en-tête. Qui plus est, il est souvent facile de saucissonner son travail en un maximum d'articles, d'avoir quelques signatures de complaisance ou de participer à un programme de recherche en physique des hautes énergies qui vous assure une présence au firmament des auteurs.

Hypothèse 2 : le bon chercheur c'est celui qui est cité

Finalement, et c'est le principe de base de l'analyse des citations, un chercheur qui cite un autre chercheur donne une accolade qui prouve que l'article a été remarqué, qu'il a eu une vie après la publication. C'est la seule chose qu'on puisse affirmer avec certitude, mais la citation est ce qui se rapproche le plus d'une monnaie d'échange du capital scientifique et par extension de la qualité d'un chercheur. On peut donc penser que le bon chercheur c'est celui qui est cité. Mais que penser des articles frauduleux ou rétractés qui continuent d'être cités, des auto-citations qui permettent d'augmenter son score tout seul ou des citations qui viennent d'articles de seconde zone ? C'est pour ces raisons que les analyses de citation s'appuient essentiellement sur les données de Thomson Reuters (Science Citation Index), qui a des critères stricts d'inclusion des revues et de calcul des scores de citation. Mais cette base de données a un fort biais vers les revues anglo-saxonnes et ses critères de scientificité ne sont pas forcément partagés par tout le monde.

Hypothèse 3 : le bon chercheur c'est celui qui publie beaucoup et qui est cité

Que se passe-t-il si l'on combine deux qualités que devrait posséder un bon chercheur : publier beaucoup et être cité ? On obtient un indicateur composite, qu'Yves Gingras qualifie d'hétérogène, comme le nombre moyen de citations par article ou l'indice h. Avec cet indice, on peut dire qu'un chercheur A qui a publié trois articles cités soixante fois (indice h = 3) est moins bon qu'un chercheur B ayant publié dix articles cités onze fois (indice h = 10). Mais est-ce que cela traduit bien la réalité ? Yves Gingras, dans sa note sur "La fièvre de l'évaluation de la recherche" qui vient d'être reprise dans le numéro de mai de La Recherche, écrit que non. Que le chercheur A n'est pas, en réalité, moins bon que B.

C'est ce point particulier que je voudrais analyser plus en détail. Vaut-il mieux favoriser celui qui a publié beaucoup et qui a réussi que chacun de ses articles soit tout de même remarqué ou celui qui a peu publié et qui a été très remarqué ? La réponse n'est pas évidente mais j'entends, au fond de la salle, que le chercheur parcimonieux A doit être préféré. C'est en effet la réponse classique, pas tant parce que son total (180) est supérieure à celui du chercheur B (110) que parce que sa fulgurance et sa brillance nous impressionnent. Mais la bibliométrie a mis en évidence l'effet Matthieu selon lequel on donne plus à ceux qui ont déjà. Et donc qu'il est plus facile de recevoir sa 60e citation quand on est déjà cité 59 fois que de recevoir sa 11e citation quand on peine à se faire remarquer. Considérons un modèle simple où la valeur v de la citation numéro n vaut 1/n : la première citation compte pour 1, la seconde pour 0,5 etc. Alors on peut calculer la valeur des citations d'un article en sommant les 1/n (les matheux auront reconnu la série harmonique qui diverge, ce qui est cohérent avec nos hypothèses : même si la valeur des citations croît de plus en plus lentement, leur somme augmente sans discontinuer et on peut toujours comparer deux chercheurs au firmament).

Alors, le chercheur A vaut 3*4.6798=14.0394 et le chercheur B vaut 10*3.0198=30,198. Le chercheur B vaut effectivement plus que le chercheur A ! Ses 110 citations ont plus de valeur car elles ont moins bénéficié de l'effet Matthieu. Mais l'effet Matthieu dit aussi qu'il est plus facile d'être cité quand on en est à son 10e article et que son nom commence à circuler que quand on est un jeunôt qui a 3 articles au compteur. Les deux effets (nombre de citations reçues par article ou nombre d'articles publiés) semblent s'opposer et on ne sait pas ce que donne leur cumul. Mais je voulais montrer par cet exemple que les outils de la bibliométrie offrent des pistes de réflexion et des débuts de réponse, qui peuvent être contre-intuitifs.

Hypothèse 4 : le bon chercheur c'est celui qui ne fait pas comme les autres

Cette dernière hypothèse est de moi. Elle se veut un peu provocatrice mais n'est sans doute pas si loin de la réalité. Déjà, elle voit le chercheur au-delà de son activité de publication et inclut son rôle de passeur, de communicateur… Et surtout, c'est un plaidoyer pour la diversité en science. Quand on préfère le chercheur A au chercheur B, n'est-ce pas le même réflexe qui nous fait préférer le coureur de sprint au coureur de fond ? Qui nous fait préférer l'athlète qui brille par son aisance que celui qui sue à grosses gouttes ? Car au final, il s'agit surtout de stratégies de publication différentes, et on a besoin des deux. Je ne dis pas que tous les chercheurs se valent et qu'on ne pourrait pas se passer d'un mauvais chercheur par ci par là (tout le monde a des exemples en tête). Mais il faut aussi accepter que tous les chercheurs ne se ressemblent pas et qu'ils ne soient pas facilement "benchmarkables".

Encore et toujours, je me demande comment montrer la science telle qu'elle se fait. Là  où je l'avais laissée, ma réflexion consistait à  dire que montrer la science en train de se faire, en chair et en os (c'est-à -dire dans un musée, un cours ou un atelier), ne peut se faire qu'au niveau macroscopique (celui des institutions, de la communauté des scientifiques, des pratiques de recherche…) plutôt que dans le cadre restreint d'un laboratoire ou d'une expérience particuliers, qui ne sont que des reconstructions faussées ou trompeuses. Concernant les documentaires filmés, la chose était entendue : si le chercheur met en scène son savoir à  travers quelques coulisses comme son laboratoire, son équipe, son terrain expérimental ou ses bailleurs de fonds pour mieux nous expliquer ce qui en sort et les connaissances qu'il en tire, alors nous sommes en présence d'une science déjà  faite, tandis que la science en train de se faire mettrait en avant l'incertitude intrinsèque au travail scientifique, la contingence de la construction des savoirs et les traductions permettant d'enrôler des alliés pour clore les controverses. J'esquissais d'autre part une distinction entre la science en train de se faire et la science inachevée.

En regardant "La vie après la mort d'Henrietta Lacks" (une allusion à  la lignée cellulaire Hela utilisée dans les laboratoires du monde entier), ces lignes se sont un peu déplacées : un film documentaire peut aussi témoigner d'une recherche en cours s'il nous met face à  un bout de recherche, sans début ni commencement, sans "problématique initiale" et "éclaircissement final". Ou sinon, on frôle la reconstruction a posteriori et le jugement de l'histoire : même si la captation a été faite sur le moment, le montage du film est nécessairement biaisé par cette apparente linéarité et le réalisateur échappe difficilement au confortable synopsis baconien qui lui est offert.

C'est précisément ce que réussit ce film, qui donne à  voir un jeune chercheur en proie aux affres de ses expériences de culture cellulaire et qui met en scène ses pensées, sa méthode de travail et sa vision du monde par des analogies muettes très bien faites (structure d'un bâtiment, comportement d'une foule, mouvements lors d'une nuit de sommeil, changement de la lumière d'un paysage au cours de la journée…). En quelques mots bien sentis, le personnage du film nous fait aussi toucher du doigt la substance du travail du chercheur :

En permanence le chercheur il doute, de ce qu'il voit, de son interprétation, et ses doutes sont alimentés par ses observations. Et il y a une interaction permantente entre le réel qu'il observe et l'imaginaire qu'il a en lui.

Au final, on saisit tout juste sur quoi porte son sujet de recherche (la division et les efforts mécaniques de la cellule) et surtout, on ignore sa problématique scientifique exacte et son cheminement intellectuel. Seule une mention écrite à  la fin du film vient nous rappeler quels sont les enjeux :

Un an plus tard, Manuel et son équipe parviennent à  définir les lois qui régissent la division cellulaire. Leurs résultats sont publiés dans la revue "Nature Cell Biology".

On n'est pas dans la "science en train de se faire" façon Bruno Latour, qui vise à  comprendre l'efficacité des sciences (une efficacité qui se juge aussi hors de l'univers des communautés savantes), à  saisir comment des pratiques de laboratoire en viennent à  devenir des vérités socialement acceptées, comment elles en viennent à  faire advenir un nouveau monde (un monde plein de microbes par exemple), à  peser sur lui et à  le transformer (Dominique Pestre, Introduction aux Science studies, Paris : La Découverte, coll. "Repères", 2006, p. 46).}} Point de leçon de sociologie des sciences ici, surtout un témoignage ethnologique : comme un documentariste animalier filmerait un lion dans la savane, Mathieu Thery filme son frère doctorant en continu et nous montre ici une alternance de moments forts (lorsque le problème des cultures cellulaires devient critique et que seule compte sa résolution) ou faibles (la descente dans la pièce blanche où se font les expériences) de son travail/vie. C'est pour quoi je préfère le terme de "recherche en cours", que j'opposerai désormais aux notions de "science en train de se faire" et de "scinece inachevée".

A la suite de ce court-métrage réussi, le mouvement "Sauvons la recherche" est venu chercher Mathias Thery pour pousser l'expérience un peu plus loin et réaliser un long-métrage montrant le chercheur au travail. Il a fixé son choix sur Stéphane Douady, dont le sujet de recherche a l'avantage d'être extrêmement porteur pour un cinéaste et son public : le chant des dunes. Le résultat, "Cherche toujours", a été encensé après être passé sur Arte et sera montré mercredi 25 février à  13h à  l'amphithéâtre de l'EHESS, 105 Bd Raspail (entrée libre et gratuite). Laquelle projection sera suivie d'une discussion en présence de Mathias Thery, Stéphane Douady et quelques autres.

Ces deux films présentent la particularité d'être agrémentés d'interludes et de visions poétiques, qui viennent compléter le témoignage brut sur le travail du chercheur et illustrent, à  mon avis, combien il façonne son rapport au monde et aux autres. Sans ces passages, le film donnerait à  voir quelque chose mais manquerait de sens. Grâce à  eux, il nous est donné de véritablement rentrer dans le cerveau d'un chercheur, le temps d'un bout de ses recherches. Renvoyant ainsi dans les cordes ceux pour qui ça ne présente strictement aucun intérêt de montrer un chercheur au travail et ça n'intéresse personne.