Le bon chercheur il publie mais le mauvais chercheur il publie aussi. (Olivier Le Deuff)

La bibliométrie offre une mesure de la production et de la visibilité des chercheurs agrégées à un niveau macro comme l'institution, le pays, la discipline etc. Mais à force de reprises tronquées, on est arrivé à l'idée que 1) la bibliométrie permet d'évaluer les chercheurs individuellement et 2) qu'elle donne une mesure de leur qualité. D'où les critiques récurrentes comme quoi elle se plante totalement. Forcément, si on y met ce qu'on veut... Mais, pour le plaisir de l'argument, essayons d'imaginer une bibliométrie qui permettrait de mesure la qualité d'un chercheur. Quelles pistes s'offrent à nous ?

Hypothèse 0 : le bon chercheur c'est celui dont les pairs disent qu'il est un bon chercheur

Ca, c'est le schéma classique, le raisonnement pré-bibliométrique. On part du principe que seuls les pairs peuvent évaluer une recherche, dire si un chercheur est bon ou pas et si ce qu'il fait a 5 ans d'avance ou 10 ans de retard. Sauf qu'il faut pour cela des pairs bien informés sur l'état actuel de la recherche, si possible mondiale. Heureusement, on en trouve. Ensuite, il faut qu'ils puissent juger et rendre un verdict le plus objectif possible, sans être "parasités" par des considérations extérieures. C'est plus facile si l'on fait appel à des tiers neutres. Mais alors il faut qu'ils puissent se projeter dans la recherche qu'ils évaluent, qu'ils aient le temps d'en lire les articles et d'en saisir toutes les dimensions. Appliquez ça notamment aux SHS où la diversité des questions de recherche, des cas étudiés ("terrains") et des cadres théoriques fait que chaque chercheur travaille à peu près tout seul. C'est très difficile et imparfait. Mais prenez aussi les sciences dures où, comme l'expliquait Pierre Joliot, ce qu'un chercheur considère comme ses meilleurs articles sont souvent les plus originaux, les plus novateurs. Un pair évaluateur qui passerait en revue sa bibliographie s'arrêterait-il sur cette poignée d'articles encore incompris ou bien considèrerait-il que les autres sont les plus marquants ? Bien souvent, la recherche innovante et fertile est inévaluable au moment où elle se fait…

Hypothèse 1 : le bon chercheur c'est celui qui publie beaucoup

Comme l'ont montré Latour et Woolgar dans La vie de laboratoire, la publication d'articles est au cœur de l'activité du chercheur :

les acteurs reconnaissent que la production d'articles est le but essentiel de leur activité. La réalisation de cet objectif nécessite une chaîne d'opérations d'écriture qui vont d'un premier résultat griffonné sur un bout de papier et communiqué avec enthousiasme aux collègues, au classement de l'article publié dans les archives du laboratoire. Les nombreux stades intermédiaires (conférences avec projection, diffusion de tirés-à-part, etc.) ont tous un rapport sous une forme ou sous une autre avec la production littéraire.

Le bon chercheur, ce serait donc celui qui produit des résultats et qui arrive à publie beaucoup. Sauf que le paysage des revues scientifiques est un peu le monde des Bisounours et toute recherche (y compris de mauvaise qualité) peut se publier, même en passant par le filtre des "rapporteurs" — d'où la citation d'Olivier Le Deuff reproduite en-tête. Qui plus est, il est souvent facile de saucissonner son travail en un maximum d'articles, d'avoir quelques signatures de complaisance ou de participer à un programme de recherche en physique des hautes énergies qui vous assure une présence au firmament des auteurs.

Hypothèse 2 : le bon chercheur c'est celui qui est cité

Finalement, et c'est le principe de base de l'analyse des citations, un chercheur qui cite un autre chercheur donne une accolade qui prouve que l'article a été remarqué, qu'il a eu une vie après la publication. C'est la seule chose qu'on puisse affirmer avec certitude, mais la citation est ce qui se rapproche le plus d'une monnaie d'échange du capital scientifique et par extension de la qualité d'un chercheur. On peut donc penser que le bon chercheur c'est celui qui est cité. Mais que penser des articles frauduleux ou rétractés qui continuent d'être cités, des auto-citations qui permettent d'augmenter son score tout seul ou des citations qui viennent d'articles de seconde zone ? C'est pour ces raisons que les analyses de citation s'appuient essentiellement sur les données de Thomson Reuters (Science Citation Index), qui a des critères stricts d'inclusion des revues et de calcul des scores de citation. Mais cette base de données a un fort biais vers les revues anglo-saxonnes et ses critères de scientificité ne sont pas forcément partagés par tout le monde.

Hypothèse 3 : le bon chercheur c'est celui qui publie beaucoup et qui est cité

Que se passe-t-il si l'on combine deux qualités que devrait posséder un bon chercheur : publier beaucoup et être cité ? On obtient un indicateur composite, qu'Yves Gingras qualifie d'hétérogène, comme le nombre moyen de citations par article ou l'indice h. Avec cet indice, on peut dire qu'un chercheur A qui a publié trois articles cités soixante fois (indice h = 3) est moins bon qu'un chercheur B ayant publié dix articles cités onze fois (indice h = 10). Mais est-ce que cela traduit bien la réalité ? Yves Gingras, dans sa note sur "La fièvre de l'évaluation de la recherche" qui vient d'être reprise dans le numéro de mai de La Recherche, écrit que non. Que le chercheur A n'est pas, en réalité, moins bon que B.

C'est ce point particulier que je voudrais analyser plus en détail. Vaut-il mieux favoriser celui qui a publié beaucoup et qui a réussi que chacun de ses articles soit tout de même remarqué ou celui qui a peu publié et qui a été très remarqué ? La réponse n'est pas évidente mais j'entends, au fond de la salle, que le chercheur parcimonieux A doit être préféré. C'est en effet la réponse classique, pas tant parce que son total (180) est supérieure à celui du chercheur B (110) que parce que sa fulgurance et sa brillance nous impressionnent. Mais la bibliométrie a mis en évidence l'effet Matthieu selon lequel on donne plus à ceux qui ont déjà. Et donc qu'il est plus facile de recevoir sa 60e citation quand on est déjà cité 59 fois que de recevoir sa 11e citation quand on peine à se faire remarquer. Considérons un modèle simple où la valeur v de la citation numéro n vaut 1/n : la première citation compte pour 1, la seconde pour 0,5 etc. Alors on peut calculer la valeur des citations d'un article en sommant les 1/n (les matheux auront reconnu la série harmonique qui diverge, ce qui est cohérent avec nos hypothèses : même si la valeur des citations croît de plus en plus lentement, leur somme augmente sans discontinuer et on peut toujours comparer deux chercheurs au firmament).

Alors, le chercheur A vaut 3*4.6798=14.0394 et le chercheur B vaut 10*3.0198=30,198. Le chercheur B vaut effectivement plus que le chercheur A ! Ses 110 citations ont plus de valeur car elles ont moins bénéficié de l'effet Matthieu. Mais l'effet Matthieu dit aussi qu'il est plus facile d'être cité quand on en est à son 10e article et que son nom commence à circuler que quand on est un jeunôt qui a 3 articles au compteur. Les deux effets (nombre de citations reçues par article ou nombre d'articles publiés) semblent s'opposer et on ne sait pas ce que donne leur cumul. Mais je voulais montrer par cet exemple que les outils de la bibliométrie offrent des pistes de réflexion et des débuts de réponse, qui peuvent être contre-intuitifs.

Hypothèse 4 : le bon chercheur c'est celui qui ne fait pas comme les autres

Cette dernière hypothèse est de moi. Elle se veut un peu provocatrice mais n'est sans doute pas si loin de la réalité. Déjà, elle voit le chercheur au-delà de son activité de publication et inclut son rôle de passeur, de communicateur… Et surtout, c'est un plaidoyer pour la diversité en science. Quand on préfère le chercheur A au chercheur B, n'est-ce pas le même réflexe qui nous fait préférer le coureur de sprint au coureur de fond ? Qui nous fait préférer l'athlète qui brille par son aisance que celui qui sue à grosses gouttes ? Car au final, il s'agit surtout de stratégies de publication différentes, et on a besoin des deux. Je ne dis pas que tous les chercheurs se valent et qu'on ne pourrait pas se passer d'un mauvais chercheur par ci par là (tout le monde a des exemples en tête). Mais il faut aussi accepter que tous les chercheurs ne se ressemblent pas et qu'ils ne soient pas facilement "benchmarkables".