Au détour d'une conversation anodine sur Twitter, une question posée par Tom Roud m'a interpellé : comment, demande-t-il, évalue-t-on les chercheurs sur des grosses expériences comme celles de la physique des hautes énergies (comme en ce moment au LHC). Pablo Achard a répondu côté "évaluation humaine" : être choisi pour représenter la collaboration lors d'une conférence, parmi la centaine d'autre co-signataires d'un article, est une reconnaissance de sa contribution individuelle. Le chercheur Jeremy Birnholtz, qui a étudié ce phénomène, confirme mais explique que d'autres facteurs jouent — par exemple la possibilité de distinguer deux niveaux d'auteurs : le niveau "infrastructural", lié à la conception des détecteurs et logiciels, récurrent dans la série d'articles issus d'un même appareillage ; et le niveau "découverte" différent pour chaque article, revendiqué par les auteurs qui peuvent défendre leurs résultats au niveau le plus fin.

Côté bibliométrie et comptage automatique des publications, la réponse est évidemment différente. En réalité, la façon dont les publications sont comptées n'est pas toujours bien connu. Laissez-moi vous expliquer les deux méthodes existantes :

  • on peut procéder à un compte fractionnaire, où chaque item possède un poids égal à 1, qui se répartit proportionnellement selon la ventilation choisie ; par exemple, si deux équipes japonaises et une équipe américaine co-publient un article, on comptera 2/3 pour le Japon et 1/3 pour les USA. Si cet article concerne de façon égale la microbiologie et la génétique, on comptera 2/6 pour le Japon dans la discipline "microbiologie" et autant dans la discipline "génétique". Ainsi de suite, à tous les niveaux et selon toutes les ventilations choisies (pays, institution, discipline etc.). Ce type de compte permet de raisonner en terme de contribution à la science mondiale ; il présente l'avantage d’être consolidable à toutes les échelles et sommable d’un niveau à un autre. Cependant, il a tendance à donner un poids plus faible à la participation à une publication très internationalisée ;
  • on peut sinon effectuer un compte de présence, où l'on compte 1 ou 0 selon que l’acteur est présent ou non. Dans notre exemple, cela revient à compter 1 pour le Japon en microbiologie et 1 en génétique, 1 pour les USA en microbiologie et 1 en génétique. Soit un poids total de l’article égal à 4. Ce type de compte suit une logique de participation à la science mondiale, puisqu'on s'intéresse non pas à une contribution relative mais à la présence ou à l’absence d’un acteur ; il présente l’avantage d’être plus immédiatement compréhensible pour le lecteur, notamment dans l’étude de liens bilatéraux entre acteurs où le nombre obtenu correspond directement au nombre de publications où coexistent les deux acteurs. Mais ce type de compte est très instable dans les changements d'échelle d’observation, si bien que l’on se retrouve fréquemment avec des sommes sur le monde des indicateurs pays supérieures à 100%.

Même s'il n'y a pas de pratique bonne ou mauvaise, vous aurez compris que le compte fractionnaire a l'avantage de lisser le poids des grosses collaborations. En pratique, on l'utilise plus pour les analyses macro, tandis que le compte de présence est prépondérant pour les analyses micro. Je vous renvoie à ce sujet à la note méthodologique de l'Observatoire des sciences et techniques.

Ma conclusion c'est que tous les indicateurs bibliométriques ne se valent pas et qu'il faut faire attention à la façon dont ils sont calculés — mais ça, vous le saviez déjà !