Comment on compte les publications ?
24
déc.
2010
Au détour d'une conversation anodine sur Twitter, une question posée par Tom Roud m'a interpellé : comment, demande-t-il, évalue-t-on les chercheurs sur des grosses expériences comme celles de la physique des hautes énergies (comme en ce moment au LHC). Pablo Achard a répondu côté "évaluation humaine" : être choisi pour représenter la collaboration lors d'une conférence, parmi la centaine d'autre co-signataires d'un article, est une reconnaissance de sa contribution individuelle. Le chercheur Jeremy Birnholtz, qui a étudié ce phénomène, confirme mais explique que d'autres facteurs jouent — par exemple la possibilité de distinguer deux niveaux d'auteurs : le niveau "infrastructural", lié à la conception des détecteurs et logiciels, récurrent dans la série d'articles issus d'un même appareillage ; et le niveau "découverte" différent pour chaque article, revendiqué par les auteurs qui peuvent défendre leurs résultats au niveau le plus fin.
Côté bibliométrie et comptage automatique des publications, la réponse est évidemment différente. En réalité, la façon dont les publications sont comptées n'est pas toujours bien connu. Laissez-moi vous expliquer les deux méthodes existantes :
- on peut procéder à un compte fractionnaire, où chaque item possède un poids égal à 1, qui se répartit proportionnellement selon la ventilation choisie ; par exemple, si deux équipes japonaises et une équipe américaine co-publient un article, on comptera 2/3 pour le Japon et 1/3 pour les USA. Si cet article concerne de façon égale la microbiologie et la génétique, on comptera 2/6 pour le Japon dans la discipline "microbiologie" et autant dans la discipline "génétique". Ainsi de suite, à tous les niveaux et selon toutes les ventilations choisies (pays, institution, discipline etc.). Ce type de compte permet de raisonner en terme de contribution à la science mondiale ; il présente l'avantage d’être consolidable à toutes les échelles et sommable d’un niveau à un autre. Cependant, il a tendance à donner un poids plus faible à la participation à une publication très internationalisée ;
- on peut sinon effectuer un compte de présence, où l'on compte 1 ou 0 selon que l’acteur est présent ou non. Dans notre exemple, cela revient à compter 1 pour le Japon en microbiologie et 1 en génétique, 1 pour les USA en microbiologie et 1 en génétique. Soit un poids total de l’article égal à 4. Ce type de compte suit une logique de participation à la science mondiale, puisqu'on s'intéresse non pas à une contribution relative mais à la présence ou à l’absence d’un acteur ; il présente l’avantage d’être plus immédiatement compréhensible pour le lecteur, notamment dans l’étude de liens bilatéraux entre acteurs où le nombre obtenu correspond directement au nombre de publications où coexistent les deux acteurs. Mais ce type de compte est très instable dans les changements d'échelle d’observation, si bien que l’on se retrouve fréquemment avec des sommes sur le monde des indicateurs pays supérieures à 100%.
Même s'il n'y a pas de pratique bonne ou mauvaise, vous aurez compris que le compte fractionnaire a l'avantage de lisser le poids des grosses collaborations. En pratique, on l'utilise plus pour les analyses macro, tandis que le compte de présence est prépondérant pour les analyses micro. Je vous renvoie à ce sujet à la note méthodologique de l'Observatoire des sciences et techniques.
Ma conclusion c'est que tous les indicateurs bibliométriques ne se valent pas et qu'il faut faire attention à la façon dont ils sont calculés — mais ça, vous le saviez déjà !
Commentaires
En fait, ces évaluations bibliométriques reposent sur une conception préalable de l'authorship, elle-même incorporée dans les règles de signature, ultra-variables suivant les disciplines. Donc suivant la culture de la contribution associée, on bricole des poids, des demi-poids, des ordres de signature et tout le reste. Sur tous ces aspects, voir La Signature scientifique. Une sociologie pragmatique de l'attribution de David Pontille. L'ouvrage commence par l'exemple d'une publication en physique des hautes énergies signée à 500...
Par ailleurs, je vois avec intérêt une variable bibliométrique se généraliser : le taux de publications avec un coauthorship international. Scopus sort maintenant systématiquement cette variable, très fortement favorable aux européens (et aux canadiens) et très défavorable aux américains et aux chinois - comme quoi embaucher Montagnier servira :-)
Dans certaines revues (surtout biologie), les éditeurs demandent aux auteurs de donner un pourcentage de contribution pour chaque auteur (le "qui a fait quoi "...). On peut donc calculer assez précisemment le pourcentage de contribution des équipes impliquées.
Pour les grosses expériences de physique des hautes énergies, la première méthode est particulièrement injuste tant ces travaux demandent de l'investissement humain et financier.
Je préparais justement un billet sur un thème connexe: "faut-il publier seul ou bien avec des copains ?".
La règle de base, c'est quand même que chaque publication ne se divise pas: vous pouvez rajouter un auteur de plus qui n'a rien fait, ça n'abaisse pas votre contribution, et souvent ça rapporte. Si avec ça, les gens croient à la validité de l'évaluation par les publications, c'est bien parce que ça les arrange personnellement.
@Totoro : Je connais ce livre mais je ne l'ai encore jamais lu, merci de me rappeler mon ignorance crasse ;-) Merci pour l'info concernant le co-autorat international…
@Rachel : J'attends le billet avec impatience ! Le pourcentage de contribution est une idée intéressante mais si elle n'est pas enregistrée dans les bases de données bibliométriques, elle ne sert à rien en pratique :( Notons qu'il y a eu d'autres tentatives de régler l'allocation des contributions…
@woody : Ben non, justement pas dans le compte fractionnaire…
@ Enro
Ce compte fractionnaire n'est pas utilisé lors des évaluations individuelles, mais pour l'évaluation des pays ou des institutions. Et donc si vous rajoutez un co-auteur de votre institution qui n'a rien fait, ça ne vous coûte rien et ça augmente le poids relatif de votre institution.
J'ai eu l'occasion de voir Pontille en conférence et je plussoie la remarque de Totoro sur la pertinence de cette référence.
Pour le reste, je reprendrais une distinction faite par Ghislaine Filliatreau. Il y a d'un côté l'évaluation scientifique (souvent individuelle) des chercheurs et de l'autre l'évaluation stratégique des institutions. Pour la première, seule l'expertise des pairs permet une évaluation correcte. Dans le cas de la physique des particules, ceux-ci savent lire les CV (et notamment les participations aux conférences). Pour la seconde, les outils bibliométriques sont très utiles. Mais quel que soit le "counting scheme", la physique des particules reste un "black spot" pour la bibliométrie, qui doit être traitée à part pour ne pas noyer les autres stats.
Tout à fait d'accord avec Pablo. A ceci près que dans la vie réelle des institutions françaises, peu enclines à se remettre en question, l'évaluation bibliométrique n'est utilisée que pour les chercheurs, indépendamment des moyens dont ils disposent, puisque ces institutions considèrent, parfois à juste titre, que l'expertise des pairs représente du copinage. Le fond du problème est que toute évaluation est non seulement stérile, mais nuisible, à partir du moment, où du fait d'une idéologie hiérarchique largement partagée, les français n'arrivent pas à comprendre que l'on ne peut pas être à la fois juge et partie.