Les (autres) mythes de la bibliométrie
7
nov.
2008
On a beaucoup parlé ces derniers temps du travail d'Yves Gingras, souvent présenté comme un camouflet aux adeptes de la bibliométrie... tout en cachant que son auteur n'est pas seulement historien et sociologue des sciences mais lui-même bibliométricien. Un pur, un dur, comme celui auquel je dois toute mes connaissances dans le domaine : Michel Zitt. J'ai donc répété à l'envi dans la blogosphère ce que certains n'ont pas voulu voir dans ce rapport : que Gingras regrette surtout la confusion qui existe entre évaluation et bibliométrie (la première étant anarchique et normative, la seconde étant méthodique et descriptive), que ce sont souvent les scientifiques eux-mêmes qui succombent aux usages anarchiques de la bibliométrie individuelle et qui, siégeant parfois sur différents comités et conseils d’administration d’organes décisionnels de la recherche, suggèrent d’en généraliser l’usage
ou qu'il faut laisser l'évaluation de la recherche aux scientifiques qui y consacrent assez de temps pour pouvoir distinguer les pseudo-métriques des indicateurs robustes.
Si ce travail a fait autant de bruit, c'est évidemment parce qu'il va dans le sens de la fronde actuelle des chercheurs. Pourtant, il n'a pas surpris les spécialistes : les mythes qu'il met à bas ne sont des réalités que pour les spécialistes de toutes les disciplines... sauf la bibliométrie ! Mais puisqu'il a ouvert les yeux de mes contemporains et que la voie qu'il ouvre mérite d'être suivie, je vais m'attaquer à mon tour à d'autres mythes qui entourent cette discipline (puisque c'en est une), en m'appuyant sur une communication récente de Wolfgang Glà¤nzel (un autre bibliométricien qui sait de quoi il parle).
Les auto-citations faussent le jeu
L'auto-citation, dans des proportions raisonnables, est un effet normal de la construction cumulative des connaissances, évitant de répéter à tout bout de champ des portions déjà anciennes de son travail. Or au niveau statistique, on n'observe aucune tendance alarmante qui justifieraient qu'il faille retirer les auto-citations du jeu -- seulement quelques comportements individuels déviants qui sont le plus souvent (au niveau des revues) pris en compte par Thomson.
Les collaborations sont un moyen facile de publier plus et mieux
Il y a du vrai dans ce mythe mais ce n'est pas pour autant que collaboration devient synonyme de succès. Avec l'allongement des listes de co-auteurs et la densification du réseau de collaborations, la collaboration devient un ingrédient indispensable de la science moderne ou "big science". Mais il a été montré statistiquement que l'impact des publications décroît quand le nombre de co-auteurs dépasse un certain seuil : ce n'est donc pas une recette miracle.
Les citations sont une mesure de la qualité d'une recherche
(Mon mythe préféré !) En sociologie des sciences classique, depuis Merton, la citation est une monnaie d'échange sur le marché du mérite scientifique ("reward"). En bibliométrie, bien que des travaux ont montré que le taux de citation est corrélé significativement avec diverses mesures de la qualité, les citations sont avant tout considérées comme la reconaissance formelle d'un échange d'information et donc prises comme un indicateur de "réception". On peut dire quelque chose de la réception d'un article qui est peu ou pas cité des années après publication (y compris de son incorporation dans le paradigme actuel de recherche) mais pas de sa qualité.
Les articles de revue augmentent l'impact artificiellement
En moyenne, les articles de revue ("review articles") sont plus cités que les articles de recherche. Mais ils ne représentent même pas 5% du volume total d'articles et leur distribution est toute aussi asymétrique que celle des articles de recherche : un bon nombre de reviews sont très peu citées. Il ne faudrait pas non plus sous-estimer la difficulté d'écrire un article de revue et leur importance pour l'avancement d'un domaine de recherche.
La bibliométrie donne mais ne reprend pas
Parce que la plupart des processus bibliométriques sont cumulatifs (cf. l'index h), on pourrait croire qu'un chercheur bien placé par la bibliométrie peut se reposer sur ses lauriers et continuer à recevoir des citations sur ses articles déjà publiés. La preuve, les articles rétractés sont cités même longtemps après leur rétraction ! Or en fait, les classements ne sont jamais figés et un article qui est parmi les plus cités un jour peut se voir déchu le lendemain : un chercheur doit sans arrêt confirmer sa position en continuant à publier un travail de qualité.
Et puis tant qu'on y est, je voudrais saluer l'article de Daniel Bertaux, qui :
- reconnaît avec justesse que
la fréquence des citations d'un texte est un indicateur fiable de sa réception, et mesure dans le moyen terme à tout le moins sa notoriété
- démontre avec un exemple tiré de la section 36 du Comité national de la recherche scientifique (Sociologie - Normes et règles) que, parfois, l'évaluation par les pairs peut être bien plus biaisée et moins révélatrice de la qualité d'un laboratoire que son classement bibliométrique !
Avec cet aveu en note de bas de page : j'ai pratiqué suffisamment le SSCI pour m'assurer que les mesures de notoriété qu'il donne ne sont pas aberrantes; moins aberrantes en tous cas que les classements effectués par telle ou telle commission composée pourtant d'éminents collègues sincèrement désireux d'accomplir honnêtement leur travail
.
Commentaires
Aussitôt publié, aussitôt linké ! M'en vais te faire remonter ton classement wikio, moi ! :-)
@Pablo : Tout cela alors que j'ai moi-même omis de lier le billet où tu parlais de Gingras (parce que je ne voulais pas faire de jaloux) : quelle magnanimité !
Merci pour ce petit article. J'ai ete un peu surpris par l'utilisation faite des travaux d'Yves Gingras par les chercheurs francais; on se demande s'ils l'ont vraiment lu. J'avoue que la partie sur le classement de Shanghai est celle que j'avais lu le plus precisement, mais elle bat elle aussi en breche une idee souvent defendue, a savoir que la taille des universites/labo joue en "notre" defaveur. Yves Gingras remarque que ni Caltech (pas plus grande qu'une grand ecole) ni Princeton ne sont tres grandes, ce ne sont pas les seules. Vu que recemment, il y a beaucoup de mouvements en faveur de concentrations dans le milieu universitaire et des grandes ecoles en France, c'est un point qui me parait assez important sur le futur de l'organisation de la recherche.
Bibliométrie: quels sont les enjeux?
Je suis d'accord avec toutes les critiques faites sur la bibliométrie comme instrument d'évaluation. Mais contrairement à ce qu'écrit Gingras je ne pense pas que " les comités de pairs composés d’experts sont encore les mieux placés pour juger de la quantité et de la qualité du travail accompli". Autrement dit, je pense qu'il n'existe pas vraiment d'alternative à la bibliométrie.
Pour comprendre pourquoi les comités de pairs composés d''experts ne valent pas mieux que l'expertise effectuée au cours de la publication dans une revue, il faut prendre en compte les deux gros défauts des comités d'experts en France: 1) ils sont incompétents 2) ils sont partiaux.
1) Ils sont incompétents: non parce qu'ils sont plus mauvais que leurs collègues d'autres pays, mais parce que lors de la publication dans une revue, les évaluateurs sont choisis parmi les gens qui travaillent dans un domaine très proche de l'évalué, alors que les experts des comités ne couvrent chacun qu'un champ très limité et sont à mille lieues de comprendre les objectifs et les méthodes de l'évalué. Les experts des comités le savent eux-même très bien puisque lorsqu'ils essayent d'être objectifs, ils s'appuient sur les publications.
2) Ils sont partiaux: lorsque vous soumettez un article à une revue, il est rare que vous tombiez sur un referee ayant un conflit d'intérêts avec vous. Lorsque vous vous présentez devant un comité d'experts, le conflit d'intérêts (bienveillant: l'expert vous soutient, ou malveillant: il a un autre candidat à faire passer) est quasi-obligatoire.
Par conséquent, le problème des experts n'est pas tant une évaluation "scientifique" qui est illusoire qu'un compromis entre une mesure "objective" mais très imparfaite et la défense de leur intérêts. Pour cela, ils vont utiliser toutes les ressources possibles pour vider de son sens l'évaluation par la bibliométrie.
Comment vider de son sens l'évaluation par la bibliométrie?
Du côté de l'évalué:
Si vous travaillez seul ou avec une petite équipe, peu de solutions. Vous pouvez débiter vos publications en articles plus petits, mais ça ne rapporte pas grand chose. Surtout, vous devez éviter tout sujet ambitieux et risqué, peu payant, surtout si vous avez déjà un poste permanent.
Si vous avez un gros labo, vous pouvez profiter de la règle de base de la bibliométrie (telle qu'elle est pratiquée en France) : le ratio y est inconnu, le "poids" donné au travail du premier ou du dernier signataire n'est nullement diminué par la présence d'un signataire au milieu. Une des conséquences est que les signatures gratuites ("gift authorship") ne coûtent rien, mais rapportent beaucoup. Un patron de gros labo peut aisément gonfler la liste des publications de chacun des membres de son labo en les mettant comme signataires d'articles dont ils ne figureraient même pas en remerciements. Par conséquent la possibilité d'obtenir un poste est beaucoup plus grande lorsque l'on travaille dans un gros labo. Le patron de gros labo peut également favoriser qui il veut dans son labo sans que cela soit trop apparent rien qu'en donnant un petit travail à l'évalué dans un article qui va être soumis.
Une deuxième conséquence de l'absence de ratio est que l'on peut avoir deux, voire trois premiers-auteurs pour un même article sans que le (les) premiers auteurs ne voient leur contribution diminuer. C'est le triomphe de l'irrationnel en milieu scientifique.
Du côté de l'évaluateur:
Là encore, vous pouvez utiliser la règle de base de la bibliométrie: ne pas tenir compte du ratio. Si l'évalué que vous devez favoriser a obtenu ses publications à l'aide d'une très grosse équipe, ne divisez surtout pas sa production par le nombre de personnes. Non plus, ne tenez pas compte du budget. Dites que l'évalué a bien publié et dirigé une grosse équipe et obtenu un gros budget. Si le candidat venant de chez Machin, peu connu, a un dossier équivalent à celui du candidat travaillant chez Truc, qui est très connu, ne dites pas qu'il n'en a que plus de mérite, dites que le second candidat a à la fois un bon dossier et travaille chez Truc. Vous serez sûr de respecter la hiérarchie, qui vous sera redevable lorsque vous serez à votre tour l'évalué (n'oubliez pas que Truc a toutes les chances d'être de votre prochaine évaluation).
Vous pouvez également utiliser les failles de la bibliométrie pour l'utiliser ou non quand bon vous semble. Exemple entre autres: Untel a publié un article dans un journal prestigieux dont les conclusions sont clairement infirmées par d'autres travaux ultérieurs (non, l'article n'a pas été rétracté, ça, ça n'arrive pas). Deux cas de figure: 1) vous voulez discréditer Untel, faites valoir que son article est faux, ou même insinuez que c'est un fraudeur; 2) vous devez épargner Untel (qui est soutenu par Truc), faites marcher la bibliométrie.
Comment pourrait on utiliser correctement la bibliométrie?
Un usage utile de la bibliométrie consiste à mesurer la production scientifique d'un pays à l'aide des publications. Le gift authorship et les problèmes de ratio humain ne modifient pas cette mesure. Les articles infirmés ne devraient pas non plus poser de problèmes au niveau d'une mesure aussi globale. Cependant la mesure de la productivité nécessite de connaître les financements, et la la comparaison peut être très difficile. Mais grosso-modo, on arrive à des conclusions qui sont simples: dans certains pays et certains domaines (la recherche médicale en France, par exemple), la productivité n'est pas au rendez-vous.
Comment résoudre les problèmes?
Il n'y a pas lieu de réunir des comités d'experts pour dire qu'en gardant les meilleurs (selon les critères bibliométriques utilisés à la française) on va améliorer les choses. La mesure la plus évidente pour donner du bon sens à l'évaluation et permettre à la recherche de progresser consiste à supprimer les conflits d'intérêts, à charge pour l'évaluateur de faire au mieux, en son âme et conscience. Mais dans un pays où Axel Kahn, juge des OGM et partie de Rhône-Poulenc, est une grande autorité morale, il ne faut pas espérer de miracle.
Où il est, entre autre, question de bibliométrie:
D.