On a beaucoup parlé ces derniers temps du travail d'Yves Gingras, souvent présenté comme un camouflet aux adeptes de la bibliométrie... tout en cachant que son auteur n'est pas seulement historien et sociologue des sciences mais lui-même bibliométricien. Un pur, un dur, comme celui auquel je dois toute mes connaissances dans le domaine : Michel Zitt. J'ai donc répété à  l'envi dans la blogosphère ce que certains n'ont pas voulu voir dans ce rapport : que Gingras regrette surtout la confusion qui existe entre évaluation et bibliométrie (la première étant anarchique et normative, la seconde étant méthodique et descriptive), que ce sont souvent les scientifiques eux-mêmes qui succombent aux usages anarchiques de la bibliométrie individuelle et qui, siégeant parfois sur différents comités et conseils d’administration d’organes décisionnels de la recherche, suggèrent d’en généraliser l’usage ou qu'il faut laisser l'évaluation de la recherche aux scientifiques qui y consacrent assez de temps pour pouvoir distinguer les pseudo-métriques des indicateurs robustes.

Si ce travail a fait autant de bruit, c'est évidemment parce qu'il va dans le sens de la fronde actuelle des chercheurs. Pourtant, il n'a pas surpris les spécialistes : les mythes qu'il met à  bas ne sont des réalités que pour les spécialistes de toutes les disciplines... sauf la bibliométrie ! Mais puisqu'il a ouvert les yeux de mes contemporains et que la voie qu'il ouvre mérite d'être suivie, je vais m'attaquer à  mon tour à  d'autres mythes qui entourent cette discipline (puisque c'en est une), en m'appuyant sur une communication récente de Wolfgang Glà¤nzel (un autre bibliométricien qui sait de quoi il parle).

Les auto-citations faussent le jeu

L'auto-citation, dans des proportions raisonnables, est un effet normal de la construction cumulative des connaissances, évitant de répéter à  tout bout de champ des portions déjà  anciennes de son travail. Or au niveau statistique, on n'observe aucune tendance alarmante qui justifieraient qu'il faille retirer les auto-citations du jeu -- seulement quelques comportements individuels déviants qui sont le plus souvent (au niveau des revues) pris en compte par Thomson.

Les collaborations sont un moyen facile de publier plus et mieux

Il y a du vrai dans ce mythe mais ce n'est pas pour autant que collaboration devient synonyme de succès. Avec l'allongement des listes de co-auteurs et la densification du réseau de collaborations, la collaboration devient un ingrédient indispensable de la science moderne ou "big science". Mais il a été montré statistiquement que l'impact des publications décroît quand le nombre de co-auteurs dépasse un certain seuil : ce n'est donc pas une recette miracle.

Les citations sont une mesure de la qualité d'une recherche

(Mon mythe préféré !) En sociologie des sciences classique, depuis Merton, la citation est une monnaie d'échange sur le marché du mérite scientifique ("reward"). En bibliométrie, bien que des travaux ont montré que le taux de citation est corrélé significativement avec diverses mesures de la qualité, les citations sont avant tout considérées comme la reconaissance formelle d'un échange d'information et donc prises comme un indicateur de "réception". On peut dire quelque chose de la réception d'un article qui est peu ou pas cité des années après publication (y compris de son incorporation dans le paradigme actuel de recherche) mais pas de sa qualité.

Les articles de revue augmentent l'impact artificiellement

En moyenne, les articles de revue ("review articles") sont plus cités que les articles de recherche. Mais ils ne représentent même pas 5% du volume total d'articles et leur distribution est toute aussi asymétrique que celle des articles de recherche : un bon nombre de reviews sont très peu citées. Il ne faudrait pas non plus sous-estimer la difficulté d'écrire un article de revue et leur importance pour l'avancement d'un domaine de recherche.

La bibliométrie donne mais ne reprend pas

Parce que la plupart des processus bibliométriques sont cumulatifs (cf. l'index h), on pourrait croire qu'un chercheur bien placé par la bibliométrie peut se reposer sur ses lauriers et continuer à  recevoir des citations sur ses articles déjà  publiés. La preuve, les articles rétractés sont cités même longtemps après leur rétraction ! Or en fait, les classements ne sont jamais figés et un article qui est parmi les plus cités un jour peut se voir déchu le lendemain : un chercheur doit sans arrêt confirmer sa position en continuant à  publier un travail de qualité.

Et puis tant qu'on y est, je voudrais saluer l'article de Daniel Bertaux, qui :

  • reconnaît avec justesse que la fréquence des citations d'un texte est un indicateur fiable de sa réception, et mesure dans le moyen terme à  tout le moins sa notoriété
  • démontre avec un exemple tiré de la section 36 du Comité national de la recherche scientifique (Sociologie - Normes et règles) que, parfois, l'évaluation par les pairs peut être bien plus biaisée et moins révélatrice de la qualité d'un laboratoire que son classement bibliométrique !

Avec cet aveu en note de bas de page : j'ai pratiqué suffisamment le SSCI pour m'assurer que les mesures de notoriété qu'il donne ne sont pas aberrantes; moins aberrantes en tous cas que les classements effectués par telle ou telle commission composée pourtant d'éminents collègues sincèrement désireux d'accomplir honnêtement leur travail.