La science, la cité

On a beaucoup parlé ces derniers temps du travail d'Yves Gingras, souvent présenté comme un camouflet aux adeptes de la bibliométrie... tout en cachant que son auteur n'est pas seulement historien et sociologue des sciences mais lui-même bibliométricien. Un pur, un dur, comme celui auquel je dois toute mes connaissances dans le domaine : Michel Zitt. J'ai donc répété à  l'envi dans la blogosphère ce que certains n'ont pas voulu voir dans ce rapport : que Gingras regrette surtout la confusion qui existe entre évaluation et bibliométrie (la première étant anarchique et normative, la seconde étant méthodique et descriptive), que ce sont souvent les scientifiques eux-mêmes qui succombent aux usages anarchiques de la bibliométrie individuelle et qui, siégeant parfois sur différents comités et conseils d’administration d’organes décisionnels de la recherche, suggèrent d’en généraliser l’usage ou qu'il faut laisser l'évaluation de la recherche aux scientifiques qui y consacrent assez de temps pour pouvoir distinguer les pseudo-métriques des indicateurs robustes.

Si ce travail a fait autant de bruit, c'est évidemment parce qu'il va dans le sens de la fronde actuelle des chercheurs. Pourtant, il n'a pas surpris les spécialistes : les mythes qu'il met à  bas ne sont des réalités que pour les spécialistes de toutes les disciplines... sauf la bibliométrie ! Mais puisqu'il a ouvert les yeux de mes contemporains et que la voie qu'il ouvre mérite d'être suivie, je vais m'attaquer à  mon tour à  d'autres mythes qui entourent cette discipline (puisque c'en est une), en m'appuyant sur une communication récente de Wolfgang Glà¤nzel (un autre bibliométricien qui sait de quoi il parle).

Les auto-citations faussent le jeu

L'auto-citation, dans des proportions raisonnables, est un effet normal de la construction cumulative des connaissances, évitant de répéter à  tout bout de champ des portions déjà  anciennes de son travail. Or au niveau statistique, on n'observe aucune tendance alarmante qui justifieraient qu'il faille retirer les auto-citations du jeu -- seulement quelques comportements individuels déviants qui sont le plus souvent (au niveau des revues) pris en compte par Thomson.

Les collaborations sont un moyen facile de publier plus et mieux

Il y a du vrai dans ce mythe mais ce n'est pas pour autant que collaboration devient synonyme de succès. Avec l'allongement des listes de co-auteurs et la densification du réseau de collaborations, la collaboration devient un ingrédient indispensable de la science moderne ou "big science". Mais il a été montré statistiquement que l'impact des publications décroît quand le nombre de co-auteurs dépasse un certain seuil : ce n'est donc pas une recette miracle.

Les citations sont une mesure de la qualité d'une recherche

(Mon mythe préféré !) En sociologie des sciences classique, depuis Merton, la citation est une monnaie d'échange sur le marché du mérite scientifique ("reward"). En bibliométrie, bien que des travaux ont montré que le taux de citation est corrélé significativement avec diverses mesures de la qualité, les citations sont avant tout considérées comme la reconaissance formelle d'un échange d'information et donc prises comme un indicateur de "réception". On peut dire quelque chose de la réception d'un article qui est peu ou pas cité des années après publication (y compris de son incorporation dans le paradigme actuel de recherche) mais pas de sa qualité.

Les articles de revue augmentent l'impact artificiellement

En moyenne, les articles de revue ("review articles") sont plus cités que les articles de recherche. Mais ils ne représentent même pas 5% du volume total d'articles et leur distribution est toute aussi asymétrique que celle des articles de recherche : un bon nombre de reviews sont très peu citées. Il ne faudrait pas non plus sous-estimer la difficulté d'écrire un article de revue et leur importance pour l'avancement d'un domaine de recherche.

La bibliométrie donne mais ne reprend pas

Parce que la plupart des processus bibliométriques sont cumulatifs (cf. l'index h), on pourrait croire qu'un chercheur bien placé par la bibliométrie peut se reposer sur ses lauriers et continuer à  recevoir des citations sur ses articles déjà  publiés. La preuve, les articles rétractés sont cités même longtemps après leur rétraction ! Or en fait, les classements ne sont jamais figés et un article qui est parmi les plus cités un jour peut se voir déchu le lendemain : un chercheur doit sans arrêt confirmer sa position en continuant à  publier un travail de qualité.

Et puis tant qu'on y est, je voudrais saluer l'article de Daniel Bertaux, qui :

• reconnaît avec justesse que la fréquence des citations d'un texte est un indicateur fiable de sa réception, et mesure dans le moyen terme à  tout le moins sa notoriété
• démontre avec un exemple tiré de la section 36 du Comité national de la recherche scientifique (Sociologie - Normes et règles) que, parfois, l'évaluation par les pairs peut être bien plus biaisée et moins révélatrice de la qualité d'un laboratoire que son classement bibliométrique !

Avec cet aveu en note de bas de page : j'ai pratiqué suffisamment le SSCI pour m'assurer que les mesures de notoriété qu'il donne ne sont pas aberrantes; moins aberrantes en tous cas que les classements effectués par telle ou telle commission composée pourtant d'éminents collègues sincèrement désireux d'accomplir honnêtement leur travail.

A part classer les chercheurs ou les universités le dimanche, la bibliométrie sert aussi à  comprendre la structure d'une discipline ou de la science en général. C'est pour cela qu'elle fait partie de la boîte à  outil de cette "science de la science" qu'est la scientométrie. Notamment pour mieux cerner les mathématiques, une science décidément à  part.

Tout commence avec un article récent de Stephen J. Bensman, truffé de statistiques, qui analyse la différence de distribution des citations dans les revues de "science dure" et les revues de sciences humaines et sociales en 2005. Il constate notamment qu'en sciences dures, la distribution est binomiale négative tandis qu'elle est de type Poisson en sciences sociales. Concrètement, cela signifie que la distribution est beaucoup plus aléatoire dans ce second cas : la vaste majorité des revues de sciences sociales se répartissent quasi-uniformément entre les trois premiers 20-quantiles (histogramme ci-dessous), alors que 82% des revues de science dure sont concentrées dans le premier 20-quantile.

Dans les deux cas en tous cas, les distributions sont extrêmement asymétriques. La majorité des articles sont pas ou peu cités, et donc les facteurs d'impact décollent difficilement de zéro. On peut dès lors s'intéresser aux quelques revues les plus citées, celles qui traduisent d'autres comportements distinctifs de leur champ. Ainsi, on constate que chaque numéro des 64 revues les plus citées en science dure a une probabilité de 75% de contenir un article de synthèse (review article), contre 7% dans les 60 revues à  fort facteur d'impact en sciences sociales. Il ne fait aucun doute que les sciences sociales utilisent beaucoup moins l'article de synthèse, dont la fonction est d'établir des consensus, préludes à  la cristallisation de paradigmes. On touche là  en effet à  une différence de fonctionnement entre les deux champs : on considère généralement que les sciences sociales sont organisées en "écoles de pensée", co-existant les unes à  côté des autres, parfois depuis des décennies (bourdieusiens, marxistes…) tandis que les sciences dures avancent dans une unique direction, jalonnée par des articles de synthèse, en faisant peu appel à  la littérature plus ancienne qu'une dizaine d'années. Au sein des sciences sociales, on peut cependant distinguer la psychologie et les sciences du comportement, qui se comportent plutôt comme des sciences dures avec une forte asymétrie et de nombreux articles de synthèse !

Mais qu'en est-il des mathématiques ? Ce n'est encore qu'une intuition mais le même Stephen Bensman suggérait sur une liste de diffusion qu'elles ressemblent plus aux sciences sociales qu'aux sciences dures. Le facteur d'impact des revues de mathématiques est compris entre 0,108 et 2,739, soit un écart très restreint, et les revues les plus citées ne contiennent aucun article de synthèse. On reconnaît les signes d'une loi de distribution des citations extrêmement aléatoire et de l'absence de développement de paradigmes consensuels. Qui plus est, le graphique ci-dessous extrait d'un rapport de l'International Mathematical Union (IMU) montre bien que l'obsolescence des articles en mathématiques est extrêmement lente, voire inexistante, bien loin de la biologie cellulaire. Encore l'indice d'une science sociale.

Certes, on pourrait reprocher aux critères utilisé leur pauvreté. Mais sous cet angle toutefois, l'hypothèse semble bien tenir la route… Surtout, il en découle une conséquence directe : comme en sciences sociales, cela ne fait aucun sens d'évaluer les mathématiciens par des indicateurs de citation. En effet, qui dit absence de paradigmes faisant consensus dit impossibilité d'évaluer un chercheur de façon mécanique. Plutôt que d'avoir affaire à  des chercheurs bons ou mauvais dans un paradigme donné, on a affaire à  des chercheurs travaillant dans des paradigmes différents et donc impossibles à  comparer entre eux. L'analyse des citations, surtout dans un intervalles aussi petit, ne nous apprend quasiment rien. Pour preuve, la corrélation entre l'évaluation par les pairs des écoles doctorales mené en 1993 aux Etats-Unis par le National Research Council et les citations obtenues par chaque faculté n'est que de 56% en mathématiques. A comparer, par exemple, avec les 81% de la chimie ou les 70% de la physique !