La science, la cité

Au détour d'une conversation anodine sur Twitter, une question posée par Tom Roud m'a interpellé : comment, demande-t-il, évalue-t-on les chercheurs sur des grosses expériences comme celles de la physique des hautes énergies (comme en ce moment au LHC). Pablo Achard a répondu côté "évaluation humaine" : être choisi pour représenter la collaboration lors d'une conférence, parmi la centaine d'autre co-signataires d'un article, est une reconnaissance de sa contribution individuelle. Le chercheur Jeremy Birnholtz, qui a étudié ce phénomène, confirme mais explique que d'autres facteurs jouent — par exemple la possibilité de distinguer deux niveaux d'auteurs : le niveau "infrastructural", lié à la conception des détecteurs et logiciels, récurrent dans la série d'articles issus d'un même appareillage ; et le niveau "découverte" différent pour chaque article, revendiqué par les auteurs qui peuvent défendre leurs résultats au niveau le plus fin.

Côté bibliométrie et comptage automatique des publications, la réponse est évidemment différente. En réalité, la façon dont les publications sont comptées n'est pas toujours bien connu. Laissez-moi vous expliquer les deux méthodes existantes :

• on peut procéder à un compte fractionnaire, où chaque item possède un poids égal à 1, qui se répartit proportionnellement selon la ventilation choisie ; par exemple, si deux équipes japonaises et une équipe américaine co-publient un article, on comptera 2/3 pour le Japon et 1/3 pour les USA. Si cet article concerne de façon égale la microbiologie et la génétique, on comptera 2/6 pour le Japon dans la discipline "microbiologie" et autant dans la discipline "génétique". Ainsi de suite, à tous les niveaux et selon toutes les ventilations choisies (pays, institution, discipline etc.). Ce type de compte permet de raisonner en terme de contribution à la science mondiale ; il présente l'avantage d’être consolidable à toutes les échelles et sommable d’un niveau à un autre. Cependant, il a tendance à donner un poids plus faible à la participation à une publication très internationalisée ;
• on peut sinon effectuer un compte de présence, où l'on compte 1 ou 0 selon que l’acteur est présent ou non. Dans notre exemple, cela revient à compter 1 pour le Japon en microbiologie et 1 en génétique, 1 pour les USA en microbiologie et 1 en génétique. Soit un poids total de l’article égal à 4. Ce type de compte suit une logique de participation à la science mondiale, puisqu'on s'intéresse non pas à une contribution relative mais à la présence ou à l’absence d’un acteur ; il présente l’avantage d’être plus immédiatement compréhensible pour le lecteur, notamment dans l’étude de liens bilatéraux entre acteurs où le nombre obtenu correspond directement au nombre de publications où coexistent les deux acteurs. Mais ce type de compte est très instable dans les changements d'échelle d’observation, si bien que l’on se retrouve fréquemment avec des sommes sur le monde des indicateurs pays supérieures à 100%.

Même s'il n'y a pas de pratique bonne ou mauvaise, vous aurez compris que le compte fractionnaire a l'avantage de lisser le poids des grosses collaborations. En pratique, on l'utilise plus pour les analyses macro, tandis que le compte de présence est prépondérant pour les analyses micro. Je vous renvoie à ce sujet à la note méthodologique de l'Observatoire des sciences et techniques.

Ma conclusion c'est que tous les indicateurs bibliométriques ne se valent pas et qu'il faut faire attention à la façon dont ils sont calculés — mais ça, vous le saviez déjà !

Le bon chercheur il publie mais le mauvais chercheur il publie aussi. (Olivier Le Deuff)

La bibliométrie offre une mesure de la production et de la visibilité des chercheurs agrégées à un niveau macro comme l'institution, le pays, la discipline etc. Mais à force de reprises tronquées, on est arrivé à l'idée que 1) la bibliométrie permet d'évaluer les chercheurs individuellement et 2) qu'elle donne une mesure de leur qualité. D'où les critiques récurrentes comme quoi elle se plante totalement. Forcément, si on y met ce qu'on veut... Mais, pour le plaisir de l'argument, essayons d'imaginer une bibliométrie qui permettrait de mesure la qualité d'un chercheur. Quelles pistes s'offrent à nous ?

Hypothèse 0 : le bon chercheur c'est celui dont les pairs disent qu'il est un bon chercheur

Ca, c'est le schéma classique, le raisonnement pré-bibliométrique. On part du principe que seuls les pairs peuvent évaluer une recherche, dire si un chercheur est bon ou pas et si ce qu'il fait a 5 ans d'avance ou 10 ans de retard. Sauf qu'il faut pour cela des pairs bien informés sur l'état actuel de la recherche, si possible mondiale. Heureusement, on en trouve. Ensuite, il faut qu'ils puissent juger et rendre un verdict le plus objectif possible, sans être "parasités" par des considérations extérieures. C'est plus facile si l'on fait appel à des tiers neutres. Mais alors il faut qu'ils puissent se projeter dans la recherche qu'ils évaluent, qu'ils aient le temps d'en lire les articles et d'en saisir toutes les dimensions. Appliquez ça notamment aux SHS où la diversité des questions de recherche, des cas étudiés ("terrains") et des cadres théoriques fait que chaque chercheur travaille à peu près tout seul. C'est très difficile et imparfait. Mais prenez aussi les sciences dures où, comme l'expliquait Pierre Joliot, ce qu'un chercheur considère comme ses meilleurs articles sont souvent les plus originaux, les plus novateurs. Un pair évaluateur qui passerait en revue sa bibliographie s'arrêterait-il sur cette poignée d'articles encore incompris ou bien considèrerait-il que les autres sont les plus marquants ? Bien souvent, la recherche innovante et fertile est inévaluable au moment où elle se fait…

Hypothèse 1 : le bon chercheur c'est celui qui publie beaucoup

Comme l'ont montré Latour et Woolgar dans La vie de laboratoire, la publication d'articles est au cœur de l'activité du chercheur :

les acteurs reconnaissent que la production d'articles est le but essentiel de leur activité. La réalisation de cet objectif nécessite une chaîne d'opérations d'écriture qui vont d'un premier résultat griffonné sur un bout de papier et communiqué avec enthousiasme aux collègues, au classement de l'article publié dans les archives du laboratoire. Les nombreux stades intermédiaires (conférences avec projection, diffusion de tirés-à-part, etc.) ont tous un rapport sous une forme ou sous une autre avec la production littéraire.

Le bon chercheur, ce serait donc celui qui produit des résultats et qui arrive à publie beaucoup. Sauf que le paysage des revues scientifiques est un peu le monde des Bisounours et toute recherche (y compris de mauvaise qualité) peut se publier, même en passant par le filtre des "rapporteurs" — d'où la citation d'Olivier Le Deuff reproduite en-tête. Qui plus est, il est souvent facile de saucissonner son travail en un maximum d'articles, d'avoir quelques signatures de complaisance ou de participer à un programme de recherche en physique des hautes énergies qui vous assure une présence au firmament des auteurs.

Hypothèse 2 : le bon chercheur c'est celui qui est cité

Finalement, et c'est le principe de base de l'analyse des citations, un chercheur qui cite un autre chercheur donne une accolade qui prouve que l'article a été remarqué, qu'il a eu une vie après la publication. C'est la seule chose qu'on puisse affirmer avec certitude, mais la citation est ce qui se rapproche le plus d'une monnaie d'échange du capital scientifique et par extension de la qualité d'un chercheur. On peut donc penser que le bon chercheur c'est celui qui est cité. Mais que penser des articles frauduleux ou rétractés qui continuent d'être cités, des auto-citations qui permettent d'augmenter son score tout seul ou des citations qui viennent d'articles de seconde zone ? C'est pour ces raisons que les analyses de citation s'appuient essentiellement sur les données de Thomson Reuters (Science Citation Index), qui a des critères stricts d'inclusion des revues et de calcul des scores de citation. Mais cette base de données a un fort biais vers les revues anglo-saxonnes et ses critères de scientificité ne sont pas forcément partagés par tout le monde.

Hypothèse 3 : le bon chercheur c'est celui qui publie beaucoup et qui est cité

Que se passe-t-il si l'on combine deux qualités que devrait posséder un bon chercheur : publier beaucoup et être cité ? On obtient un indicateur composite, qu'Yves Gingras qualifie d'hétérogène, comme le nombre moyen de citations par article ou l'indice h. Avec cet indice, on peut dire qu'un chercheur A qui a publié trois articles cités soixante fois (indice h = 3) est moins bon qu'un chercheur B ayant publié dix articles cités onze fois (indice h = 10). Mais est-ce que cela traduit bien la réalité ? Yves Gingras, dans sa note sur "La fièvre de l'évaluation de la recherche" qui vient d'être reprise dans le numéro de mai de La Recherche, écrit que non. Que le chercheur A n'est pas, en réalité, moins bon que B.

C'est ce point particulier que je voudrais analyser plus en détail. Vaut-il mieux favoriser celui qui a publié beaucoup et qui a réussi que chacun de ses articles soit tout de même remarqué ou celui qui a peu publié et qui a été très remarqué ? La réponse n'est pas évidente mais j'entends, au fond de la salle, que le chercheur parcimonieux A doit être préféré. C'est en effet la réponse classique, pas tant parce que son total (180) est supérieure à celui du chercheur B (110) que parce que sa fulgurance et sa brillance nous impressionnent. Mais la bibliométrie a mis en évidence l'effet Matthieu selon lequel on donne plus à ceux qui ont déjà. Et donc qu'il est plus facile de recevoir sa 60e citation quand on est déjà cité 59 fois que de recevoir sa 11e citation quand on peine à se faire remarquer. Considérons un modèle simple où la valeur v de la citation numéro n vaut 1/n : la première citation compte pour 1, la seconde pour 0,5 etc. Alors on peut calculer la valeur des citations d'un article en sommant les 1/n (les matheux auront reconnu la série harmonique qui diverge, ce qui est cohérent avec nos hypothèses : même si la valeur des citations croît de plus en plus lentement, leur somme augmente sans discontinuer et on peut toujours comparer deux chercheurs au firmament).

Alors, le chercheur A vaut 3*4.6798=14.0394 et le chercheur B vaut 10*3.0198=30,198. Le chercheur B vaut effectivement plus que le chercheur A ! Ses 110 citations ont plus de valeur car elles ont moins bénéficié de l'effet Matthieu. Mais l'effet Matthieu dit aussi qu'il est plus facile d'être cité quand on en est à son 10e article et que son nom commence à circuler que quand on est un jeunôt qui a 3 articles au compteur. Les deux effets (nombre de citations reçues par article ou nombre d'articles publiés) semblent s'opposer et on ne sait pas ce que donne leur cumul. Mais je voulais montrer par cet exemple que les outils de la bibliométrie offrent des pistes de réflexion et des débuts de réponse, qui peuvent être contre-intuitifs.

Hypothèse 4 : le bon chercheur c'est celui qui ne fait pas comme les autres

Cette dernière hypothèse est de moi. Elle se veut un peu provocatrice mais n'est sans doute pas si loin de la réalité. Déjà, elle voit le chercheur au-delà de son activité de publication et inclut son rôle de passeur, de communicateur… Et surtout, c'est un plaidoyer pour la diversité en science. Quand on préfère le chercheur A au chercheur B, n'est-ce pas le même réflexe qui nous fait préférer le coureur de sprint au coureur de fond ? Qui nous fait préférer l'athlète qui brille par son aisance que celui qui sue à grosses gouttes ? Car au final, il s'agit surtout de stratégies de publication différentes, et on a besoin des deux. Je ne dis pas que tous les chercheurs se valent et qu'on ne pourrait pas se passer d'un mauvais chercheur par ci par là (tout le monde a des exemples en tête). Mais il faut aussi accepter que tous les chercheurs ne se ressemblent pas et qu'ils ne soient pas facilement "benchmarkables".

Yves-François Le Coadic, qui écrivait vendredi àla liste de diffusion Liste ADBS-INFO, a bien raison. Faisant le constat que la bibliométrie est accusée de tous les maux, il soulignait combien celle-ci n'est même pas comprise :

Mais la bibliométrie est-elle connue et comprise par ceux et celles qui la stigmatisent? On peut en douter et mesurer l'ignorance qui semble exister dans les milieux académiques français concernant cette discipline àtravers deux exemples. Ignorance ainsi d'une enseignante de psychologie de l'Université de Paris V qui, sur le site de Mediapart, le « nouveau quotidien de référence » parle de biométrie en lieu et place de bibliométrie ! Ignorance patente aussi de l'auteure d'un article sur Paul Otlet, dans le dernier numéro de la revue Cités (...) au titre provocateur « L'idéologie de l'évaluation. La grande imposture ». Ignorance qui ne l'empêche guère de porter l'opprobre sur le "Pauvre Otlet àqui l'on attribue la paternité de l'Internet et de la bibliométrie, mais dont la croyance rationnelle contenait probablement déjàles erreurs et les servitudes volontaires de notre présent".

Je peux témoigner d'un autre exemple, plus grave encore. La revue PLoS ONE publiait la semaine dernière un article proposant un indicateur complémentaire àl'indice h, l'indice e. Même écrit par un physicien, il s'agit d'un article de bibliométrie, avec force équations et considérations empruntées àla science de l'information, et il s'inscrit dans le corpus de cette discipline. Pourtant, je lis que son Academic Editor est Étienne Joly, chercheur de l'Institut de pharmacologie et de biologie structurale de Toulouse. Dont le seul titre de gloire en matière de bibliométrie est sans doute de s'être exprimé sur l'accès libre lors d'un colloque àl'Académie des sciences en 2007. Dont le domaine d'expertise, d'après PLoS ONE, tient de la biochimie et des protéines membranaires. Et quand bien même PLoS se targue de rechercher les Academic Editors appropriés pour traiter chaque soumission, ils lui confient un manuscrit de bibliométrie — une responsabilité tellement importante qu'il n'est même pas obligé ensuite de faire appel àdes rapporteurs pour décider de la publication ou non de l'article.

Sur Friendfeed, personne n'y trouvait rien àredire. Bora Zivkovic, qui fait le lien entre la communauté des internautes/blogueurs et la revue, bottait en touche àmes courriels. Et la revue n'a jamais donné suite au formulaire de contact rempli sur leur site… Comme si, la bibliométrie concernant tous les chercheurs, chacun y était compétent. C'est le drame de cette discipline. Et le résultat, c'est effectivement qu'àforce plus personne n'y sera compétent. Mais en attendant ce jour funeste, les spécialistes de bibliométrie sont là, et ils sont encore utiles pour mettre les points sur les i et répéter àl'envi que les indicateurs bibliométriques ne peuvent pas servir àcomparer entre elles des disciplines différentes et qu'ils sont relatifs àla base de données de publications qui a servi àles calculer !

En janvier 2007, je discutais un modèle de diffusion des idées en science proposé par l'Office of Scientific and Technical Information américain et inspiré des modèles mis au point pour décrire la diffusion des maladies. Il montrait sur une série de cas (prion, théories des cordes ) comment la probabilité et l'efficacité de contact entre chercheurs permet de diminuer le temps nécessaire au développement des connaissances (ou en tous cas, le temps nécessaire à  la contamination des chercheurs par une nouvelle idée), sur un schéma très proche de la mémétique.

Ce travail n'était que préliminaire et les auteurs ont depuis perfectionné leur approche, au point de la publier dans la revue Scientometrics. Rien de très différent dans cette publication, si ce n'est un point sur lequel ils ont à  mon avis progressé. Je leur faisais en effet le grief d'être trop focalisé sur le modèle épidémiologique (susceptibilité -> exposition -> infection -> résistance) et d'en oublier les facteurs environnementaux. En effet, on peut considérer que les recherches sur le prion auraient pu plafonner vers les années 1990 grâce à  un meilleur paramètre "exposition à  la théorie des chercheurs susceptibles", au lieu de démarrer à  peine, mais ce serait oublier que l'essentiel de cette recherche s'est développé quand le besoin politique s'en faisait sentir avec la crise de la vache folle !

Dans la nouvelle version de leur travail, Bettencourt et ses collègues prennent en compte cet aspect de deux façons, en considérant que :

• des facteurs externes peuvent alimenter le réservoir des scientifiques susceptibles d'être exposés à  la nouvelle théorie (plus fort recrutement lié à  une réussite ou un intérêt soudain)
• la productivité des chercheurs, c'est-à -dire le nombre de publications supplémentaires par recrue, change en fonction du contexte (plus le volume de financement est élevé plus il sera facile de mettre les nouveaux entrants au diapason et de les faire publier).

Ils montrent ainsi comment la productivité des chercheurs croît avec la masse dans les domaines théoriques et technologiques (nanotubes de carbone, informatique quantique, théorie des cordes) alors qu'elle décroît dans les domaines des sciences biomédicales ! Ceci s'explique à  peu près par le fait que dans ces derniers domaines, le coût associé à  chaque recrutement (équipement, infrastructure, formation) est très grand par rapport aux sciences théoriques. Mais alors la pôle position des nanotechnologies est une "anomalie", qui s'explique par l'énorme attention médiatique et politique qu'elles reçoivent. Une confirmation plutôt inattendue, s'il en fallait

On a beaucoup parlé ces derniers temps du travail d'Yves Gingras, souvent présenté comme un camouflet aux adeptes de la bibliométrie... tout en cachant que son auteur n'est pas seulement historien et sociologue des sciences mais lui-même bibliométricien. Un pur, un dur, comme celui auquel je dois toute mes connaissances dans le domaine : Michel Zitt. J'ai donc répété à  l'envi dans la blogosphère ce que certains n'ont pas voulu voir dans ce rapport : que Gingras regrette surtout la confusion qui existe entre évaluation et bibliométrie (la première étant anarchique et normative, la seconde étant méthodique et descriptive), que ce sont souvent les scientifiques eux-mêmes qui succombent aux usages anarchiques de la bibliométrie individuelle et qui, siégeant parfois sur différents comités et conseils d’administration d’organes décisionnels de la recherche, suggèrent d’en généraliser l’usage ou qu'il faut laisser l'évaluation de la recherche aux scientifiques qui y consacrent assez de temps pour pouvoir distinguer les pseudo-métriques des indicateurs robustes.

Si ce travail a fait autant de bruit, c'est évidemment parce qu'il va dans le sens de la fronde actuelle des chercheurs. Pourtant, il n'a pas surpris les spécialistes : les mythes qu'il met à  bas ne sont des réalités que pour les spécialistes de toutes les disciplines... sauf la bibliométrie ! Mais puisqu'il a ouvert les yeux de mes contemporains et que la voie qu'il ouvre mérite d'être suivie, je vais m'attaquer à  mon tour à  d'autres mythes qui entourent cette discipline (puisque c'en est une), en m'appuyant sur une communication récente de Wolfgang Glà¤nzel (un autre bibliométricien qui sait de quoi il parle).

Les auto-citations faussent le jeu

L'auto-citation, dans des proportions raisonnables, est un effet normal de la construction cumulative des connaissances, évitant de répéter à  tout bout de champ des portions déjà  anciennes de son travail. Or au niveau statistique, on n'observe aucune tendance alarmante qui justifieraient qu'il faille retirer les auto-citations du jeu -- seulement quelques comportements individuels déviants qui sont le plus souvent (au niveau des revues) pris en compte par Thomson.

Les collaborations sont un moyen facile de publier plus et mieux

Il y a du vrai dans ce mythe mais ce n'est pas pour autant que collaboration devient synonyme de succès. Avec l'allongement des listes de co-auteurs et la densification du réseau de collaborations, la collaboration devient un ingrédient indispensable de la science moderne ou "big science". Mais il a été montré statistiquement que l'impact des publications décroît quand le nombre de co-auteurs dépasse un certain seuil : ce n'est donc pas une recette miracle.

Les citations sont une mesure de la qualité d'une recherche

(Mon mythe préféré !) En sociologie des sciences classique, depuis Merton, la citation est une monnaie d'échange sur le marché du mérite scientifique ("reward"). En bibliométrie, bien que des travaux ont montré que le taux de citation est corrélé significativement avec diverses mesures de la qualité, les citations sont avant tout considérées comme la reconaissance formelle d'un échange d'information et donc prises comme un indicateur de "réception". On peut dire quelque chose de la réception d'un article qui est peu ou pas cité des années après publication (y compris de son incorporation dans le paradigme actuel de recherche) mais pas de sa qualité.

Les articles de revue augmentent l'impact artificiellement

En moyenne, les articles de revue ("review articles") sont plus cités que les articles de recherche. Mais ils ne représentent même pas 5% du volume total d'articles et leur distribution est toute aussi asymétrique que celle des articles de recherche : un bon nombre de reviews sont très peu citées. Il ne faudrait pas non plus sous-estimer la difficulté d'écrire un article de revue et leur importance pour l'avancement d'un domaine de recherche.

La bibliométrie donne mais ne reprend pas

Parce que la plupart des processus bibliométriques sont cumulatifs (cf. l'index h), on pourrait croire qu'un chercheur bien placé par la bibliométrie peut se reposer sur ses lauriers et continuer à  recevoir des citations sur ses articles déjà  publiés. La preuve, les articles rétractés sont cités même longtemps après leur rétraction ! Or en fait, les classements ne sont jamais figés et un article qui est parmi les plus cités un jour peut se voir déchu le lendemain : un chercheur doit sans arrêt confirmer sa position en continuant à  publier un travail de qualité.

Et puis tant qu'on y est, je voudrais saluer l'article de Daniel Bertaux, qui :

• reconnaît avec justesse que la fréquence des citations d'un texte est un indicateur fiable de sa réception, et mesure dans le moyen terme à  tout le moins sa notoriété
• démontre avec un exemple tiré de la section 36 du Comité national de la recherche scientifique (Sociologie - Normes et règles) que, parfois, l'évaluation par les pairs peut être bien plus biaisée et moins révélatrice de la qualité d'un laboratoire que son classement bibliométrique !

Avec cet aveu en note de bas de page : j'ai pratiqué suffisamment le SSCI pour m'assurer que les mesures de notoriété qu'il donne ne sont pas aberrantes; moins aberrantes en tous cas que les classements effectués par telle ou telle commission composée pourtant d'éminents collègues sincèrement désireux d'accomplir honnêtement leur travail.

Le 7 juin, au Salon européen de la recherche et de l'innovation, le freezing est devenue une arme politique du mouvement Sauvons la recherche. Sauf qu'ils ont encore du progrès à  faire, on voit un gars bouger à  la 37e seconde et une nana à  la 54e et à  mon avis, la vidéo serait bien plus percutante si elle s'ouvrait sur la mise en place du freezing…

Le 3 juin, un candidat américain promettait vaguement de renewing our commitment to science and innovation. Mais ces quelques mots prononcés par Obama ne sont pas passés inaperçus tant les américains en veulent aux républicains d'avoir fait du mal à  leur science.

En juin, le magazine ''research*eu'' de la Commission européen (DG Recherche) nous gratifait d'un beau lieu commun : dans une époque surchargée de communiqués de presse, blogs et autres wikis, personne n'est à  l'abri de l'inexactitude, encore moins lorsqu'il s'agit de science (p. 14).

Le 19 juin, la revue Nature frôlait le numéro spécial sur la fraude scientifique avec un éditorial, l'annonce de la suspension d'un chercheur mal intentionné à  l'Université de Pennsylvanie et une enquête montrant que seulement 58 % des 201 comportements frauduleux observés par les 2,212 chercheurs interrogés ont été signalés à  la hiérarchie ces trois dernières années. Et les 24 cas soumis chaque année en moyenne par les institutions de recherche à  l'Office of Research Integrity américain ne sont que le sommet de l'iceberg... Ce qu'il manque, affirment les auteurs de l'étude ? Une culture de l'intégrité dans les labos.

Le 23 juin, un article du rédacteur en chef de Wired, le père de la "longue traîne" Chris Anderson, annonçait la fin de la théorie et le début de la science empirique basée sur les quantités colossales de données dont on dispose désormais. Un peu comme Google qui ne fait aucune hypothèse et modèle mais rend compte de nos habitudes et notre langage en moulinant des pétaoctets de données dans des serveurs équipés d'algorithmes surpuissants. Mais à  la question qu'est-ce que la science peut apprendre de Google ?, Alexandre Delaigue apporte une réponse très réservée tandis que Gloria Origgi de l'Institut Nicod s'enthousiasme beaucoup plus.

Les deux élèves-ingénieurs français tués à  Londres le 29 juin étaient des… spécialistes de l'ADN selon l'article du Monde. Or une enquête rapide montre que Laurent Bonomo étudiait un parasite qui se transmet des chats aux foetus c'est-à -dire Toxoplasma gondii, probablement dans ce labo. Gabriel Ferrez, lui, étudiait des bactéries capables de créer de l'éthanol utilisable comme biocarburant, probablement dans cet autre labo. On est loin de simples spécialistes de l'ADN, une dénomination qui équivaut sans doute pour Le Monde à  un synonyme de "biologiste"...

En juillet, nous apprenions l'étonnant destin de l'article en français le plus cité de la base bibliographique Scopus (plus de 500 citations), lequel posait les bases de la vertebroplastie en 1987.

Le 11 juillet paraissait dans Science un article (en accès libre ici) de sociologues des médias étudiant l'attitude des chercheurs face aux journalistes scientifiques. Le résultat selon lequel 46 % des chercheurs interrogés ont une expérience plutôt positive d'un tel contact, venant à  l'encontre d'autres études, a été longuement commenté.

Dans son numéro suivant, Science frappait à  nouveau un grand coup avec un article de James Evans montrant que la mise en ligne des publications scientifiques entraîne un appauvrissement des citations bibliographiques (les articles cités sont de plus en plus jeunes et de moins en moins variés). Selon l'auteur, ce serait parce qu'en naviguant en ligne on a plus tendance à  être guidé vers les articles clés d'un domaine (en mode suivi des liens hypertextes "Voir aussi...") et à  faire un choix plus strict des références à  citer (puisqu'elles sont accessibles et vérifiables en ligne). Fini notamment l'heureux hasard ("sérendipité") qui permettait, en potassant les sommaires d'une revue, de faire des rapprochements inattendus et d'explorer des voies de traverse. Le consensus se construit désormais à  vitesse grand V. Le magazine The Economist y voit la fin de la longue traîne dans les citations (via l'Agence Science-Presse). Stevan Harnad, en tous cas, fait le tri entre les diverses explications de ce phénomène, tout comme un commentaire de la revue Science...

Le 20 juillet à  l'Euroscience Open Forum de Barcelone, des experts ont appelé à  la prise en compte des risques toxicologiques des nanotechnologies. Il semble en effet que des résultats scientifiques récents mettent en évidence l'existence de risques brandits depuis longtemps...

Le 29 juillet, un éditorial de la revue Genome Biology se moquait gentiment du facteur d'impact en imaginant que le même système est appliqué pour décider si l'on est envoyé au paradis ou en enfer (via Pawel). Extrait :

Genome Biology : Ecoutez, une fois que le facteur d'impact a dominé l'évaluation de la science, les chercheurs créatifs ont été maudits. Les bureaucrates n'ont plus eu à  connaître quoi que ce soit ou avoir un semblant de sagesse ; tout ce qu'ils avaient à  faire était de se fier à  quelques nombres arbitraires. Et maintenant vous me dites que vous faites cela pour déterminer qui va au paradis ?

Saint Pierre : Oui, c'est beaucoup plus simple. Peu importe si vous avez été gentil ou avez fait de votre mieux ou avez bien travaillé ou avez été pieux ou modeste ou généreux. La seule chose qui compte c'est de calculer si vous avez eu un gros impact.

A part classer les chercheurs ou les universités le dimanche, la bibliométrie sert aussi à  comprendre la structure d'une discipline ou de la science en général. C'est pour cela qu'elle fait partie de la boîte à  outil de cette "science de la science" qu'est la scientométrie. Notamment pour mieux cerner les mathématiques, une science décidément à  part.

Tout commence avec un article récent de Stephen J. Bensman, truffé de statistiques, qui analyse la différence de distribution des citations dans les revues de "science dure" et les revues de sciences humaines et sociales en 2005. Il constate notamment qu'en sciences dures, la distribution est binomiale négative tandis qu'elle est de type Poisson en sciences sociales. Concrètement, cela signifie que la distribution est beaucoup plus aléatoire dans ce second cas : la vaste majorité des revues de sciences sociales se répartissent quasi-uniformément entre les trois premiers 20-quantiles (histogramme ci-dessous), alors que 82% des revues de science dure sont concentrées dans le premier 20-quantile.

Dans les deux cas en tous cas, les distributions sont extrêmement asymétriques. La majorité des articles sont pas ou peu cités, et donc les facteurs d'impact décollent difficilement de zéro. On peut dès lors s'intéresser aux quelques revues les plus citées, celles qui traduisent d'autres comportements distinctifs de leur champ. Ainsi, on constate que chaque numéro des 64 revues les plus citées en science dure a une probabilité de 75% de contenir un article de synthèse (review article), contre 7% dans les 60 revues à  fort facteur d'impact en sciences sociales. Il ne fait aucun doute que les sciences sociales utilisent beaucoup moins l'article de synthèse, dont la fonction est d'établir des consensus, préludes à  la cristallisation de paradigmes. On touche là  en effet à  une différence de fonctionnement entre les deux champs : on considère généralement que les sciences sociales sont organisées en "écoles de pensée", co-existant les unes à  côté des autres, parfois depuis des décennies (bourdieusiens, marxistes…) tandis que les sciences dures avancent dans une unique direction, jalonnée par des articles de synthèse, en faisant peu appel à  la littérature plus ancienne qu'une dizaine d'années. Au sein des sciences sociales, on peut cependant distinguer la psychologie et les sciences du comportement, qui se comportent plutôt comme des sciences dures avec une forte asymétrie et de nombreux articles de synthèse !

Mais qu'en est-il des mathématiques ? Ce n'est encore qu'une intuition mais le même Stephen Bensman suggérait sur une liste de diffusion qu'elles ressemblent plus aux sciences sociales qu'aux sciences dures. Le facteur d'impact des revues de mathématiques est compris entre 0,108 et 2,739, soit un écart très restreint, et les revues les plus citées ne contiennent aucun article de synthèse. On reconnaît les signes d'une loi de distribution des citations extrêmement aléatoire et de l'absence de développement de paradigmes consensuels. Qui plus est, le graphique ci-dessous extrait d'un rapport de l'International Mathematical Union (IMU) montre bien que l'obsolescence des articles en mathématiques est extrêmement lente, voire inexistante, bien loin de la biologie cellulaire. Encore l'indice d'une science sociale.

Certes, on pourrait reprocher aux critères utilisé leur pauvreté. Mais sous cet angle toutefois, l'hypothèse semble bien tenir la route… Surtout, il en découle une conséquence directe : comme en sciences sociales, cela ne fait aucun sens d'évaluer les mathématiciens par des indicateurs de citation. En effet, qui dit absence de paradigmes faisant consensus dit impossibilité d'évaluer un chercheur de façon mécanique. Plutôt que d'avoir affaire à  des chercheurs bons ou mauvais dans un paradigme donné, on a affaire à  des chercheurs travaillant dans des paradigmes différents et donc impossibles à  comparer entre eux. L'analyse des citations, surtout dans un intervalles aussi petit, ne nous apprend quasiment rien. Pour preuve, la corrélation entre l'évaluation par les pairs des écoles doctorales mené en 1993 aux Etats-Unis par le National Research Council et les citations obtenues par chaque faculté n'est que de 56% en mathématiques. A comparer, par exemple, avec les 81% de la chimie ou les 70% de la physique !

Rappel : premier et deuxième épisode.

Depuis janvier dernier, deux rebondissements ont eu lieu dans l'affaire opposant le rédacteur en chef du Journal of Cell Biology et Thomson Scientific, producteur du facteur d'impact. David (du C@fé des sciences) a aussi écrit dans Sciences et avenir un article qui aborde avec brio la question du facteur d'impact et mentionne, entre autres, la désormais célèbre "affaire du Journal of Cell Biology". L'occasion de revenir sur le sujet.

Dans la revue Laboratory Investigations, deux membres de son comité éditorial prennent un malin plaisir à  expliquer comment, eux, ont d'excellentes relations avec l'équipe de Thomson Scientific et comment leur utilisation des données fournies par cette entreprise leur a toujours permis de retrouver au centième près la valeur du facteur d'impact annoncée. Ils s'amusent même à  en donner la méthodologie complète, soulignant que les auteurs de l'article qui a mis le feu aux poudres s'en étaient dispensés ! Qui plus est, écrivent-ils, la constance, la transparence et l'utilité des données de Thomson Scientific sont confirmées par un petit exercice auquel ils s'étaient livrés : calculer, avant sa parution, le facteur d'impact 2006 de 6 revues de pathologie, en tenant compte de la dynamique temporelle observée. Résultat : Dans 5 cas sur 6, la prédiction était correcte à  95%.

En parallèle, Roger A. Brumback publiait dans la revue Journal of Child Neurology (décidément, c'est toute la communauté des biologistes qui s'est sentie concernée), dont il est le rédacteur en chef, un article provocateur intitulé "Chérir de fausse idoles : le dilemme du facteur d'impact". Il compare d'abord l'apparition du facteur d'impact à  l'invention de la dynamite par Alfred Nobel et de la fission nucléaire par Enrico Fermi : de paisibles découvertes qui ont eu littéralement des conséquences explosives et, dans le cas du facteur d'impact d'Eugene Garfield, menace de détruire l'activité scientifique telle que nous la connaissons. Et d'expliquer comment un simple indicateur de l'importance des revues, permettant de choisir lesquelles doivent être indexées dans les revues d'abrégés ou souscrites par les bibliothèques, est devenu le mètre étalon des revues scientifiques, des chercheurs, des comités d'évaluation et des gouvernements. Et il se livre à  son tour à  un décorticage en règle du facteur d'impact 2006 de sa revue, s'arrêtant notamment sur la disparité entre PubMed et les données de Thomson Scientific en ce qui concerne la nature des articles publiés (PubMed comptabilise 207 articles publiés en 2005, dont 33 revues de synthèse, alors que Thomson Scientific comptabilise 213 articles dont seulement 6 revues de synthèse). Certes l'écart peut s'expliquer par des différences de tour de main, et Dieu sait qu'elles existent et peuvent même se négocier au cas par cas chez Thomson Scientific, mais on revient à  la délicate question de la transparence des choix effectués. Car ce nombre, qui se retrouve en dénominateur, conditionne directement le calcul de l'impact facteur.

Enfin, on notera le dernier numéro de la revue en accès libre Ethics in Science and Environmental Politics consacré à  l'usage (et mauvais usage) des indicateurs bibliométriques dans l'évaluation de la performance de la recherche. Avec quelques plumes en vue, comme Stevan Harnad que l'on ne présente plus, Anne-Wil Harzing créatrice du logiciel "Publish or perish" et Philip Campbell, le rédacteur-en-chef de la revue Nature qui est un habitué du sujet...