La science, la cité

Trois responsables de revues scientifiques viennent de prendre la plume pour critiquer et dénoncer le facteur d'impact. Encore, me direz-vous. Mais je passerai sur les critiques les moins pertinentes^[1] pour m'attarder sur le cœur de leur article : la qualité et la transparence des données de Thomson Scientific, l'entreprise qui publie annuellement le Journal Citation Reports.

Car je le soulignais ailleurs, l'intérêt du facteur d'impact, au-delà  de ses usages abusifs et pas toujours éclairés, c'est sa transparence : les règles du jeu sont connues à  l'avance et les chercheurs savent sur quelle base ils sont évalués. Ce qui nous change du copinage, localisme et autres barbarismes académiques. Sauf que si les données sont inaccessibles et opaques, comme le racontent les auteurs, cet intérêt est perdu. En fait, ils ont essayé d'obtenir une version du Science Citation Index pour, notamment, comprendre et comparer l'impact facteur de leurs revues avec ceux des "concurrents". Manque de chance, la base de données fournie n'est pas celle qui sert au calcul, et les résultats obtenus à  la main ne collaient pas avec ceux publiés dans le Journal Citation Reports. Ils ont réclamé la version qui fait foi, en vain. La conclusion s'impose d'elle-même : Quand un auteur n'est pas capable de fournir des données originales pour vérifier un chiffre dans un des articles qui nous est soumis, nous n'acceptons pas sa publication. Nous espérons que ce compte-rendu convaincra quelques chercheurs et organismes de financement de ne plus accepter le facteur d'impact comme représentation exacte de la qualité — ou de l'impact — d'un article publié dans un journal donné.

Que cette déficience de Thomson Scientific soit temporaire ou permanente, la question des données n'en reste pas moins cruciale. Car au même moment, un spécialiste de bibliométrie publiait sur son site un article à  paraître en 2008 : "Caveats for the use of citation indicators in research and journal evaluations". Celui-ci s'attarde notamment sur les erreurs dans le recensement des revues, qui fait que J Phs Chem-US est compté alternativement comme J Phys Chem A ou J Phys Chem B, recueillant donc deux fois moins de citations, et qu'à  l'inverse, Angewandte Chemie est surévalué de 21,5% parce que la version allemande de la revue est souvent citée en même temps que sa version internationale !

Alors oui, un audit des données de Thomson Scientific ne serait pas de trop, voire une vraie tentative de construction d'une base et d'un indicateur concurrents (comme SCImago), afin de forcer Thomson Scientific à  la transparence.

La propagation des idées entre individus est un sujet qui attire habituellement l'intérêt des cogniciens et méméticiens d'AlphaPsy. Mais quand on l'applique aux scientifiques, cela nous force à  (re)considérer la manière dont la science avance et dont ses thématiques ou paradigmes s'affirment. La question est ancienne^[1] mais mobilise, depuis les années 1960 et D.J. de Solla Price, de nouvelles méthodes quantitatives.

L'Office of Scientific and Technical Information américain travaille précisément sur le sujet, avec une approche nouvelle : considérer la diffusion des idées en science comme la dissémination d'un agent infectieux. Mobilisant les modèles mis au point par l'épidémiologie, en particulier le modèle à  quatre états "Susceptible, Exposed, Infected, Recovered", ils ont étudié une série de cas en montrant comment la probabilité et l'efficacité de contact entre chercheurs (notée àŸ) permet de diminuer le temps nécessaire au développement des connaissances (ou en tous cas, le temps nécessaire à  la contamination des chercheurs par une nouvelle idée). Ainsi, dans le cas des recherches sur le prion, un doublement des contacts (courbe en noir) grâce à  une meilleurs diffusion des articles et des données, une plus grande interaction dans des congrès, plus d'échanges entre labos etc. aurait fait gagner environ 30 ans à  la science (par rapport à  la courbe en rouge) !

Selon le cas étudié, différent paramètres jouent dans la dynamique de diffusion : la population initiale de chercheurs "sensibles" (plus petite pour les recherches sur la théorie des cordes que pour celles sur le prion) et l'efficacité de contact (meilleure pour les recherches sur la théorie des cordes que pour celles sur le prion, car les premières nécessitent un outillage moins coûteux et font donc plus facilement de nouveaux adeptes).

Ce modèle, bien qu'intéressant, nous laisse sur notre faim. Les auteurs font bien quelques critiques de l'utilisation d'un modèle épidémiologique (contrairement à  la plupart des épidémies, les contacts en science sont longs — typiquement 3 ans entre un thésard et son encadrant —, tout comme peut l'être le temps d'incubation — souvenons-nous des "belles au bois dormant") mais laissent de côté ce qui me semble primordial en tant qu'apprenti-sociologue des sciences : les facteurs externes. En effet, on peut considérer que les recherches sur le prion auraient pu plafonner vers les années 1990, alors qu'elle démarrait à  peine pour nous. Mais ce serait oublier que l'essentiel de cette recherche s'est développé quand le besoin politique s'en faisait sentir avec la crise de la vache folle ! Idem avec les recherches sur le H5N1... Bref, ce ne sont pas seulement les propriétés internes de la communauté scientifique qui déterminent sa dynamique, c'est évident.

Sans compter les limites intrinsèques à  une multiplication de l'efficacité de contact : on peut dire que la science progresserait plus vite avec une meilleure efficacité de contact, qui est sûrement perfectible, mais les chercheurs ne sont pas non plus des super-héros (quoique...) ! Par contre, penser que la science aurait pu se développer autrement, et faire de l'uchronie scientifique, voilà  qui me plaît beaucoup :-)