Hourrah, nos (vieux) Académiciens des sciences se préoccupent des nouveaux enjeux de l'édition scientifique, notamment l'accès libre (open access), et mettent en ligne les vidéos du colloque consacrées à  ce sujet ! Quelques remarques, à  lire en sus du compte-rendu d'Affordance.

Un débat intéressant : la place du facteur d'impact dans l'évaluation des chercheurs. Pierre Joliot s'est ému (1'53'') de ce qu'un indicateur quantitatif si mécanique puisse dire s'il est un bon ou mauvais chercheur, sachant d'expérience que ce qu'il (et Etienne Joly, un autre intervenant) considère comme ses meilleurs articles sont finalement les moins cités. Deux réponses à  cela :

  • le facteur d'impact n'a jamais été un indicateur de qualité mais bien de visibilité : plus vous êtes cité, plus vous êtes visible et vice-versa (notamment parce qu'on peut être cité pour de bonnes ou mauvaises raisons) ;
  • si le facteur d'impact ne peut juger de la qualité d'un article, si même aucun indicateur quantitatif ne le peut, un Homme le peut-il ? Ce que Joliot considère comme ses meilleurs articles sont les plus originaux, explique-t-il. Les plus novateurs. Un pair (disons quelqu'un qui évaluerait le travail de Joliot ou son équipe pour le compte du CNRS) qui passerait en revue la bibliographie de Joliot s'arrêterait-il sur cette poignée d'articles encore incompris ou bien considèrerait-il que les autres sont les plus marquants ? Je penche pour la deuxième solution, ce qui me fait dire que malgré son imperfection, l'analyse des citations (quand elle est bien menée et interprétée) ne fait que reproduire le comportement d'évaluation des chercheurs. Logique, puisque c'est finalement ce qu'ils font tous les jours quand ils décident de citer un tel ou un tel !

En fait, si la qualité perçue par les pairs est empiriquement corrélée au nombre de citations reçues, celui-ci est bien plus significativement corrélé à  la faible créativité — c'est à  dire que les articles ne rentrant pas dans les cadres conceptuels existants ou dans les normes sociales en cours dans un domaine académique[1] sont moins cités. Peut-être justement, expliquent les auteurs de ce travail, parce qu'ils sont moins utilisés, et donc moins visibles rajouterais-je.

Un autre débat intéressant : comment suivre le volume exponentiel de littérature produit ? Le représentant de PLoS met en avant les capacités présentes ou à  venir de la fouille de texte et de données, notamment sur la base Pubmed Medline. Etienne Joly, lui, conseille l'utilisation d'outils comme Faculty of 1000 ou les alertes de citations fournies par Thomson/ISI. Autant de services payants… Pas un mot sur le web 2.0 et l'intelligence collective — gratuite — façon suivi des articles les plus populaires sur CiteULike par domaine ou des articles les plus blogués sur Postgenomic. Des outils à  améliorer, certes, mais déjà  utiles !

Enfin, une information importante que j'ignorais (10' 47'') : à  partir de 2008-2009, le dépôt des publications dans l'archives en accès libre HAL sera rendu "indirectement obligatoire" par l'INSERM. En fait, cela signifie que, dès cette date, ne seront regardés pour la création des unités que les articles qui y sont déposés. On peut imaginer en effet le temps gagné lors de l'évaluation des chercheurs si les publications sont toutes regroupées au même endroit et librement accessibles ! Décidément, on n'aura de cesse de trouver des avantages à  l'accès libre aux résultats de la recherche (que ce soit l'auto-archivage par les auteurs ou les revues en accès libre)…

Notes

[1] W. R. Shadish, D. Tolliver, M. Gray et S. K. Sen Gupta (1995), "Author judgments about works they cite: Three studies from psychology journals", Social Studies of Science, 25: 477-498 (DOI)