Ce billet est la traduction du billet "Hey, Ref!" du physicien-blogueur Chad Orzel, traduit avec autorisation de l'auteur — que je remercie. Daté du 20 octobre dernier mais publié pour la première fois en juillet 2002, c'est le témoignage pertinent et drôle d'un chercheur sur cette importante étape de toute publication scientifique : le peer review ou contrôle par les pairs.

On vient de me demander de relire un article scientifique, pour la quatrième fois en sept mois. Comme le peer review est souvent cité comme la clé de voûte de la recherche scientifique moderne, comme la plupart des gens n'ont pas d'idée claire de ce que cela signifie et comme le blog est bon moyen de procrastination pour ne pas lire l'article en question, je vais parler un peu du processus de peer review.

L'idée de base, que l'on peut trouver dans n'importe quel manuel de philosophie des sciences et qui est utilisée comme argument contre la théorie de l'intelligent design, est que la science avance vers la vérité à  travers un processus d'expériences et vérifications. Les nouveaux résultats d'une équipe de recherche sont soumis à  la communauté scientifique dans son ensemble, et décrits avec suffisamment de détails pour que les autres chercheurs puissent vérifier la validité du travail et tenter de reproduire les résultats. Si de nouveaux résultats expérimentaux sont reproductibles, ou si de nouvelles théories sont confirmées par l'expérience, ces résultats vont être acceptés et former le socle des futures découvertes. Le peer review, validation a priori par des chercheurs qualifiés des articles soumis, est une des clés de voûte du système.

En pratique, le processus est un peu plus brouillon, évidemment. Pour l'auteur, cela fonctionne ainsi : vous suez sang et eau pour rédiger une description concise mais complète de votre travail, que vous envoyez à  une revue, qui l'envoie à  quelque pair anonyme (en général deux pairs), qui passe les six mois suivants à  ignorer l'article et les rappels à  l'ordre qu'envoient les directeurs de publication, avant de démolir votre travail sans pitié et d'insister pour que vous fassiez des changements profonds qui vous obligent à  dépasser la longueur maximale, conduisant à  une grosse bagarre avec les directeurs de publication.

Du pont de vue du comité de lecture, évidemment, c'est complètement différent. Pour le relecteur, cela fonctionne ainsi : les revues attendent que vous soyiez en vadrouille pour vous envoyer un e-mail disant : "Nous aimerions que vous contrôliez cet article. Si vous ne répondez pas dans les quinze prochaines minutes, nous considèrerons que vous acceptez, et vous enverrons l'article." Au moment où vous êtes de retour dans votre bureau, vous êtes implicitement engagés à  lire un charabia impénétrable dans un domaine où vous n'avez jamais travaillé, qui était d'abord écrit en chinois avant d'être traduit en portuguais, puis pachto, puis finnois et finalement en anglais grâce à  Babel Fish. Vous avez quatre cours à  préparer, vous êtes en train d'écrire un article pour une autre revue, et vous avez été convoqué pour être juré dans une affaire de meurtre et séquestré, donc vous mettez de côté l'article quelques temps, pour vous retrouver noyé sous les lettres mauvaises qui vous demandent quand le rapport d'évaluation sera prêt. Puis, quand vous finissez par envoyer votre rapport ("Je vous en supplie, demandez à  un anglophone de vous relire."), les auteurs ont le culot de contester vos commentaires rédigés avec soin.

OK, c'est peut-être un peu exagéré.

Cela fontionne ainsi : un article qui contient de nouveaux résultats est envoyé à  une revue, où les directeurs de publication vérifient rapidement qu'il convient (c'est-à -dire qu'il traite de physique plutôt que de science politique) avant de l'envoyer à  deux pairs, choisis parmi des chercheurs dont les nom, adresse et domaine d'expertise sont conservés dans une base de données (constituée à  partir des chercheurs qui ont déjà  publié des articles dans le journal). Les relecteurs sont priés de lire l'article et de juger sa qualité scientifique : est-ce que le travail est original, est-ce qu'il est factuellement correct (ou au moins semble l'être), est-ce qu'il donne tous les détails nécessaires, est-ce qu'il contribue plus généralement à  l'accroissement des connaissances ? Les relecteurs font aussi des recommandations sur la forme de l'article — est-ce que l'écriture est claire et les figures compréhensibles ? — et, en fonction de la revue, peuvent être amenés à  faire des jugements plus abstraits relatifs à  l'"importance dans le domaine" ou l'"intérêt général". Selon les commentaires des pairs (qui restent anonymes pour l'auteur), l'article peut être accepté immédiatement, rejeté sans appel ou renvoyé aux auteurs, avec les commentaires joints, pour toute révision qui s'avère nécessaire.

Comme indiqué précédemment, c'est un calvaire pour tout le monde. Pour les revues les plus importantes (Science, Nature, Physical Review Letters), les articles sont soumis à  des limites très strictes du nombre de caractères si bien qu'il n'est pas toujours facile pour les auteurs de faire des modifications, et les chercheurs sont sacrément susceptibles dès que des personnes extérieures critiquent leur travail, d'où certaines bagarres dues aux commentaires des relecteurs. Pour le relecteur, lire un article avec l'attention nécessaire pour faire les commentaires demandés est incroyablement chronophage — se faire une idée relativement précise d'un domaine un peu éloigné pour être capable de replacer l'article dans son contexte et juger de son importance demande du travail (même si ce travail en vaut souvent la peine). Qui plus est, les limites de taille forcent souvent à  un style d'écriture très laconique et jargonnant qui peut être difficile à  percer (mais facile à  parodier), même pour un professionnel. En général, les auteurs qui soumettent des articles tendent à  considérer ce processus comme l'une de ces foutues épreuves par lesquelles il faut de toute façon passer, de quelque manière que ce soit (comme se plier aux exigences arbitraires de formatage des articles que la plupart des revues imposent), pendant que les chercheurs contraints à  relire des articles essayent d'y échapper quand c'est possible, en refilant l'article à  des collègues, post-docs ou étudiants.

Mais hormis sa pénibilité, c'est un partie cruciale de ce qui fait marcher le système. C'est ce qui sépare la foule de l'intelligent design et le type au "cube temporel" des vrais scientifiques, et le processus est efficace. Dans la poignée d'articles que j'ai publiés, un relecteur a noté une coquille embarassante qui s'était glissée dans une équation et avait échappée aux 5 co-auteurs, et un autre posa une question très pertinente qui me fut resservie pendant ma soutenance de thèse (pas un évènement qui transfigura la face de la science, j'imagine, mais je me sentis mieux de connaître la réponse à  l'avance...). Un des articles que j'ai relu comportait une erreur de signe dans la toute première équation qui changeait toute la suite (il n'a pas été accepté pour publication). Savoir que cette tâche est importante est à  peu près tout ce qui fait tenir le système — les relecteurs ne sont pas indemnisés pour leur temps et c'est quasiment un travail sans gratification, mais j'essaye de ne pas refuser les demandes de relecture à  moins que je ne sois vraiment pas qualifié pour commenter le travail en question, simplement parce qu'il faut bien que quelqu'un le fasse et que c'est une partie importante de la citoyenneté scientifique (en fait, c'est l'équivalent pour la science de siéger comme juré d'assises).

Le plus gros problème de ce système est que les critères de publication sont extrêmement variables. L'idée que se fait un relecteur de l'"importance et intérêt général pour la communauté des physiciens" peut correspondre à  l'idée que se fait un autre de "vétille sans intérêt". Il m'est rarement arrivé de lire les Physical Review Letters (NDT: revue scientifique la plus estimée et reconnue en physique) sans me dire : "qui a pu penser que ce soit suffisamment important pour être publié ici ?" et de nombreux chercheurs se sont vus refuser un article par une revue importante uniquement pour voir dans le numéro suivant un article très semblable avec une approche à  peine différente. Il y a quelques moyens de protection au sein du système pour empêcher toute manœuvre politique (des auteurs peuvent suggérer des relecteurs, et demander à  ce que leur article ne soit pas relu par certaines personnes, et les revues essayent d'éviter d'envoyer les articles à  des collègues proches), mais les accusations qu'untel relecteur a été sans pitié pour l'article d'un concurrent sont une ritournelle des discussions de physiciens. J'ai eu la chance de travailler dans un domaine où les articles sont relativement peu controversés mais j'ai entendu des histoires abominables dans d'autres domaines sur des auteurs taisant ou falsifiant des informations cruciales pour protéger un avantage compétitif ou une demande de brevet (il faudrait demander à  Derek Lowe pour plus d'informations).

Pourtant, malgré tous les aspects les plus critiquables du peer review, on est loin des conceptions extrêmes façon Kuhn ou relativiste de la science comme "construction sociale"[1]. Il y a bien des controverses moches de temps en temps, et un peu de nivellement par le bas des notions d'importance et d'intérêt général, mais dans son ensemble le système fonctionne. Le travail faux et sans queue ni tête est rejeté, le travail fondamentalement correct mais mal écrit est amélioré, et la Science, comme ils disent, Avance. La preuve est parmi nous — le peer review est essentiel pour le progrès de la science et celui-ci a permis tout cet attirail de commodités technologiques qui rendent la vie de tous les jours plus supportables.

Pour paraphraser une fameuse citation sur la démocratie, le système actuel est le pire des systèmes à  l'exception de tous les autres que l'on peut imaginer. C'est inélégant et pas pratique, et l'objet de nombreuses rengaines sur comment tout va à  vau-l'eau, mais d'une manière ou d'une autre cela tient suffisamment bien ensemble pour faire marcher tout le reste.

Notes

[1] NDT : A notre avis, l'auteur fait ici un contre-sens puisqu'il mentionne des conceptions sociologiques qui sont loin de reposer sur une simple analyse au premier degré des modes de fonctionnement de la communauté scientifique mais se sont construites sur une analyse historique ou au plus près des acteurs des notions de fait scientifique, de découverte et de consensus scientifique.