Peer commentary
5
déc.
2006
Une des voies d'avenir du peer review est l'open peer review où les lecteurs ont accès aux conclusions des rapporteurs et peuvent moduler leur lecture en fonction. Mais si le peer review en soi reste la pierre angulaire du système, il n'empêche pas de développer une option tout à fait excitante nommée peer commentary où tous les lecteurs peuvent réagir à l'article et confronter leurs points de vue, ce qui offre une lecture encore plus riche. On le retrouve notamment sur la plateforme ArXiv de physique et mathématiques (avec la fonction de trackback qui permet de faire savoir que l'on a blogué sur l'article), dans les journaux PLoS (par exemple PLoS Computational Biology) et bientôt PLoS ONE que l'on promet novateur en matière de communication scientifique…
Mais dans la plupart des cas, si les commentaires sont intéressants, ils ne suscitent pas des réactions passionnées et il n'y a pas de vrai débat autour de l'article. Le cas est différent avec un article publié dans le British Medical Journal dont vous avez peut-être entendu parler, qui montre que "googler" les symptômes d'une maladie mène au bon diagnostic dans 58% des cas ! Or, depuis le 11 novembre, il y a déjà eu 39 commentaires, la plupart de médecins, venant critiquer ou approuver l'étude. C'est ainsi que sont critiqués l'intervalle de confiance de 38% à 77%, les biais liés à la manière dont les maladies testées ont été sélectionnées, la démarche assez limitée où les symptômes sont empruntés exactement au vocabulaire médical ou la notion qui a souvent transparu de "Google comme fournisseur de contenu" ; à l'inverse, des lecteurs constatent qu'eux-mêmes pratiquent le googling de symptômes, conseillent d'autres bases de données que Google comme Google Health ou d'ajouter "emedecine" à la syntaxe de recherche pour augmenter la probabilité d'avoir des réponses pertinentes, voire posent d'autres questions pour les études à venir.
Pour moi, le contrat est rempli : le peer commentary permet d'enrichir l'article immédiatement après sa publication et d'apporter des éléments supplémentaires, entraînant même la réponse des auteurs ! Le tout disponible en ligne en accès libre, de quoi éclairer aussi la lecture d'un profane qui aurait voulu en savoir plus sur un article repris en masse par la presse grand public, pas souvent de manière rigoureuse.
Concluons ce billet avec quelques remarques plus générales de Ghislaine Chartron (tirées de son article sur "Une économie renouvelée de la communication scientifique") (c'est moi qui souligne) :
Sans bouleverser fondamentalement les processus de communication et de publication scientifique, ces innovations [sociales] ont introduit, pour la publication scientifique (...) une ouverture des cercles d’autorité qui ne peuvent pas ignorer les échanges informels portés par le réseau ; l’autorité désignée (comités scientifiques fermés) doit faire face à l’agora ouverte des autres chercheurs. Ce dernier point renvoie à la notion de peer commentary – pour reprendre les termes de S. Harnad – qui s’est développée de façon inégale et de manière souvent informelle ; le peer commentary est perçu majoritairement comme une fonction supplémentaire pouvant améliorer la qualité de l’évaluation, mais ne pouvant en aucune façon se substituer au peer review (Harnad, 1998). Le processus d’évaluation scientifique est resté jusqu’à présent assez stable dans le cadre du numérique. Certes, au niveau organisationnel, il a bénéficié d’une logistique d’appui plus élaborée (utilisation possible d’un logiciel de workflow), mais aucune évolution plus profonde n’a vraiment pris place. Contrairement à de nombreuses formes de débat public, la fonction d’évaluation reste attachée à un travail approfondi, cadré dans une relation de confiance entre des experts et des comités de rédaction. La transposition de cette fonction sur d’autres vecteurs pourrait très bien s’envisager mais il n’en est rien pour le moment, la revue restant le repère structurant de la publication scientifique, même dans les champs les plus innovants en termes de communication numérique. Toutefois, il faut signaler l’ouverture très récente (juin 2006) du service PloSOne qui vise à introduire des débats plus ouverts pour l’évaluation des articles des revues de cet éditeur, articles qui sont déjà en accès libre par ailleurs. L’évolution est peut-être en marche ?…
Commentaires
Je ne connaissais pas le système de trackbacks sur arXiv, merci pour l'info. C'est vrai que c'est dommage de ne pas disposer systématiquement d'endroit spécifique où débattre des publis ...
Est-ce certain, en outre, que le peer commentary ne puisse se substituer au peer review ? Alors que les reviewers traditionnels ne sont généralement que modérément impliqués dans l'article qui leur est soumis, les commentateurs pourraient l'être davantage, entre autres parce qu'ils sont potentiellement en "compétition" avec les auteurs sur le sujet, donc potentiellement plus critiques, en tout cas plus attentifs.
Eric > Peut-on se passer du peer review et le remplacer par le peer commentary ? C'est une question difficile puisque cela sous-entend se passer des revues comme le souligne bien G. Chartron (cf. mon billet). En fait, malgré toutes les critiques que l'on peut faire au peer review, il reste nécessaire pour ne pas engorger les revues et publier le tout-venant, ce qui impliquerait à terme la perte de ce qui fait l'intérêt des revues : visibilité, reconnaissance, qualité, constance, politique éditoriale etc.
Du coup, reste la question "Peut-on se passer des revues ?". Je suis convaincu que la réponse est "oui", et je suis impatient de voir les changements en profondeurs que cela demandera et entraînera sur la pratique scientifique et son évaluation (dont on peut déjà apercevoir des prémices avec ArXiv et la communauté des mathématiciens, voir le cas Perelman). Il me semble que PLoS ONE est aussi une expérience à suivre attentivement.
Bonsoir. Si je comprends bien le peer commentary est un peu à la publication scientifique ce qu'est la démocratie participative à la démocratie. N'y a t-il pas là un risque de voir fleurir des commentaires assassins, non fondés, non argumentés qui jetteront un doute sur le travail publié ? Je doute un peu que les équipes concurrentes s'aventurent à commenter plus avant le travail de leurs collègues. Tout au plus, cela stimulera l'envie (et quelques fois l'urgence) d'accélerer la préparation d'une publication complémentaire (ou meilleure, dans le sens qu'elle répond, par exemple, à une question soulevée par la publication des collègues). Ceux qui auront un petit plus à apporter (une expérimentation plus élégante, une théorie plus complète, ...) continueront à vouloir le voir publier. Bien peu iront vendre la mèche dans un commentaire. La concurrence est trop exarcebée pour ça. D.
Inactuel > Des commentaires assassins et non argumentés ? Il faut avoir du temps à perdre à cela, sachant évidemment que les commentaires apparaissent au vu et au su de tout le monde (anonymat interdit). Et je doute que ça devienne la majorité des contributions — ce genre de commentaires est d'ailleurs très rare pour l'instant, en partie à cause des barrières qui sont mises en place avec la validation a posteriori. Chez PLoS Computational Biology par exemple, cela donne :
Quant à la question de la publication des critiques par article au lieu d'un simple commentaire, je trouve ça réducteur car :
Le risque pointé par inactuel existe bien dans le cas de controverses où une des parties pourrait s'attaquer aux articles de l'autre. Les individus, même avec leur nom, seraient bien incités à s'attaquer aux articles avant publication, puisque cela renforcerait leur crédibilité dans leur groupe d'appartenance. Ca devrait donc plutôt bien marcher en période de "science normale" et plutôt très mal en période de "changement de paradigme" (pour parler comme qui-vous-savez) Une remarque à partir de cela : je crois que ce genre de projets a toujours tendance à un peu trop croire aux "grandes communautés" en accord avec elles-mêmes. Si on pouvait faire de la science avec un wiki, ça se saurait, et c'est un peu la même chose avec les débats démocratie participative sur internet : les clivages sont parfois trop forts pour qu'un dialogue ait lieu hors d'institutions qui aient une certaine autorité et un certain arbitraires : non (et malheureusement?) les revues ne sont pas mortes (et les referees non plus). Mais bon le post et la citation de G. Chartron sont plus nuancés ne vont pas jusque là .
kaem > Je suis d'accord en ce qui concerne les controverses et les attaques parfois ad hominem qui s'ensuivent. Je travaille en ce moment sur la controverse Quist et Chapela (épisode de contamination génétique de maïs sauvage par du maïs GM au Mexique) et on voit bien que les attaques ont été très dures. Pourtant, ces attaques ont beaucoup fonctionné par critiques publiées (dans Nature, dans Transgenic Research) pour celles que nous qualifierons de constructives (i.e. preuves à l'appui) et par critiques à demi-mot (pétitions, e-mails circulant largement, interviews dans les médias) pour celles que nous qualifierons d'assassines. C'est bien la preuve que chaque type de critique a son mode de publication ; je ne suis pas persuadé que cette barrière tomberait si facilement si l'on mettait en place le peer commentary à grande échelle. Des scientifiques ne gagneraient pas beaucoup à attaquer les articles de concurrents dans un cadre relativement formel et public, et auraient beaucoup à y perdre. On n'est pas dans la même logique, mais je peux évidemment me tromper ! (Au passage, ce type de controverses ne correspond pas pour moi aux "révolutions scientifiques" de Kuhn qui ne font finalement pas autant de bruit car elles sont insidieusement introduites et deviennent majoritaires quand "ses opposants meurent les uns après les autres, et que la nouvelle génération se trouve familiarisée avec cette idée dès son apparition" — pour reprendre le mot de Planck —, ce qui ne cadre pas avec l'urgence et la violence des controverses.)