Publier des résultats négatifs, mode d'emploi
17
juin
2007
La question des résultats négatifs est une question délicate en science. Quand on n'obtient pas le résultat qu'on attendait, faut-il en déduire quelque chose ? Faut-il le publier ? Jusqu'il y a quelques années, de tels résultats intéressaient peu et étaient difficilement publiables. De fait, écrivais-je il y a un an, le mode de communication de la science n'est pas neutre. Mais parce que les résultats négatifs sont aussi des résultats, parce qu'ils permettent d'abandonner des hypothèses erronées, d'ouvrir de nouveaux champs inattendus et d'éviter de réinventer la roue carrée, un mouvement est né pour en promouvoir la publication. De nouvelles revues électroniques se sont créées pour faciliter la diffusion de résultats négatifs, dans tous les domaines :
- Journal of Negative Results — Ecology and Evolutionary Biology
- Journal of Interesting Negative Results in Natural Language Processing and Machine Learning
- Journal of Negative Observations in Genetic Oncology
- Journal of Negative Results in Biomedecine
Dans ce dernier domaine justement, les résultats négatifs paraissent parfois dans des journaux plus ordinaires, comme BMC Genetics. C'est le cas de ces deux articles du groupe de John Todd, de l'université de Cambridge, rapportant l'absence d'association entre le polymorphisme de différents gènes et le diabète de type 1. Pourquoi ces articles là et pas d'autres ?
Le blog "The Contingency Table" nous donne trois raisons :
- les résultats présentés sont fiables. Il arrive souvent que l'absence d'association soit obtenue avec une faible confiance statistique, or le groupe de John Todd peaufine toujours l'analyse statistique et possède assez de moyens pour financer des études suffisamment larges pour détecter les effets qu'ils attendent. Ainsi, dans le premier article, ils testent l'association pour 3523 cas, 3817 témoins et 725 familles. D'où un résultat assez convaincant que les SNPs testés ne jouent pas de rôle dans le diabète pour leur échantillon ;
- les expériences sont bien pensées : au lieu de simplement présumer que les SNPs de HapMap représentent toutes les variations possibles, ils ont séquencé les gènes d'un petit échantillon de sujets pour découvrir les SNPs. Et ça a payé : ils ont ainsi découvert 22 polymorphismes récurrents, dont 5 seulement étaient recensés par HapMap ;
- ils apportent une contribution essentielle à la recherche biomédicale : puisque HapMap ne contient pas toutes les variations possibles, ils montrent qu'il est nécessaire de diversifier les sources d'information dans les études de polymorphisme et d'association.
Vous savez donc ce qu'il vous reste à faire pour publier des résultats négatifs dans la littérature non-spécialisée !
Commentaires
Très bon article. Il y a en effet un vrai biais de sélection lié au fait que l'on ne publie que des résultats positifs alors que les résultats négatifs sont tout autant intéressants. Le problème me semble d'autant plus grave que le chercheur lui-même peut avoir tendance à chercher à avoir des résultats positifs.
Je me fais le porte-parole des acarologues (je prêche pour ma paroisse comme d'hab), et je signale que certaines revues en écologie, dont Experimental and Applied Acarology, ou Entomologia Experimentalis et Applicata par exemple - au hasard hein ;-) - publient, et ce depuis longtemps déjà , des résultats négatifs.
Les titres sont rarement explicites cependant, et il faut souvent arriver à la moitié ou à la fin de l'article pour comprendre que ce sont des résultats négatifs qui sont publiés. Honte ? Culpabilité mal placée ? Mauvaise compréhension de la mission du scientifique ? Il serait parfois plus simple d'écrire Inefficiency of XXXX to predate YYYY plutôt que Suitability of the spider mite Tetranychus evansi as prey for Phytoseiulus persimilis. Le résumé de celui-ci ne le dit même pas clairement, mais c'est bien d'un résultat négatif dont il s'agit ...
C'est ça le pire, que les titres et résumés de ces articles invitent carrément (par les mots utilisés, la syntaxe) à croire que les résultats présentés sont positifs. Cela frise l'arnaque, quand on sait qu'une bonne partie des auteurs (comme tu l'as dit dans un précédent billet) ne lisent que les résumés des publis qu'ils citent ... Plutôt que des journaux sur les résultats négatifs, ce qui est une bonne chose au regard de ce que je viens de dire, j'espère qu'à terme il sera socialement bien vu de publier ce qui n'a pas fonctionné dans une étude. Sérieusement, on se croirai à la maternelle: - ils vont se moquer de moi si je montre que ça marche pas ce que j'ai fait ...
du pain beni pour enro
http://www.scientistsofamerica.com/
Aussi :