Pourquoi il faut bien payer les mauvais chercheurs
19
sept.
2009
Comme tout le monde, je me pose des questions sur l'organisation idéale du système de recherche, et je me convaincs de plus en plus de la nécessité d'avoir un système qui donne toute sa place à la diversité — ni un système qui n'aurait que des université d'élite, ni un système qui n'aurait qu'un mode de financement… Et puis voilà que je retombe sur un billet d'éconoclaste, qui se penche à sa façon (d'économiste) sur le problème. Le billet date de 2004 et n'a jamais été commenté, je le republie donc ici pour l'occasion, en profitant de la licence Creative Commons sous laquelle ils rendent leur contenu disponible.
Supposons qu'il existe deux façons de faire de la science :
- observer d'abord les faits, puis construire une théorie qui permette de les expliquer;
- construire une théorie d'abord; puis vérifier si les faits la contredisent ou non.
Chacune de ces deux méthodes a ses qualités et ses défauts. La première permet d'éliminer beaucoup d'impasses avant de se lancer dans la théorie; mais elle fait courir le risque de l'élaboration de mauvaises théories ad hoc. La science sera donc composée d'un ensemble de bonnes et de mauvaises théories sans qu'il soit possible de les différencier. La seconde ne permet pas de construire des théories ad hoc; mais les scientifiques qui s'y livrent risquent de passer énormément de temps à élaborer des théories qui au final s'avéreront inutiles et non fondées. Elle génère donc un gaspillage des talents des scientifiques qui vont passer beaucoup de temps dans des impasses. Globalement pourtant, le monde scientifique a toujours eu tendance à privilégier la seconde façon de procéder par rapport à la première. Pour quelle raison?
Considérons maintenant le fait que l'activité scientifique, comme tous les métiers, va attirer d'un côté de bons scientifiques qui vont grâce à leur talent faire des découvertes nombreuses; et des scientifiques peu talentueux qui ne trouveront rien. Mais a priori il n'est pas possible de deviner à l'avance qui sera un bon et qui sera un mauvais scientifique. On peut supposer dans le même temps que les scientifiques ont plus de connaissances sur leur propre talent que les gens extérieurs. Ce qui crée un traditionnel problème économique de relation principal-agent : les gens voudraient savoir quels scientifiques sont bons, pour déterminer ceux dont les théories sont dignes de confiance. Les mauvais scientifiques sont eux incités à se faire passer pour meilleurs qu'ils ne seront.
Pour représenter ce problème imaginons un pays dans lequel le ministre de la recherche dispose de tous les pouvoirs pour obtenir le plus de recherche de qualité possible dans le pays. Il va avoir deux objectifs :
- trouver un système de rémunération incitatif qui poussera les gens talentueux à se diriger vers la recherche de bonne qualité
- déterminer quels chercheurs parmi ceux qui existent produisent de bonnes théories. Ces théories pourront être alors utilisées en pleine confiance.
Notre ministre doit-il privilégier la recherche dans laquelle on observe d'abord, ou celle dans laquelle on théorise d'abord? Dans les deux cas, il y aura des gaspillages. Dans le premier, il se trouvera avec tout un tas de théories contradictoires sans savoir lesquelles sont bonnes. Dans le second, il se trouvera avec uniquement des bonnes théories, mais l'essentiel des chercheurs sera payé pour des recherches totalement infructueuses.
Voici une solution qui s'offre à lui : créer deux instituts de recherche. Dans l'un d'entre eux (appelé Centre National de l'Observation, ou CNO) les chercheurs observent d'abord les faits puis construisent des théories; dans l'autre (le Centre National de la Théorie, ou CNT) les chercheurs ont l'obligation de produire d'abord des théories puis de les tester. La rémunération des chercheurs dans les différents instituts se fait de la façon suivante :
- dans le CNO, tous les chercheurs touchent 50 000 euros par an;
- dans le CNT, les chercheurs qui élaborent une théorie vérifiée ensuite par les faits touchent 100 000 euros par an; les chercheurs qui élaborent une théorie ensuite invalidée par les faits touchent 20 000 euros par an.
Ce système a plusieurs avantages. Premièrement, il répond à l'objectif incitatif. Un mauvais chercheur sera incité à aller vers le CNO pour maximiser sa rémunération, car au CNT il se trouvera souvent dans la basse tranche de revenu; un bon chercheur ira plutôt vers le CNT car il sait qu'il peut y espérer une rémunération supérieure, même si la contrepartie est une prise de risque (mais s'il est bon, il a confiance dans ses capacités : n'oublions pas que le but du système est de révéler ce que les chercheurs savent sur leurs propres talents). En moyenne cependant un bon chercheur est mieux payé qu'un mauvais. Deuxièmement, quand notre ministre de la recherche veut trouver une bonne analyse scientifique pour résoudre un problème précis, il sait qu'il peut faire confiance aux chercheurs les mieux payés du CNT. Il dispose donc d'un outil de détermination des bonnes théories et des bons savants.
Maintenant, nous pouvons observer que ce système est assez étrange. Première étrangeté : les bons chercheurs sont incités à perdre leur temps à faire d'abord des théories, plutôt que de s'aider d'observations initiales. Mais si l'on autorisait les bons chercheurs à observer avant de théoriser, leurs carrières deviendraient moins risquées; et les mauvais chercheurs pourraient commencer à infiltrer leurs rangs.
Seconde étrangeté : les mauvais chercheurs sont bien payés, mieux même que les bons chercheurs malchanceux; c'est nécessaire, là aussi, pour éviter qu'ils ne soient tentés d'aller infiltrer les rangs des bons chercheurs. Mais dans ce système, on va payer des chercheurs inutiles, pour produire des travaux qu'on n'utilisera jamais en pleine connaissance de cause. Une caractéristique importante qui en découle est que la recherche se doit impérativement, dans ce système, d'être massivement financée par l'Etat. Une entreprise privée n'accepterait jamais de financer un centre de recherche parfaitement inutile pour que les autres centres de recherche (ceux de ses concurrents par exemple) ne soient pas envahis de mauvais chercheurs. Seul l'Etat peut financer des recherches inutiles et sans valeur pour la collectivité, mais dont l'existence génère une externalité positive, qui est d'éviter que les mauvais chercheurs ne se fassent passer pour des bons (bien entendu l'Etat n'est pas obligé de se spécialiser dans la recherche inutile : l'essentiel est qu'il entretienne au moins un centre de recherche inutile). Ce modèle est-il réaliste? Il contient beaucoup de différences avec le monde réel . La rémunération financière n'est pas la seule motivation des chercheurs (il faudrait prendre en compte le fait qu'une partie de la rémunération est obtenue sous forme de prestige : comment offrir du prestige aux mauvais chercheurs? Y aurait-il là une explication à l'existence des médailles et breloques décernées par le gouvernement?). Les écarts de revenus entre chercheurs sont également dûs en bonne partie à des aspects statutaires.
Cependant, ce modèle contient quelques faits que l'on retrouve dans le monde réel de la recherche : l'existence d'une hiérarchie implicite entre centres de recherche, avec des centres de haut niveau mais très compétitifs, et des centres moins cotés dans lesquels peu ou prou, tout le monde touche la même chose; une autre implication de cette théorie est qu'il y aura une quantité non négligeable de scientifiques plutôt bien payés pour produire des recherches totalement dépourvues d'intérêt. On lèvera un voile pudique sur le réalisme de cette conclusion.
(modèle dû à Steven Landsburg)
Commentaires
L’idée de la création de ces deux instituts est très amusante (Centre National de l'Observation et le Centre National de la Théorie). Voilà une idée qui permettrait de bien classer nos chercheurs avec l’avantage de ne pas mettre de barrières disciplinaires. Ceci dit, le billet semble suggérer en filigrane, dans l’hypothèse de départ, que la recherche de bonne qualité est celle qui se fait par la « théorie », étant donné qu’on va mettre la rémunération incitative dans cet institut. Et « un mauvais chercheur sera incité à aller vers la science de l’observation ». Un bon chercheur qui fait de bonnes observations ne trouvera guère de reconnaissance ou de possibilités ... Si l’hypothèse de départ est discutable, l’exercice est néammoins amusant, merci d’avoir exhumé ce billet fort intéressant.
Merci de corriger un biais apparent des blogs et d'Internet en général (la tendance à privilégier les contenus nouveaux ; je pense que 90% de ce que je lis a été écrit en 2009, dont 75% dans les trois derniers mois ; en conséquence, je ne lis pas assez les archives des blogs) en republiant ce billet, très juste.
L'ANR, un CNO ?
Je suis d'accord avec Rachel, le billet est biaisé vers une vision hypothético-déductive de la science, mais comme c'est également mon biais personnel… Les auteurs sont visiblement très influencés par une épistémologie de type Bachelard-Popper (mais finalement, on retrouve aussi ça, avec des nuances, aussi chez Bourdieu-Chamboredon-Passeron). En glissant vers Braudel-Koyré-Lakatos-Kuhn, on obtient une épistémologie un peu différente. Et en glissant vers Goffman-Garfinkel-Becker, encore qqch de différent.
J'aimerais bien poser ces questions à tous les blogueurs francophones ayant une activité de recherche : (1) Quels sont les écrits épistémologiques qui guident vos propres recherches ? (2) Quels sont les autres écrits épistémologiques qui pourraient guider vos propres recherches ? (3) Quels sont les écrits épistémologiques qui vous semblent faux ou dépassés ? (Perso, je dirais Fleck-Favre, Bourdieu-Becker, et Parsons-Pomo.)
merci beaucoup, Enro, Rachel et Fr., veramente interessante
mais pourqoui seulement deux instituts? une hiérarchie implicite dans cette construction de deux?
mi piacerebbe vedere una proposizione on what might be a third option - at least?
Mouais.
L'hypothèse de départ est complètement fausse. On ne fait jamais de théorie sans expérience et réciproquement. Mais ce n'est pas grave, elle est inutile pour le reste du raisonnement : construction de deux centres dont l'un avec rémunération au mérite fortement différentielle -> tous les mauvais iront vers la sécurité et tous les bons vers le risque.
Mais pour aussi séduisante qu'elle soit, cette théorie fait partie des mauvaises théories non vérifiées par l'expérience (rémunération 20 kEuros !) parce que cela fait quand même longtemps que l'on sait que les humains sont trop humains pour être motivés uniquement par l'intérêt (et encore moins l'intérêt financier). Et c'est tant mieux. L'auteur le souligne à la fin (bien mollement : le prestige s'achète difficilement à coup de médailles !) mais n'en tire pas la conclusion nécessaire : tout le reste du raisonnement ne vaut pas grand chose, sauf le plaisir de faire une jolie théorie sur le papier. A mon humble avis, on a là un exemple typique de "stratégie absurde" (cf le bouquin de Beauvallet).
Ok, je suis méchant mais franchement qui, en lisant cette proposition, ne s'est pas dit "ah c'est intéressant" puis "mais complètement inapplicable" ?
@pablo : OK pour ton scepticisme mais est-ce qu'il n'y a pas quand même des leçons qui peuvent être tirées de cet exercice ? Je trouve qu'il pose la question du système de recherche de façon plutôt inattendue et derrière la simplification, il fait réfléchir à cette idée d'auto-ségrégation des chercheurs selon leurs compétences et les attentes de la société.
Un mauvais chercheur, aujourd'hui, ira plutôt dans les institutions où on risque le moins de venir l'embêter et où la planque sera la plus confortable possible. Ce peut-être une institution de moindre niveau ou dont la gouvernance part à vau-l'eau. Mais pourquoi ne pas prendre en compte cette réalité (des mauvais chercheurs) et réfléchir à la question "Qu'en fait-on ?". La LRU qui spécialise les non-publiants en ensiegnants apporte une réponse, quelles sont les autres ? Et quels sont leurs inconvénients respectifs ?
Enro, je pense qu’il y a une nuance qui pourrait être apportée à votre dernier message. Vous le savez d’ailleurs car en introduction d’un de vos billet précédent, vous rappelez cette phrase : « Le bon chercheur il publie mais le mauvais chercheur il publie aussi (Olivier Le Deuff)». Donc le mauvais chercheur pourrait ne pas être un non-publiant. Pour ma part je trouve cette phrase assez discutable mais elle est jolie et certainement pas complètement fausse. Donc il peut y avoir une différence entre le mauvais chercheur et le chercheur non publiant.
Ensuite il faut préciser que la LRU ne dit rien sur les non-publiants. Le classement de publiants/non-publiants est l’œuvre de l’AERES. En toute logique, un chercheur fait de la recherche et participe à l’élaboration des connaissance (il publie). A mon avis, le question ne devrait pas être focalisée sur le bon et le mauvais chercheur, mais devrait être : que faire des « chercheurs » qui ont arrêté la recherche ou qui sont défaillants (non publiants) dans leur mission ?
@Rachel : Merci pour ces précisions, d'accord pour différencier le mauvais chercheur du chercheur défaillant ou non-publiant. Simplement, j'interprétais le critère "non-publiant" de l'AERES comme ce qui se rapproche le plus de la fusée à plusieurs étages racontée dans ce billet.
Au passage, je ne suis pas au courant des subtilités de la LRU, mais si c'est l'AERES qui détermine les non-publiants, c'est bien les universités (grâce aux pouvoirs de la LRU ?) qui décident d'en faire des "enseignants spécialisés" avec un plus grand nombre d'heures d'enseignement, non ? J'ai un exemple en tête, mais il se peut que ce soit juste une question d'heures supplémentaires (forcées).
La fusée à plusieurs étages a un petit défaut de conception, ce qui n’enlève rien à son intérêt ! et il est plaisant d’en discuter.
Oui, d’après ce que je me souviens (ça fait longtemps que je n’ai pas lu ce texte), la LRU donne aux universités un pouvoir plus étendu en ce qui concerne la gestion du personnel. Mais c’est davantage le décret sur le statut des EC qui devait permettre de faire (d’imposer ?) cette reconversion. Toutefois ce décret a été fortement modifié et une « modulation ne peut se faire sans l’accord écrit de l’intéressé ». Par ailleurs, personne n’a d’obligation de faire des heures complémentaires. A mon avis vous devriez vérifier l’exemple que vous avez en tête.
Bah c'est surtout une bonne attaque en règle contre le CNRS, avec les habituels poncifs sur le fait que la sécurité de l'emplois mais un salaire assez bas revient a attirer les mauvais et a tirer vers le bas la productivité des gens. Donc filons des CDD a tout le monde, avec une grosse part variable de la rémunération, un peu comme des vendeurs de tapis sauf que là c'est pas des tapis c'est des publications , des index h etc etc...
A+ J
D'accord avec Pablo, l'idée de base est bonne, mais on passe à côté de tas de principes de base dans les comportements. Bien payés, les employés du CNO ne sont pas à plaindre. Donc, et nonobstant le problème du prestige, les bons chercheurs vont être amenés à s'interroger sur leurs priorités. Le CNT est fortement compétitif, ce qui veut dire qu'il va attirer les chercheurs qui sont bons ET ambitieux. Les bons chercheurs qui ont une famille-unevie-desactivitéshorslascience vont souvent préférer le CNO. De même pour ceux qui ont une santé fragile et qui supportent mal le stress. Etc... Mais la notion d'inciter les chercheurs à révéler implicitement leur compétence est intéressante.
Hi Enro, Rachel et les autres, juste sur un point de détail : l'AERES ne détermine pas les non-publiants. Elle détermine la quantité de non-publiants, et c'est ce chiffre, anonyme, qu'elle donne à l'Université ou au laboratoire. L'Université est donc libre de choisir ses propres critères pour déterminer ce qu'est un bon chercheur.
Ensuite, quand on dit "un mauvais chercheur ira plutôt dans les institutions où on risque moins de l'embêter", encore faudrait-il que les choix de gouvernance soient publics (et connus des candidats au recrutement).
Feynman, vers la fin de "la nature de la physique", précisait grosso modo que, dans l'intérêt de la science, il valait mieux que les scientifiques sacrifient leur carrière en approfondissant jusqu'au bout leurs idées, plutôt que d'appliquer les façons de faire considérées par tous comme les bonnes. Si j'interprète ce qu'il voulait dire, ainsi il y aurait plus de chances de grandes découvertes même si la majorité des scientifiques demeureraient (plus que) malchanceux ...
Personnellement, je pense que le problème n°1 est le rythme de publis imposé. Ainsi, pour la carrière, il vaut mieux dérouler les "méthodes à publis" qu'approfondir ! J'ai un collègue qui fait de très bonnes publis mais qui avant ça avait pris la peine de prendre 4 ans sans publier et approfondir l'état de l'art et se mettre à niveau jusqu'à comprendre et maîtriser (pas simplement les articulations mais la compréhension intime du tout, "local et global") les trucs les plus costauds dans son domaine. Cela a fini par payer, mais c'est risqué ...
Pour ma part, j'aimerai prendre un peu de recul mais il faut bien que mon dossier continuer d'avancer ! Le mieux ne serait-il pas d'exiger une publi excellente tous les X ans ?
Quand à ceux qui ne s'investissent pas assez, l'évolution de la modulation de service va peut-être y remédier ?
@judem : Merci de citer Feynman :-) On voit que l'intérêt individuel du chercheur (sauver sa carrière) peut être assez opposé à l'intérêt collectif (faire avancer la science). Cependant, n'y a-t-il pas aussi une fonction à la masse de découvertes incrémentales et de "méthodes à publis", c'est-à-dire la science normale comme l'appelait Kuhn ?
Nicolas, c’est bien l’AERES qui a mis en place ces deux catégories publiants/non publiants ? Pour que l’AERES donne à l’université ce chiffre anonyme (% dans chaque catégorie), ne doit-elle pas passer par un examen individuel ? Mais vous avez raison de souligner que le rôle de l’AERES se limite à l’évaluation. L’AERES n’a aucun pouvoir décisionnel, et l’université est libre (et responsable).
@Enro : tu as raison sur la science normale, à condition que "normal" ne devienne pas "normalisateur".
@Rachel: oui, l'AERES fait passer un examen individuel, mais non, elle ne donne pas le résultat de cet examen. Ni au chercheur, ni à son université. Uniquement le chiffre global. Un peu comme si l'Education National disait que 80 % des étudiants ont eu le bac, sans prévenir ni les étudiants, ni leurs lycées.
En général, les chercheurs savent à peu près quel est leur statut, et le directeur du laboratoire arrive (avec plus de mal) à se rendre compte de qui publie. Mais parfois le chiffre estimé par le laboratoire diffère franchement du chiffre publié par l'AERES, et alors bon courage pour retrouver les non-publiants inconnus.
@N. Holzschuch : Mon équipe a été évaluée par l'AERES cette année et il n'y a pas eu d'examen individuel. Juste une évaluation par équipe, et par institut (avec des notes attribuées a chaque fois). Le rapport est rendu public sur le site web de l'agence.
A+ J
@ John
A+!
Félicitations
Nicolas, je ne savais qu’il y avait un examen individuel. Ca veut dire que chaque chercheur passe sur le grill ? Je pensais que c’était les équipes qui étaient examinées. Ceci dit, une des missions est de faire le bilan des publiants/non publiants. Il faut donc bien que le comptage soit fait. En général les non-publiants inconnus ne sont pas dans les labos : personne ne sait où ils sont. Est-ce que les résultats publiants/non publiants sont disponibles sur le site de l’AERES ? (je n’ai pas eu le courage d’aller fouiller …).
Oui enfin ce qui motive en premier les chercheurs ce n'est pas uniquement la rémunération ! Sinon ils ne seraient pas chercheurs… En outre, le postulat carotte = résultats est à mon avis loin d'être acquis en ce qui concerne les activités d'un chercheur.
voici un article qui parle de science sans être scientifique dans sa démarche. on y parle de beaucoup de choses et de se fait énormément de biais sont introduit (qui peut arguer que les bons chercheurs se connaissent en tant que tel ?) il a des notions de psychologie, de gestion du risque, de politique de recherche, de ROI, .... du coups, je ne comprends pas que l'on puisse tirer une conclusion d'un tel article ;-(
@John et Rachel: chaque chercheur fournit une fiche individuelle, sorte de CV court, qui liste ses travaux pendant la période quadriennale. À partir de là, il est facile pou l'AERES de compter les chercheurs publiants (= ceux qui ont le bon nombre de publications, du niveau requis), et de faire la proportion. En revanche, pas d'auditions individuelles des chercheurs, juste une audition des équipes.
Le résultat figure en tête de chaque rapport d'évaluation d'unité de recherche, par exemple : http://www.aeres-evaluation.fr/IMG/pdf/EVAL-0753742K-S2100012316-UR-RAPPORT.pdf, je cite : "Nombre de publiants (basé sur les fiches d’activité de 24 permanents chercheurs et enseignants- chercheurs) : 19 (8 CNRS, 3 ENPC, 2 CIRAD, 1 agro, 1 EHESS, 4 autres)." Ou, dans un autre rapport (plus saignant) : "6 publiants sur 13 EC".
Ca me fait penser à une histoire qui m'a fait comprendre qu'il n'est pas forcément efficace et rentable d'essayer de rendre tout le monde compétitif, dans toute entreprise.
C'est l'histoire (entendue et bcp discutée à Berder en 2007) des 10% de fourmis dans une foumillière dont les chercheurs ne trouvent pas du tout ce qu'elle font, et dont on déduit qu'elle ne font rien, que des A/R inutiles. Comme on peut marquer les fourmis, on peut les suivre. Et on peut les trier. Alors, évidemment, les chercheurs ont enlevé les 10% de glandeuses, et ont observé, au bout d'un certain temps, l'apparition de 10 autres % de glandeuses. Et si vous refaites une fourmillière à partir des 10% de glandeuses, vous obtiendrez à nouveau des bosseuses, et ce à 90%.
De là à penser que c'est peut-être pas si différent chez les hommes, il y a un bond que je ne ferai pas, bien sûr, mais bon, j'aime bien repenser à cette manip de temps en temps ;-)
@Calli22 Dans la science économique comme ailleurs, on construit des modèles sur la base d'hypothèses, plus ou moins justifiées (mais vraisemblables), et on tente d'interpréter le résultat…
Je suis plutot d'accord avec Pablo : cette histoire est à peine jolie (et encore, j'ai du mal avec pas mal des hypothèses, du coup, je n'arrive pas à bien suivre, du coup je trouve pas ça si mignon).
Autre anecdote rigolote, sur la question des "mauvais chercheurs". Dans une ambiance détendue, le professeur et académicien Miroslav Radman raconte à des étudiants scientifiques comment il est en train de fonder un super institut de recherche trop extraordinaire, trop à la pointe de tout, dans l'ancienne résidence de Tito, à Split (Croatie), et comment il va y réunir les meilleurs chercheurs du monde et leur donner les meilleurs moyens, etc. Et là, Pierre Sonigo (un des séquenceurs du génome du HIV en 1984, chercheur Inserm mais responsable R&D chez Biorad actuellement), également dans l'assemblée et ne loupant jamais une occasion d'exercer sa pensée orthogonale, sort "Et les mauvais chercheurs, on les met où ?" (ou : "Et les mauvais chercheurs,on en fait quoi ?"). Je n'ai jamais su s'il était sérieux ou s'il rigolait, mais j'ai crée son fan-club ce jour-là...