Qu'est-ce qu'un bon chercheur ?
15
mai
2009
Le bon chercheur il publie mais le mauvais chercheur il publie aussi. (Olivier Le Deuff)
La bibliométrie offre une mesure de la production et de la visibilité des chercheurs agrégées à un niveau macro comme l'institution, le pays, la discipline etc. Mais à force de reprises tronquées, on est arrivé à l'idée que 1) la bibliométrie permet d'évaluer les chercheurs individuellement et 2) qu'elle donne une mesure de leur qualité. D'où les critiques récurrentes comme quoi elle se plante totalement. Forcément, si on y met ce qu'on veut... Mais, pour le plaisir de l'argument, essayons d'imaginer une bibliométrie qui permettrait de mesure la qualité d'un chercheur. Quelles pistes s'offrent à nous ?
Hypothèse 0 : le bon chercheur c'est celui dont les pairs disent qu'il est un bon chercheur
Ca, c'est le schéma classique, le raisonnement pré-bibliométrique. On part du principe que seuls les pairs peuvent évaluer une recherche, dire si un chercheur est bon ou pas et si ce qu'il fait a 5 ans d'avance ou 10 ans de retard. Sauf qu'il faut pour cela des pairs bien informés sur l'état actuel de la recherche, si possible mondiale. Heureusement, on en trouve. Ensuite, il faut qu'ils puissent juger et rendre un verdict le plus objectif possible, sans être "parasités" par des considérations extérieures. C'est plus facile si l'on fait appel à des tiers neutres. Mais alors il faut qu'ils puissent se projeter dans la recherche qu'ils évaluent, qu'ils aient le temps d'en lire les articles et d'en saisir toutes les dimensions. Appliquez ça notamment aux SHS où la diversité des questions de recherche, des cas étudiés ("terrains") et des cadres théoriques fait que chaque chercheur travaille à peu près tout seul. C'est très difficile et imparfait. Mais prenez aussi les sciences dures où, comme l'expliquait Pierre Joliot, ce qu'un chercheur considère comme ses meilleurs articles sont souvent les plus originaux, les plus novateurs. Un pair évaluateur qui passerait en revue sa bibliographie s'arrêterait-il sur cette poignée d'articles encore incompris ou bien considèrerait-il que les autres sont les plus marquants ? Bien souvent, la recherche innovante et fertile est inévaluable au moment où elle se fait…
Hypothèse 1 : le bon chercheur c'est celui qui publie beaucoup
Comme l'ont montré Latour et Woolgar dans La vie de laboratoire, la publication d'articles est au cœur de l'activité du chercheur :
les acteurs reconnaissent que la production d'articles est le but essentiel de leur activité. La réalisation de cet objectif nécessite une chaîne d'opérations d'écriture qui vont d'un premier résultat griffonné sur un bout de papier et communiqué avec enthousiasme aux collègues, au classement de l'article publié dans les archives du laboratoire. Les nombreux stades intermédiaires (conférences avec projection, diffusion de tirés-à-part, etc.) ont tous un rapport sous une forme ou sous une autre avec la production littéraire.
Le bon chercheur, ce serait donc celui qui produit des résultats et qui arrive à publie beaucoup. Sauf que le paysage des revues scientifiques est un peu le monde des Bisounours et toute recherche (y compris de mauvaise qualité) peut se publier, même en passant par le filtre des "rapporteurs" — d'où la citation d'Olivier Le Deuff reproduite en-tête. Qui plus est, il est souvent facile de saucissonner son travail en un maximum d'articles, d'avoir quelques signatures de complaisance ou de participer à un programme de recherche en physique des hautes énergies qui vous assure une présence au firmament des auteurs.
Hypothèse 2 : le bon chercheur c'est celui qui est cité
Finalement, et c'est le principe de base de l'analyse des citations, un chercheur qui cite un autre chercheur donne une accolade qui prouve que l'article a été remarqué, qu'il a eu une vie après la publication. C'est la seule chose qu'on puisse affirmer avec certitude, mais la citation est ce qui se rapproche le plus d'une monnaie d'échange du capital scientifique et par extension de la qualité d'un chercheur. On peut donc penser que le bon chercheur c'est celui qui est cité. Mais que penser des articles frauduleux ou rétractés qui continuent d'être cités, des auto-citations qui permettent d'augmenter son score tout seul ou des citations qui viennent d'articles de seconde zone ? C'est pour ces raisons que les analyses de citation s'appuient essentiellement sur les données de Thomson Reuters (Science Citation Index), qui a des critères stricts d'inclusion des revues et de calcul des scores de citation. Mais cette base de données a un fort biais vers les revues anglo-saxonnes et ses critères de scientificité ne sont pas forcément partagés par tout le monde.
Hypothèse 3 : le bon chercheur c'est celui qui publie beaucoup et qui est cité
Que se passe-t-il si l'on combine deux qualités que devrait posséder un bon chercheur : publier beaucoup et être cité ? On obtient un indicateur composite, qu'Yves Gingras qualifie d'hétérogène, comme le nombre moyen de citations par article ou l'indice h. Avec cet indice, on peut dire qu'un chercheur A qui a publié trois articles cités soixante fois (indice h = 3) est moins bon qu'un chercheur B ayant publié dix articles cités onze fois (indice h = 10). Mais est-ce que cela traduit bien la réalité ? Yves Gingras, dans sa note sur "La fièvre de l'évaluation de la recherche" qui vient d'être reprise dans le numéro de mai de La Recherche, écrit que non. Que le chercheur A n'est pas, en réalité, moins bon que B.
C'est ce point particulier que je voudrais analyser plus en détail. Vaut-il mieux favoriser celui qui a publié beaucoup et qui a réussi que chacun de ses articles soit tout de même remarqué ou celui qui a peu publié et qui a été très remarqué ? La réponse n'est pas évidente mais j'entends, au fond de la salle, que le chercheur parcimonieux A doit être préféré. C'est en effet la réponse classique, pas tant parce que son total (180) est supérieure à celui du chercheur B (110) que parce que sa fulgurance et sa brillance nous impressionnent. Mais la bibliométrie a mis en évidence l'effet Matthieu selon lequel on donne plus à ceux qui ont déjà. Et donc qu'il est plus facile de recevoir sa 60e citation quand on est déjà cité 59 fois que de recevoir sa 11e citation quand on peine à se faire remarquer. Considérons un modèle simple où la valeur v de la citation numéro n vaut 1/n : la première citation compte pour 1, la seconde pour 0,5 etc. Alors on peut calculer la valeur des citations d'un article en sommant les 1/n (les matheux auront reconnu la série harmonique qui diverge, ce qui est cohérent avec nos hypothèses : même si la valeur des citations croît de plus en plus lentement, leur somme augmente sans discontinuer et on peut toujours comparer deux chercheurs au firmament).
Alors, le chercheur A vaut 3*4.6798=14.0394 et le chercheur B vaut 10*3.0198=30,198. Le chercheur B vaut effectivement plus que le chercheur A ! Ses 110 citations ont plus de valeur car elles ont moins bénéficié de l'effet Matthieu. Mais l'effet Matthieu dit aussi qu'il est plus facile d'être cité quand on en est à son 10e article et que son nom commence à circuler que quand on est un jeunôt qui a 3 articles au compteur. Les deux effets (nombre de citations reçues par article ou nombre d'articles publiés) semblent s'opposer et on ne sait pas ce que donne leur cumul. Mais je voulais montrer par cet exemple que les outils de la bibliométrie offrent des pistes de réflexion et des débuts de réponse, qui peuvent être contre-intuitifs.
Hypothèse 4 : le bon chercheur c'est celui qui ne fait pas comme les autres
Cette dernière hypothèse est de moi. Elle se veut un peu provocatrice mais n'est sans doute pas si loin de la réalité. Déjà, elle voit le chercheur au-delà de son activité de publication et inclut son rôle de passeur, de communicateur… Et surtout, c'est un plaidoyer pour la diversité en science. Quand on préfère le chercheur A au chercheur B, n'est-ce pas le même réflexe qui nous fait préférer le coureur de sprint au coureur de fond ? Qui nous fait préférer l'athlète qui brille par son aisance que celui qui sue à grosses gouttes ? Car au final, il s'agit surtout de stratégies de publication différentes, et on a besoin des deux. Je ne dis pas que tous les chercheurs se valent et qu'on ne pourrait pas se passer d'un mauvais chercheur par ci par là (tout le monde a des exemples en tête). Mais il faut aussi accepter que tous les chercheurs ne se ressemblent pas et qu'ils ne soient pas facilement "benchmarkables".
Commentaires
clap clap clap
OK, tous les chercheurs ne se ressemblent pas et ne sont pas benchmarkables. Néanmoins il n'est pas non plus possible de ne pas les évaluer : pour un bon fonctionnement il faut savoir ce qui marche et qui ne marche pas. Et aussi pour arrêter de s'entendre dire qu'on est payé à rien foutre. Je veux être évalué et savoir ce que je vaux. C'est d'ailleurs aussi pour ça que je pars dans le privé, enfin, que je tente. Et comme il n'est pas possible de faire passer un vote à bulletin secret pour élire le plus mauvais chercheur du labo (quoique...si tout le monde a bien un exemple en tête et qu'au sein du labo il y a un concensus...), il faut bien construire des outils pour cela. Un ingrédient important pour l'heure est la bibliométrie, et il est important d'en cerner les pouvoirs et limites pour ne pas leur en faire dire plus qu'elles ne signifient. Merci de nous le rappeler et même de nous en faire tâter les rouages et frontières.
J'ajouterais à ta définition du bon chercheur, que son activité en dehors des activités strictes de recherches sont importantes : encadrement, enseignement, participation aux conseils, apport en terme d'équipement, contrat etc... Certains contribuent pour beaucoup au h-index plus élevé de leurs collègues. Souvent ce sont les stars du labo qui ramènent beaucoup en terme de contrats prvés ou ANR et donc équipement. Par contre ils sont biens contents que d'autres s'occupent de siéger et ramener la substantifique moelle des différents conseils, commissions, réunions qui concernent la vie d'un laboratoire et pour certains représentent la partie la moins négligeable de leur emploi du temps de la semaine, s'ils ne sont pas déjà MdC auquel cas c'est l'enseignement.
Quelqu'un peut-il me (nous ?) renseigner sur ce qui sert actuellement d'évaluation individuelle d'un chercheur ? Selon qu'il est CR, MdC ou autre ?
Un problème (selon moi) avec ces hypothèses 1,2 et 3 (c'est-a-dire basées sur la bibliométrie): Cela dépend énormément du domaine de recherche. Je m'explique : on a beaucoup plus de chance d'être en terme de bibliométrie un "bon chercheur" dans un domaine a la mode qui publie beaucoup que dans un domaine obscur avec une petite communauté et c'est la tout le problème.
Malheureusement, je pense que les calculs classiques favorisent plus ceux qui publient beaucoup sans un énorme impact que ce qui publient peu avec un fort impact. Autrement dit : Mieux vaut publier beaucoup de choses pas forcement exceptionnelles que de publier 1 article qui révolutionne un domaine.
Ce constat est un peu décevant mais j'avoue qu'il faut bien se baser sur quelque chose et que la bibliometrie est le seul objet mesurable facilement.
Autre possibilité: le bon chercheur est celui qui trouve.
En commençant votre phrase par "le bon chercheur", vous arrivez forcément à quelque chose de circulaire. Il faut clamer haut et fort que la bibliométrie, de quelque façon qu'on la pratique, ne vaut rien pour l'évaluation individuelle des chercheurs. Qu'a valu Mendel avant que ses lois ne soient comprises? Il faut sélectionner des individus intelligents, et leur donner des moyens de travailler. Le reste est bureaucratie.
Pour savoir ce que vaut un chercheur, j'ai une suggestion totalement décoiffante: lire ses articles, plutôt que les compter. Ah bon, c'est ce que fait un comité de rédaction? Et c'est en s'installant dans ce nid que la mesure bibliométrique, telle le coucou, profite de ce travail? Eh oui, il y a comme une vague circularité du raisonnement...
@ Woody : "il faut sélectionner des gens intelligents et leur donner les moyens de travailler." Euh... d'accord mais on évalue quand même non ? Des gens intelligents qui perdent le fil on en a vu et on en reverra. Des gars brillants qui n'évoluent pas, ça existe. Ca ne marche pas de dire, envoyez les thunes on s'occupe du reste, les mecs sont bons on les a sélectionnés. (Remarquez que ça permet d'ammener le débat sur les méthodes de recrutement). Au sein d'un domaine la bibliométrie peut être un outil, parmi d'autres, utile à l'évaluation individuelle. Pas forcement le plus significatif d'ailleurs. Il ne faut pas jeter le bébé avec l'eau du bain non plus.
@ Ch'Tom. D'accord sur ce point: aucune évaluation n'est bonne. Mais le problème de l'évaluation des individus par la bibliométrie, contrairement à la sélection, c'est qu'elle pollue en permanence l'activité de recherche, puisque les prochains financements dépendent des résultats précédents. Par ailleurs, comme dit mon collègue Gunthert, il serait préférable de sélectionner des chercheurs qui savent lire les articles scientifiques plutôt que ceux qui savent les compter (ça ne dépasse jamais 1000, donc c'est du niveau cours préparatoire). Ne pas avoir le niveau intellectuel requis, c'est un problème, non pas tant pour exercer une certaine activité scientifique, mais pour évaluer (ou croire qu'on évalue) le travail des autres. J'estime également que certaines connaissances en statistique, nécessaires pour le travail en biologie ne sont pas acquises par un grand nombre de chercheurs. Une sélection plus drastique permettrait d'éviter ces deux écueils. Je suis bien conscient que les gens doivent faire leurs preuves sur le tas, mais dans le système français où l'essentiel est de dégoter le plus de de moyens possibles pour pondre le plus d'articles possibles, à moins d'être protégé par un mandarin, on est bien loin d'une situation optimale.
Mais pour bien sélectionner les chercheurs (i.e. les articles), encore faut-il se doter des stuctures permettant de les évaluer correctement. Que penser des auditions CNRS de 15 minutes par candidat, quand il y a 100 candidats ? Evidemment qu'il est impossible dans ces conditions de faire autre chose que de compter les papiers. Même quand les chercheurs ont le pouvoir, les auditions de recrutements relèvent de la mascarade. Franchement, quand on sélectionne 4 ou 5 candidats pour une audition maître de conf, pourquoi ne leur permet-on pas de donner un vrai séminaire d'une heure ? Il faut bien voir que n'importe quel candidat à une grande école est "mieux" sélectionné que n'importe quel chercheur, dans la mesure où il passe plusieurs oraux d'une heure chacun...
@ Tom Roud
Ce que vous dites est évident. Mais il faut voir à qui le crime profite. On peut très facilement manipuler une liste de publications en attribuant les crédits, l'aide technique, et même les signatures de complaisance au profit du candidat du pouvoir (car il ne s'agit de rien d'autre). Par contre dominer son sujet n'est pas à la portée de tout le monde. Pour revenir à l'évaluation, la présentation de quelques travaux sélectionnés dont le candidat est l'auteur correspondant est suffisante pour distinguer les bons. La bibliométrie n'est qu'une manipulation de plus par ceux qui ne voient dans la science qu'un instrument de pouvoir.
Avant de se mettre à l'évaluation individuelle, il serait intéressant de comparer l'indice H des prix Nobel AU MOMENT où ils ont fait leur découverte à celui des scientifiques des mêmes institutions. Il y en a pas mal qui seraient en dessous de 10.
@ Woody & Anon Je suis un peu perplexe sur l'argument basé sur (en substance) : des personnes ont fait des avancées majeures à avec un H-index bas à ce moment là. (Allumons un contre-feu : je ne suis pas un fanatique de l'H-index. Je ne trouve pas l'outil stupide, juste l'interprétation qui en est généralement faite.)
Je suis prêt à abandonner tous les prix nobels si la recherche fonctionne par ailleurs. De plus si la recherche fonctionne, peu importe que cela résulte d'un coup de génie ou d'une succession de besogneux. L'évaluation repose sur la volonté d'un organisme sain. Je ne suis pas adepte de me dire que si on le laisse paisible, le prochain Mendel va surgir du néant et nous apporter un Prix (qui permettra d'ailleur de ne plus se poser de question pendant 20 ans : la recherche va bien on a des prix). Je me doute que ce n'est pas le fond de votre pensée, et qu'effectivement j'ai rarement eu des coups de génies (toute proportion gardée) la tête dans le guidon. Néanmoins, si 10% des chercheurs ne sont pas efficaces ou moins efficaces que des candidats qui n'ont pas trouvé de poste, la possibilité d'un Mendel n'effacera pas mon amertume.
Ch’Tom
Qu’est ce que ça veut dire, efficace ? Vous essayez d’appliquer aux scientifiques ce que malheureusement les organismes de recherche essayent d’appliquer aux entrants dans les organismes.
Un premier éclairage: les chercheurs soviétiques ont eu très peu de prix Nobel de médecine, alors que dans la même période, ils avaient des médailles Fields. Est-ce à dire qu’ils étaient peu « efficaces » ou qu’ils vivaient dans un système bureaucratique ? L’efficacité est donc un concept flou, surtout si l’on ne tient pas compte des moyens disponibles.
Reste l’autre aspect que vous évoquez : « si 10% des chercheurs ne sont pas efficaces ou moins efficaces que des candidats qui n'ont pas trouvé de poste, la possibilité d'un Mendel n'effacera pas mon amertume. » L’évaluation individuelle serait donc utile pour identifier les mauvais chercheurs ou les fainéants.
En réalité ce n’est pas du tout comme ça que les choses se jouent : un thésard peut très bien publier au bout de quelques mois si le laboratoire s’y prête (le superviseur a déjà fait une grande partie du travail, et il préfère signer en dernier). Dans les cas où le thème de recherche part de zéro, par contre, il faudra trois ans, même pour un étudiant travailleur et futé pour produire son premier papier. Si le sujet est lancé et qu’il existe une masse critique, alors, le candidat chercheur peut publier « efficacement ». Pour être recruté en France, le candidat chercheur doit donc rechercher un labo avec un sujet qui roule dans un environnement favorable, sans vouloir imposer son sujet de recherche.
Pour le chercheur titulaire, les choses sont différentes. S’il veut enfin aborder le sujet qui l’intéresse, il part de zéro. Mais il doit en même temps créer un environnement favorable, ce qui n’est pas gagné. Ce qui fait que, dans la plupart des cas, il va avoir un trou dans sa liste de publications, ce qui dans certains cas peut engendrer un cercle vicieux.
Si, par contre ce qui l’intéresse, c’est l’«efficacité », il peut continuer à essayer de travailler dans un environnement favorable qui lui permet d’encadrer des étudiants travaillant sur le sujet de son patron. Mais contremaître et chercheur, ce n’est pas le même métier.
Anon
Qu'est ce que ça veut dire efficace ? Obtenir des résultats en rapport avec les moyens obtenus. Il ne me semble pas exubérant, dans certaines limites (de temps en particulier), de penser qu'un collège de pairs puisse dire "Merde Jean Paul, t'as claqué pour 2 Millions de matos en 8 ans et pour la moitié de ce budget, le groupe d'en face a plus de moyens expérimentaux et 5 Nature de plus. Je pense qu'il y a quelque chose que tu fais mal." ou l'inverse mais j'ai l'impression que dès qu'on parle d'évaluation c'est négatif. D'ailleurs pour la suite "L’évaluation individuelle serait donc utile pour identifier les mauvais chercheurs ou les fainéants." Oui, il le faut. Ah et il faut aussi leur proposer un autre poste en adéquation avec leur capacité ou même leur indiquer la porte. On peut aussi s'en servir pour donner un vrai salaire à quelqu'un qui a Bac+7 avec des horaires de cadre supérieur mais c'est encore un autre débat.
Je ne dis pas que c'est simple, ni même que l'évaluation individuelle doit être absolument quantitative. Je ne suis pas pour indexer en continu les salaires sur l'évaluation. Mais féliciter les meilleurs des meilleurs et se débarrasser des poids morts, ça ne me semble pas incongru. Je veux qu'une évaluation existe et aide à optimiser les moyens humains au service de la recherche. Et je pense que dans certaines limites la bibliométrie n'est pas un outil absurde, qu'il peut faire partie d'une série d'indicateurs qui aide à faire sortir les cas particuliers de la masse. Il faut juste ne pas comparer un jeune sociologue à un DR1 de matière molle.
"Dans les cas où le thème de recherche part de zéro, par contre, il faudra trois ans, même pour un étudiant travailleur et futé pour produire son premier papier." Je pense que c'est un peu exagéré et encore très dépendant de beaucoup de facteurs (quoiqu'étant mécanicien des fluides je ne suis pas sur de savoir exactement à quel point on peut partir de zéro). De toute façon il n'y a pas besoin de H-index pour évaluer quelqu'un qui sort de thèse. On peut même généraliser cela au recrutement. Il vaut mieux avoir trouvé un moyen pour se vendre au jury plus longtemps que les 15mn réglementaires.
Je ne vois pas le lien immédiat entre l'évaluation personnelle et le cercle vicieux du début de carrière du chercheur titulaire : il faut bien sur prendre en compte le temps passé sur un projet dans l'évaluation. De plus, je ne pense pas que le h-index soit marqué en première page des propositions de projet ANR ou que ce soit un argument choc quand on discute d'un contrat avec un industriel. Etre un bon politicien ou en avoir un bon avec soit aide beaucoup plus. Je conçois qu'un jeune chercheur ne parvient jamais à mettre le pied à l'étrier. A charge à l'évaluation de déterminer qui en est responsable, lui ou les 3 financements disponibles pour les 15 groupes interessés en france... Je note tout de même dans mon entourage peu de chercheurs avec un seul projet. Avoir deux ou plus projets simultanés (un nouveau, la suite de l'ancien ...) doit tout de même aider à boucher les trous et ne pas se scléroser à vie sur le même problème. Après on en a pas toujours les moyens ou l'envie d'accord.
Pour finir "Mais contremaître et chercheur, ce n’est pas le même métier." : c'est drole, je suis en train d'essayer de convaincre les DRH que chercheur et gestionnaire de projet (j'ai promu le contremaître, même quand on ne choisit pas le sujet on ne se contente pas de pointer les horaires et gérer les stocks, en tout cas chez moi), c'est pareil. J'espère que je vais finir par avoir raison sur ce point, parce que ceux que je croisent sont plutôt d'accord avec vous.
Pfff... Ce n'est pas simple de s'exprimer sur le sujet, il y a beaucoup de problématiques imbriquées, avec des points de vue plus variés que ma capacité d'abstraction ne le permet. Comme j'ai de plus une grande propension à m'éloigner du sujet en suivant les petits fils...
@ Ch'Tom
« il ne me semble pas exubérant, dans certaines limites (de temps en particulier), de penser qu'un collège de pairs puisse dire "Merde Jean Paul, t'as claqué pour 2 Millions de matos en 8 ans et pour la moitié de ce budget, le groupe d'en face a plus de moyens expérimentaux et 5 Nature de plus. »
Vous avez raison, mais malheureusement, ce n’est pas comme ça qu’on compte dans notre évaluation nationale. En pratique dans ce système, Jean-Paul a décroché pour 2 Millions de contrats, a encadré 6 étudiants en thèse, et a eu trois articles dans des revues de spécialité. C’est très honorable. A comparer avec Marcel, dont toutes les demandes d’argent sont refusées par les comités dont fait partie Jean-Paul, qui n’a pas accès aux écoles doctorales, donc pas d’étudiants, et qui a publié malgré tout dans le même temps un seul article dans une revue de spécialité. Devinez qui est le mieux évalué (par la commission dont fait partie le bras droit de Jean-Paul) ?
« Je veux qu'une évaluation existe et aide à optimiser les moyens humains au service de la recherche. » dites vous.
En pratique les RH savent que ça se passe comme ça, mais que voulez-vous qu’elles fassent quand les évaluateurs sont « juge et partie » ?
Pour l’évaluation, il y a des principes assez simples à respecter : Interdire que les gens soient juge et partie (en pratique, interdire l’endogamie). Eviter que des chercheurs se retrouvent sans moyens financiers, ce qui devient une fatalité quand il y a beaucoup trop de participants (surtout étudiants) par rapports aux crédits.
Si l’on ne veut pas résoudre ces problèmes, il est illusoire de chercher une quelconque objectivation bureaucratique par l’indice-H.
Pour finir, je connais plus d’un chercheur mal évalué par son organisme (dont l’un, dans une situation proche du renvoi, ce qui est exceptionnel) qui ont par la suite atteint une reconnaissance internationale incontestable, et des parfaites nouilles qui ont publié à rythme régulier.
"Pour l’évaluation, il y a des principes assez simples à respecter : Interdire que les gens soient juge et partie".
C'est le fond du problème je suis d'accord... et en conflit avec l'hypothèse 0 d'Enro.
Peut on imaginer former des gens à l'évaluation du travail scientifique au sein d'une structure indépendante ? Je pense que oui, dans la mesure où il ne s'agit pas de savoir si les travaux vont révolutionner le domaine dans les dix prochaines années, juste de savoir si le chercheur met toutes les chances de son coté.
@Ch'Tom : J'ai bien indiqué dans mon hypothèse 0 que les pairs évaluateurs devaient être neutres, non ? Mais est-ce une bonne idée d'avoir des professionnels de l'évaluation ? J'en doute, vu que l'évaluation sert aussi au chercheur-évaluateur, qui se confronte à d'autres approches, d'autres résultats, d'autres méthodes, d'autres cultures...
Le jugement par les pairs est-il totalement incompatible avec l'impartialité? Je ne crois pas. Il peut certainement y avoir des situations problématiques, mais dans l'ensemble, il est possible d'être neutre: éviter les conflits d'intérêts, c'est une question de bon sens, mais surtout de volonté: une hiérarchie a tendance à confondre son propre intérêt avec l'intérêt commun.
Une comparaison: on sait que les prix littéraires sont relativement magouillés. Si l'on veut évaluer correctement les romans, il serait raisonnable que les membres du jury n'aient pas de lien avec les éditeurs des candidats. Mais, si l'on n'arrive pas à obtenir ce que l'on serait en droit d'attendre, est-il raisonnable d'évaluer le candidat par le nombre de pages, ou, pour se rapprocher de l'impact-factor, par le nombre de ventes?
Enro sisi point d'omission de votre part, mais est-ce réellement possible ? Honnêtement, le directeur de recherche qui change de méthode après avoir évalué un autre labo, c'est une espère tellement protégée que je n'en ai pas vu. Par contre des conflits d'intérêts, il suffit que le pot de thèse soit fournit pour en entendre parler à volonté. La neutralité oui c'est noté. Ce serait encore mieux si on l'assure par un avenir professionnel du juge indépendant de sa décision. (il y a déjà tellement d'autres occasions de se confronter à d'autres méthodes...)
Anon, j'avais l'impression que dans votre poste précédent vous étiez bien moins optimiste quant-à une éventuelle compatibilité entre l'évaluation par les pairs et l'impartialité (de "Vous avez raison, mais malheureusement..." à " (par la commission dont fait partie le bras droit de Jean-Paul) ? "). Je suis d'accord. La neutralité en tant que juge et partie ne peut pas être garantie.
Pour répondre à votre dernière question, s'il faut absolument une réponse, le nombre de ventes n'est pas le plus mauvais indicateur. Mais encore une fois je ne défend la bibliométrie que comme outil de mesure, il faut interpréter après.
Pour revenir à l'évaluation par des indépendants, je ne suis pas trop inquiet. J'imagine déjà la tête de mon Mandarin en recevant un personne qu'il ne connait pas lui dire qu'il pourrait faire mieux. Ce n'est pas demain que ça arrivera.
@ Ch'Tom: "Anon, j'avais l'impression que dans votre poste précédent vous étiez bien moins optimiste quant-à une éventuelle compatibilité entre l'évaluation par les pairs et l'impartialité"
Je vais être plus clair: je ne suis pas optimiste sur l'évaluation par les pairs telle qu'elle se pratique EN FRANCE. Seules les coutumes françaises font que l'on recrute SUR PLACE. Si vous n'avez pas un pied dans le labo, vous n'avez pratiquement aucune chance d'être recruté dans un organisme de recherche français. Dans les pays qui pratiquent une bonne évaluation, c'est précisément ce qui est interdit. En France, on ne comprend même pas ce que signifie "conflit d'intérêt", le chef étant toujours supposé avoir raison.
"Mais encore une fois je ne défend la bibliométrie que comme outil de mesure, il faut interpréter après." dites vous.
Le problème que vous soulevez est que de toute façon, l'interprétation est arbitraire. A quoi sert d'essayer d'objectiver si vous corrigez par de l'arbitraire? Plutôt que les corriger, ne cumulez-vous pas les deux défauts?
Reprenons le cas de Jean-Paul vs Marcel:
Jean-Paul, après avoir eu une carrière de lèche botte, a six étudiants, et a décroché de nombreux contrats, qui lui ont donné en trois ans trois articles expérimentaux. Dans le même temps, il a eu le temps d'écrire un article de revue. Il a dirigé plusieurs thèses. Comme il fait partie de comités divers, ses collègues l'invitent souvent à parler pour obtenir ses faveurs. Donc ses collègues connaissent bien son travail.
Marcel, ancien étudiant brillant, multi-diplômé, toujours mention très bien, a réalisé son travail tout seul ou presque, en ramant pour obtenir des financements, et passé des centaines d'heures à la paillasse. Il a publié un article qui restera un classique, mais il faut reconnaître que la bibliométrie, utilisée "à la française" ne joue pas en sa faveur. Mais l'interprétation non plus. Les évaluateurs, dont aucun ne travaille dans le domaine de Marcel ni de celui de Jean-Paul, ont fini par comprendre sur quoi travaillait Jean-Paul: ils l'ont entendu plusieurs fois, et ils ont été rapporteurs ou examinateurs de ses étudiants. Pour Marcel, par contre, ils avouent ne pas trop comprendre quel est son apport à la science à la fin de son exposé de quinze minutes.
Ma conviction est qu'il est illusoire, voire carrément nocif d'essayer d'objectiver l'évaluation, si l'on ne s'attaque pas au coeur du problème, qui est le conflit d'intérêt érigé en mode de fonctionnement.
Cela dit, si je rencontre Jean-Paul et Marcel tels que vous les présentez, sans connaître leurs motivations profondes, je vais avoir tendance à préférer Jean-Paul, moi. Parce que des mecs comme Marcel, qui font des trucs dans leur coin tous seuls, travaux que personne ne citent mais dont Marcel (et ses éventuels deux collègues) est persuadé qu'ils sont géniaux, incapable de discuter ou de se lier avec ses pairs parce qu'il est persuadé que ce sont soit des glands soit des vendus comme Jean-Paul (qui, d'après l'exemple que vous donnez, lèche-botte ou pas, semble plutôt bien faire son travail), ne présentant jamais ses travaux parce qu'il est au-dessus de tout ça... bref, des mecs comme ça, j'en connais un certain nombre, ils sont tous français, et je suis pas fan...
Certes il faut trouver le juste milieu entre le côté marchands de tapis irritant que je vois beaucoup chez les jeunes profs américains ("elle est belle ma science, elle est belle") et le côté "que l'état me donne du blé et me foute la paix que je puisse faire mes expériences qui servent à rien pendant 40 ans", et c'est pas facile. (on m'appelle La Palisse)
@mixlamalice : Tout à fait. C'est pour cela qu'il est difficile de savoir exactement ce que l'on entend par "bon chercheur" et que dans les cas A et B que je cite à propos de l'indice h, la ligne de démarcation n'est pas non plus bien claire. Idem si l'on prend le prix Nobel comme horizon absolu du bon chercheur et que l'on s'en sert pour calibrer les autres critères ou indicateurs.
Par contre, il est des mauvais chercheurs dont tout le monde s'accorde à dire qu'ils sont très mauvais et irrécupérables... mais il est très difficile de s'en débarasser. C'est pas le moindre paradoxe du système actuel...
@ mixlamalice
Où avez-vous vu que Marcel était moins cité que Jean-Paul? Je ne l'ai jamais écrit. Donc, vous êtes victime de l'effet "on ne prête qu'aux riches". Dans mon exposé, Jean-Paul dispose de moyens beaucoup plus conséquents que Marcel, et si l'on rapporte son activité aux crédits consommés et aux personnes travaillant dans son laboratoire, il est en fait beaucoup moins rentable. Mais, non seulement vous êtes incapable d'évaluer sa rentabilité, mais vous lui rajoutez des citations qu'il n'a pas. J'ai seulement dit que Jean-Paul avait plus de temps pour communiquer et d'audience en France, situation plutôt réaliste.
ah oui désolé j'ai un peu forcé le trait... cela dit, je ne change pas ma conclusion, je préfère plutôt Jean-Paul qui collabore, qui a des financements (après tout s'il lui faut 3* plus de pognon pour publier que Marcel, vu que c'est lui qui ramène le pognon au labo pour acheter du matos que Marcel aurait jamais pu acheter et utilisera, so what?) et des étudiants à Marcel qui travaille tout seul à sa paillasse sans jamais rien dire ni demander à personne (c'est d'ailleurs à mon avis assez rare qu'en physique expérimentale au jour d'aujourd'hui, on puisse pondre "un classique" comme ça...).
@ mixlamalice
Jean-Paul ramène-t-il du pognon au labo? Dans le système nord-américain, ce serait le cas. Mais dans le système français, où les financements sont publics (ou tout comme) ce "pognon", ne serait-ce pas celui qui reviendrait à Marcel? Ses étudiants ne seraient-ils pas mieux encadrés par Marcel? Il faut dire que Marcel a eu du mal à avoir son HDR: au moment d'obtenir son autorisation de soutenir, on lui a dit que c'était limite, parce qu'il n'avait pas encadré d'étudiants. Marcel a eu la naïveté de s'étonner, parce que l'HDR est demandée pour encadrer des étudiants. Jean-Paul n'a pas eu de problèmes parce qu'il encadrait déjà des étudiants, officiellement sous la tutelle de son patron dont il héritait du sujet.
Quant à Marcel, ce n'est pas qu'il ne demande rien à personne, mais ses demandes de financements sont refusées avec une telle constance par les comités (dont, entre autres, fait partie Jean-Paul), qu'il commence à considérer que c'est une perte de temps. Il attend la publication de son prochain article, et dès qu'il sera accepté, il partira à l'étranger, laissant Jean-Paul avec ses copains.
Objection votre honneur ! Il n'y a pas que des financements publics. Des entreprises finances des thèses et post docs, avec des budgets d'accompagnement substanciels. Bon, d'accord, vu la conjecture, les boites n'auront toujours rien contre les thésards qui leur font de la main d'oeuvre qualifiée pour pas cher, par contre les budgets à côté, ça risque de gratter au niveau de la compta.
Et pour finir de mal couper les cheveux en 4, au lieu de partir à l'étranger (ou ses éventuelles lacunes politiques risquent de coûter aussi cher s'il n'a pas retenu la leçon), il y a me semble-t'il des possibilités de mobilité en France afin de rejoindre une équipe qui va vous appuyer.
@ Ch'Tom
"Des entreprises financent des thèses" Oui, Marcel, aussi bien que Jean-Paul pourra avoir des thésards travaillant pas cher pour une boite. Mais est-ce vraiment de la science? "ses éventuelles lacunes politiques" Marcel veut simplement faire de la science, pas de la politique. Il y a beaucoup de pays où c'est possible. Il n'a qu'à pas choisir l'Italie, l'Inde, la France, etc...
La recherche procède par des moments distincts et durables, intuition, aveuglement, exaltation et fièvre. Elle aboutit un jour à cette joie, et connaît cette joie celui qui a vécu des moments singuliers.
(Comment je vois le monde, trad. Régis Hanrion, p.145, Champs-Flammarion 1979)
celui qui arrive a sentir et a vivre ça, il est un bon chercheur
@ Marcel
"Marcel veut simplement faire de la science, pas de la politique". D'accord ce n'est pas uniquement de la science. Mais à un moment, il faut arrêter de se mentir. Je ne connais pas une profession où pour se faire une carrière un minimum d'entregens n'est pas nécessaire. Je doute des capacités d'analyses de celui qui n'a pas compris cela. Et je ne comprend pas ceux qui refusent de jouer un minimum le jeu et de se tirent une balle dans le pied "par principe". Mourir pour ses idées... (air connu).
Ensuite, collaborer avec une entreprise, ce n'est pas sale. Sinon il faut prendre son courage à deux mains et saquer les rapports des gens qui soutiennent suite à une bourses CIFRE. Ou mieux autoriser à soutenir et dire "Ca ne va pas être possible" le jour même devant la famille, les amis et les collègues. Histoire de bien faire passer le message que la science avec les boites, c'est pas possible. Il faudrait aussi penser à tondre ces thésards déchus (je l'ai mon point godwin ? c'est bon ?). D'accord, il y a moins de libertés, qui se traduisent en général par un objectif à atteindre. Rien n'empêche de partager le temps du thésard. De plus un certain nombre d'entreprises n'ont rien contre. Par contre, le budget d'accompagnement servira à acheter du matériel qui restera dans le patrimoine du laboratoire. C'est aussi des échanges avec une autre communauté qui, souvent, s'avère ne pas avoir eu son doctorat dans un paquet Bonux non plus. Bon, parfois on se fait kidnapper son étudiant qui se fait enchaîner dans le BE... Au moins dites vous qu'il gagnera 2 fois plus que vous dans 5 ans et que vous avez pu garder votre confocal.
@Kahina Pour l'évaluation on met plus à l'exaltation ou à l'aveuglement ? Blague à part je pense que tous les chercheurs sont passés par un bon nombre de ces étapes et les ont identifiées, au moins pendant leur thèse. A part la fièvre et, j'espère, l'aveuglement durable c'est mon cas. Au passage j'ajoute qu'il y a des moments durables de pure abnégation (mais c'est peut être ça la fièvre chez d'autres). Et ça ne m'aide pas à savoir si je suis bon ou pas.
@Ch'Tom "pour se faire une carrière"
Il y a un moment en France où la carrière s'écarte trop de la science.
Quand, après avoir suivi l'évolution des connaissances sur une longue durée, vous vous penchez, dans votre domaine, sur ceux qui ont fait "carrière" et que vous vous posez la question: mais en fait qu'est-ce qu'ils ont trouvé? et qu'à côté, vous en connaissez plusieurs qui ont réellement découvert des trucs et qui n'ont pas fait carrière, vous vous dites: il doit y avoir quelque chose qui cloche.
Enfin bon, quand même. Certains esprits brillants comme Feynman (qui disait grosso modo "si vous voulez évitez d'être convoqués dans des comités qui ne vous intéressent pas, faites-y du mauvais travail et on ne vous rappellera plus") peuvent effectivement se permettre de négliger le côté "social" (ou "politique") de la recherche parce qu'ils sont vraiment top classe. Mais bon, ça ne concerne qu'un cas sur 1000 ou quelque chose comme ça. Je pense quand même qu'on est le dernier pays au monde dans lequel une frange non négligeable de scientifiques pensent 1. que collaborer avec les industriels c'est forcément être un vendu et/ou un mauvais scientifique 2. que participer à des comités ou être invité à des talks c'est forcément du copinage 3. qu'ils sont supers forts et que les autres sont nuls alors que bons, ils sont pas si forts que ça.
Pour prendre un exemple concret: dans l'un des labos que j'ai fréquenté, il y avait un Jean-Paul et y avait quelques Marcel qui l'aimaient pas trop au labo (notamment parce qu'il avait 2/3 des étudiants, mais bon, s'il a des financements, que le bouche à oreille lui est favorable et que les Marcel n'arrivent pas à recruter même quand ils ont de la thune tellement ils sont puants - du coup les étudiants après 1h d'entretien vont vite fait voir JP qui est plus sympa, pédagogue, qui considère les thésards comme des esprits à former et pas comme des mains dénuées de cerveaux). Après, Jean-Paul est sans doute fin politique, mais est-ce pour autant un mauvais scientifique? C'est lui qui a le meilleur h-index du labo, le plus grand nombre de papiers (un seul DR du labo le concurrence sur ses points la), le plus grand nombre de citations, le plus grand nombre d'étudiants, il fait venir des pointures mondiales au labo pour des talks ou même des visites type sabbatique, et il est de loin celui qui est le plus invité (à l'étranger par des grands pontes, pas à la tranche-sur-mer au congrès des mandarins). On peut toujours dire que tout ça ne sont que des indicateurs qui peuvent être biaisés par le copinage et que ça reflète en rien le niveau scientifique mais s'en persuader me semble être aussi un bon moyen de pas trop se remettre en question: peut-être bien que Jean-Paul, avec tous ses défauts et sans être une superstar, est un bon scientifique renommé internationalement quand Marcel est surtout la star de son équipe et du workshop du quartier, même s'il souffre un peu d'un syndrome de persécution: comme le disait Yves Gingrias (?) sur le pdf sur la bibliométrie, le mythe du scientifique génial pas reconnu, c'est très largement un mythe.
@ mixlamalice
1) peut-être que si, dans notre pays, les scientifiques pensent que participer à de comités, c'est forcément du copinage, c'est parce que c'est le cas.
2) quand on a de quoi payer les étudiants, on en a; quand on a pas de quoi les payer, on n'en a pas, l'odeur n'a rien à voir là dedans. Je connais beaucoup d'étudiants qui détestent leur boss, mais ils sont payés.
3) vous transformez le portrait de Jean-Paul. Je n'ai jamais dit qu'il était plus invité à l'étranger que Marcel.
4) la reconnaissance tardive, ce n'est pas un mythe, raison pour laquelle les prix Nobel sont attribués souvent si tardivement.
Sans vouloir reprendre l'historique des très nombreuses découvertes reconnues tardivement, un des inventeurs de la GFP a fini chauffeur de bus: http://en.wikipedia.org/wiki/Douglas_Prasher Il est clair néanmoins que Prasher sera à nouveau cité.
Par conséquent, pour paraphraser Gingras, la bibliométrie c'est très largement un mythe!
32 commentaires sur 2 portraits imaginaires, la science avance...
Bon juste pour conclure: apparemment vous aviez une idée vachement plus précise de Marcel que celle que vous avez exposé au début. Vous l'avez détaillé dans la suite mais pas facile de tout deviner au fur et à mesure. Le portrait de Marcel a aussi pas mal évolué, donc bon, je vous racontais juste un Jean-Paul basé sur mes connaissances à moi, peut-être différent de celui auquel vous pensiez mais pas très aimé non plus pour les mêmes raisons, et pourtant pas si naze que ça.
Bref, je disais bien au tout début suite a votre premier portrait de cinq lignes "a priori, avec les infos que j'ai là, comme ça, si on me demande, je vais avoir tendance à dire que je préfère Jean-Paul". Et à vrai dire, I rest my case, 15 commentaires circonlocutifs plus loin...
Sinon:
-il y a d'autres formes de reconnaissance que le Prix Nobel, heureusement (cf commentaire d'Enro 21). Gingras, il dit surtout que Einstein, il a pas attendu le Prix Nobel pour être quelqu'un de très cité. Les découvreurs de la GFP c'est pareil, ils ont pas attendu le Nobel de l'an dernier pour que tous les labos de bio du monde utilisent leurs techniques...
Certes l'argent n'a pas d'odeur, mais à budget égal, bizarrement, les étudiants vont souvent aller chez les mêmes personnes. Je connais pas mal de personnes qui ont pas souvent de bourses de thèse, mais qui ont quand même du mal à recruter quand ils ont en une. Ils peuvent toujours se dire que c'est parce que les étudiants sont des moutons et ou des abrutis incapables de voir le génie ou il se trouve, ils peuvent aussi se dire que leur attitude y est ptêt pour quelque chose...
Pour les comités et tout ça, je vais reprendre mon exemple ricain ou je suis actuellement: les profs ont tous un côté vendeur de bagnoles, passent leur temps en conf a vendre leur , ils participent à tous les comités qu'ils peuvent, essayent d'être copains avec les stars du domaine, ils signent des contrats industriels etc. Ce n'est pas forcément ce qui m'attire le plus dans la science, mais bon, il faut juste réussir à admettre que cette façon de procéder n'est pas forcément équivalente a de l'incompétence scientifique ou du pistonnage éhonté. En France on a encore la possibilité de pas trop fonctionner comme ça si ça nous plaît pas, j'estime juste qu'on peut au moins avoir la décence d'apprécier cette chance, mais aussi d'apprécier (plutôt que de dénigrer) qu'il y ait au labo des mecs comme Jean-Paul qui vont grâce a leur dernier financement Loréal acheter pour le labo un rhéomètre à 300000 euros qu'on sera bien content d'utiliser aussi et qu'on aurait jamais pu avoir sinon.
Bon voila, je crois que je vais conclure, je suis déjà dans la paraphrase depuis un petit bout de temps, j'espère juste que mon argument a été compris, à défaut d'avoir convaincu.