La science, la cité

Aller au contenu | Aller au menu | Aller à la recherche

Mot-clé : évaluation de la recherche

Fil des billets - Fil des commentaires

Atelier "Nouveaux rapports des chercheurs aux publics" le 29 avril

Le C@fé des sciences est partenaire du colloque international "Le numérique éditorial et sa gouvernance : entre savoirs et pouvoirs" qui se déroulera à l'Institut national d'histoire de l'art (Paris) du 28 au 30 avril. Nous sommes heureux d'avoir contribué à mettre sur pied ces journées qui devraient être riches de présentations et d'échanges, autour de l'édition numérique, de la démocratie scientifique, des réseaux de savoirs, de la formation en ligne…

Colloque INHA

J'attire en particulier votre attention sur l'atelier "Nouveaux rapports des chercheurs aux publics" que j'animerai le jeudi 29 de 11h à 13h. Je recevrai Ghislaine Chartron (CNAM, INTD), Bastien Guerry (Wikimédia France), Olivier le Deuff (Université Lyon 3 et Prefics), Alexandre Moatti (Conseil scientifique du TGE-Adonis) et Joëlle Zask (Université de Provence) pour tenter de comprendre comment les réseaux sociaux, la publication en ligne, les plateformes de partage et les blogs — bref, le web 2.0 — transforment l'accès du grand public à l'information scientifique, l'organisation de la communauté des chercheurs et son rapport aux tutelles.

Partage

Pourquoi Paris 7 recrute un prix Nobel

La nouvelle est tombée avec quelque fracas : l'université Paris-Diderot vient de recruter comme professeur le cosmologiste George Smoot. Et alors, me direz-vous ? Elle a recruté 14 professeurs en 2009 et le laboratoire Astroparticule et cosmologie qui l'accueille compte rien de moins que 180 personnes. Non, la grosse nouvelle, c'est que George Smoot a obtenu en 2006, avec John C. Mather, le prix Nobel de physique pour ses travaux sur le fond diffus cosmologique. Et ça, c'est pas n'importe quoi. Après la surprise, voire l'émotion, vient l'étonnement : que diable vient faire George Smoot à Paris ? Lui-même s'explique dans une vidéo qu'il a bien voulu enregistrer pour nous et que l'université a bien voulu sous-titrer. En bref, il est déjà venu à Paris (Collège de France) pendant quelques semaines en 2002 et avait noué de bonnes relations avec les membres du laboratoire APC. Il est revenu en 2008 grâce à une chaire Blaise Pascal et entérine sa collaboration avec Paris 7 par ce recrutement.

Mais ce qui m'intéresse, ce sont les raisons pour lesquelles cette université, en vertu des pouvoirs qui lui sont conférés par la loi sur l'autonomie des universités, a voulu ce recrutement. Quelques hypothèses :

  • d'après Sylvestre Huet, avec un prix Nobel dans ses rangs, Paris 7 va faire un bond dans le classement de Shangaï : le nombre de prix Nobel dans le corps professoral de l'institution compte en effet pour 20 % de sa note finale, et celle qui patine aujourd'hui entre les 101e et 151 rangs pourrait remonter dans le top 100 mondial. Sauf que le classement de Shanghaï crédite l'institution à laquelle le chercheur était affilié au moment où il reçoit son prix, et pas celle(s) qu'il a rejoint ensuite[1] !
  • un prix Nobel va pouvoir mener une recherche d'excellence (selon l'expression consacrée). Les travaux d'Yves Gingras et son équipe québecoise de bibliométrie ont effectivement montré qu'après 50 ans (Smoot a 65 ans), les chercheurs ont une baisse de productivité et donc diluent moins leurs articles à fort impact, qui restent en nombre à peu près constant — augmentant ainsi la visibilité et l'excellence nette de leur institution ;
  • en digne prix Nobel, George Smoot possède un excellent réseau constitué de personnes-clés et mène de nombreuses activités qui font vivre ce réseau (comme l'écrit S. Huet avec un soupçon d'ironie : il avait un avion pour le Japon et dirige un centre en Corée). Ne doutons pas qu'il saura développer de nombreux partenariats au sein de Paris 7 ;
  • enfin, comme je l'écrivais dans un billet précédent, les prix Nobel ne sont pas que des experts de leur domaine et possèdent souvent une "expertise projetée" qui consiste à appliquer à un domaine l'expertise acquise dans un autre et leur permet de parler à chacun, d'évaluer différentes options, de faire les choix qui se révéleront finalement les plus pertinents — bref, d'être l'huile qui va faire mieux tourner les rouages de la science. Dans le cas du laboratoire APC, cela augure d'une dynamique positive et d'un bon développement pour les années à venir.

Cette dernière hypothèse semble la plus fondée puisque le communiqué de presse de l'université (via Sylvestre Huet) explique que G. Smoot ambitionne (…) de créer un centre de cosmologie, comme celui qu’il a su développer à l’Université de Berkeley, lequel permettrait de renforcer la cohérence des laboratoires parisiens en même temps que George Smoot travaillera en interaction avec les différentes équipes de ce laboratoire et orientera ses travaux vers les développements des futures missions spatiales en cosmologie. Finalement, même si les bénéfices seront indirects et longs à venir, je ne pense pas comme Tom Roud que George Smoot prend la place d'un jeune chercheur. Ce qu'il va faire à Paris, sans doute nul autre n'aurait été à même de le faire, et cela bénéficiera en retour à la communauté avec encore plus de postes et de crédits ! Où l'on voit également que les insinuations rapides sur la classement de Shanghaï son mal fondées (ou alors l'université Paris-Diderot a bien mal calculé son coup)…

Notes

[1] Comme le précise la note méthodologique : Award = the total number of the staff of an institution winning Nobel Prizes in Physics, Chemistry, Medicine and Economics and Fields Medal in Mathematics. Staff is defined as those who work at an institution at the time of winning the prize

Partage

Qu'est-ce qu'un bon chercheur ?

Le bon chercheur il publie mais le mauvais chercheur il publie aussi. (Olivier Le Deuff)

La bibliométrie offre une mesure de la production et de la visibilité des chercheurs agrégées à un niveau macro comme l'institution, le pays, la discipline etc. Mais à force de reprises tronquées, on est arrivé à l'idée que 1) la bibliométrie permet d'évaluer les chercheurs individuellement et 2) qu'elle donne une mesure de leur qualité. D'où les critiques récurrentes comme quoi elle se plante totalement. Forcément, si on y met ce qu'on veut... Mais, pour le plaisir de l'argument, essayons d'imaginer une bibliométrie qui permettrait de mesure la qualité d'un chercheur. Quelles pistes s'offrent à nous ?

Hypothèse 0 : le bon chercheur c'est celui dont les pairs disent qu'il est un bon chercheur

Ca, c'est le schéma classique, le raisonnement pré-bibliométrique. On part du principe que seuls les pairs peuvent évaluer une recherche, dire si un chercheur est bon ou pas et si ce qu'il fait a 5 ans d'avance ou 10 ans de retard. Sauf qu'il faut pour cela des pairs bien informés sur l'état actuel de la recherche, si possible mondiale. Heureusement, on en trouve. Ensuite, il faut qu'ils puissent juger et rendre un verdict le plus objectif possible, sans être "parasités" par des considérations extérieures. C'est plus facile si l'on fait appel à des tiers neutres. Mais alors il faut qu'ils puissent se projeter dans la recherche qu'ils évaluent, qu'ils aient le temps d'en lire les articles et d'en saisir toutes les dimensions. Appliquez ça notamment aux SHS où la diversité des questions de recherche, des cas étudiés ("terrains") et des cadres théoriques fait que chaque chercheur travaille à peu près tout seul. C'est très difficile et imparfait. Mais prenez aussi les sciences dures où, comme l'expliquait Pierre Joliot, ce qu'un chercheur considère comme ses meilleurs articles sont souvent les plus originaux, les plus novateurs. Un pair évaluateur qui passerait en revue sa bibliographie s'arrêterait-il sur cette poignée d'articles encore incompris ou bien considèrerait-il que les autres sont les plus marquants ? Bien souvent, la recherche innovante et fertile est inévaluable au moment où elle se fait…

Hypothèse 1 : le bon chercheur c'est celui qui publie beaucoup

Comme l'ont montré Latour et Woolgar dans La vie de laboratoire, la publication d'articles est au cœur de l'activité du chercheur :

les acteurs reconnaissent que la production d'articles est le but essentiel de leur activité. La réalisation de cet objectif nécessite une chaîne d'opérations d'écriture qui vont d'un premier résultat griffonné sur un bout de papier et communiqué avec enthousiasme aux collègues, au classement de l'article publié dans les archives du laboratoire. Les nombreux stades intermédiaires (conférences avec projection, diffusion de tirés-à-part, etc.) ont tous un rapport sous une forme ou sous une autre avec la production littéraire.

Le bon chercheur, ce serait donc celui qui produit des résultats et qui arrive à publie beaucoup. Sauf que le paysage des revues scientifiques est un peu le monde des Bisounours et toute recherche (y compris de mauvaise qualité) peut se publier, même en passant par le filtre des "rapporteurs" — d'où la citation d'Olivier Le Deuff reproduite en-tête. Qui plus est, il est souvent facile de saucissonner son travail en un maximum d'articles, d'avoir quelques signatures de complaisance ou de participer à un programme de recherche en physique des hautes énergies qui vous assure une présence au firmament des auteurs.

Hypothèse 2 : le bon chercheur c'est celui qui est cité

Finalement, et c'est le principe de base de l'analyse des citations, un chercheur qui cite un autre chercheur donne une accolade qui prouve que l'article a été remarqué, qu'il a eu une vie après la publication. C'est la seule chose qu'on puisse affirmer avec certitude, mais la citation est ce qui se rapproche le plus d'une monnaie d'échange du capital scientifique et par extension de la qualité d'un chercheur. On peut donc penser que le bon chercheur c'est celui qui est cité. Mais que penser des articles frauduleux ou rétractés qui continuent d'être cités, des auto-citations qui permettent d'augmenter son score tout seul ou des citations qui viennent d'articles de seconde zone ? C'est pour ces raisons que les analyses de citation s'appuient essentiellement sur les données de Thomson Reuters (Science Citation Index), qui a des critères stricts d'inclusion des revues et de calcul des scores de citation. Mais cette base de données a un fort biais vers les revues anglo-saxonnes et ses critères de scientificité ne sont pas forcément partagés par tout le monde.

Hypothèse 3 : le bon chercheur c'est celui qui publie beaucoup et qui est cité

Que se passe-t-il si l'on combine deux qualités que devrait posséder un bon chercheur : publier beaucoup et être cité ? On obtient un indicateur composite, qu'Yves Gingras qualifie d'hétérogène, comme le nombre moyen de citations par article ou l'indice h. Avec cet indice, on peut dire qu'un chercheur A qui a publié trois articles cités soixante fois (indice h = 3) est moins bon qu'un chercheur B ayant publié dix articles cités onze fois (indice h = 10). Mais est-ce que cela traduit bien la réalité ? Yves Gingras, dans sa note sur "La fièvre de l'évaluation de la recherche" qui vient d'être reprise dans le numéro de mai de La Recherche, écrit que non. Que le chercheur A n'est pas, en réalité, moins bon que B.

C'est ce point particulier que je voudrais analyser plus en détail. Vaut-il mieux favoriser celui qui a publié beaucoup et qui a réussi que chacun de ses articles soit tout de même remarqué ou celui qui a peu publié et qui a été très remarqué ? La réponse n'est pas évidente mais j'entends, au fond de la salle, que le chercheur parcimonieux A doit être préféré. C'est en effet la réponse classique, pas tant parce que son total (180) est supérieure à celui du chercheur B (110) que parce que sa fulgurance et sa brillance nous impressionnent. Mais la bibliométrie a mis en évidence l'effet Matthieu selon lequel on donne plus à ceux qui ont déjà. Et donc qu'il est plus facile de recevoir sa 60e citation quand on est déjà cité 59 fois que de recevoir sa 11e citation quand on peine à se faire remarquer. Considérons un modèle simple où la valeur v de la citation numéro n vaut 1/n : la première citation compte pour 1, la seconde pour 0,5 etc. Alors on peut calculer la valeur des citations d'un article en sommant les 1/n (les matheux auront reconnu la série harmonique qui diverge, ce qui est cohérent avec nos hypothèses : même si la valeur des citations croît de plus en plus lentement, leur somme augmente sans discontinuer et on peut toujours comparer deux chercheurs au firmament).

Alors, le chercheur A vaut 3*4.6798=14.0394 et le chercheur B vaut 10*3.0198=30,198. Le chercheur B vaut effectivement plus que le chercheur A ! Ses 110 citations ont plus de valeur car elles ont moins bénéficié de l'effet Matthieu. Mais l'effet Matthieu dit aussi qu'il est plus facile d'être cité quand on en est à son 10e article et que son nom commence à circuler que quand on est un jeunôt qui a 3 articles au compteur. Les deux effets (nombre de citations reçues par article ou nombre d'articles publiés) semblent s'opposer et on ne sait pas ce que donne leur cumul. Mais je voulais montrer par cet exemple que les outils de la bibliométrie offrent des pistes de réflexion et des débuts de réponse, qui peuvent être contre-intuitifs.

Hypothèse 4 : le bon chercheur c'est celui qui ne fait pas comme les autres

Cette dernière hypothèse est de moi. Elle se veut un peu provocatrice mais n'est sans doute pas si loin de la réalité. Déjà, elle voit le chercheur au-delà de son activité de publication et inclut son rôle de passeur, de communicateur… Et surtout, c'est un plaidoyer pour la diversité en science. Quand on préfère le chercheur A au chercheur B, n'est-ce pas le même réflexe qui nous fait préférer le coureur de sprint au coureur de fond ? Qui nous fait préférer l'athlète qui brille par son aisance que celui qui sue à grosses gouttes ? Car au final, il s'agit surtout de stratégies de publication différentes, et on a besoin des deux. Je ne dis pas que tous les chercheurs se valent et qu'on ne pourrait pas se passer d'un mauvais chercheur par ci par là (tout le monde a des exemples en tête). Mais il faut aussi accepter que tous les chercheurs ne se ressemblent pas et qu'ils ne soient pas facilement "benchmarkables".

Partage

La bibliométrie, discipline maudite

Yves-François Le Coadic, qui écrivait vendredi àla liste de diffusion Liste ADBS-INFO, a bien raison. Faisant le constat que la bibliométrie est accusée de tous les maux, il soulignait combien celle-ci n'est même pas comprise :

Mais la bibliométrie est-elle connue et comprise par ceux et celles qui la stigmatisent? On peut en douter et mesurer l'ignorance qui semble exister dans les milieux académiques français concernant cette discipline àtravers deux exemples. Ignorance ainsi d'une enseignante de psychologie de l'Université de Paris V qui, sur le site de Mediapart, le « nouveau quotidien de référence » parle de biométrie en lieu et place de bibliométrie ! Ignorance patente aussi de l'auteure d'un article sur Paul Otlet, dans le dernier numéro de la revue Cités (...) au titre provocateur « L'idéologie de l'évaluation. La grande imposture ». Ignorance qui ne l'empêche guère de porter l'opprobre sur le "Pauvre Otlet àqui l'on attribue la paternité de l'Internet et de la bibliométrie, mais dont la croyance rationnelle contenait probablement déjàles erreurs et les servitudes volontaires de notre présent".

Je peux témoigner d'un autre exemple, plus grave encore. La revue PLoS ONE publiait la semaine dernière un article proposant un indicateur complémentaire àl'indice h, l'indice e. Même écrit par un physicien, il s'agit d'un article de bibliométrie, avec force équations et considérations empruntées àla science de l'information, et il s'inscrit dans le corpus de cette discipline. Pourtant, je lis que son Academic Editor est Étienne Joly, chercheur de l'Institut de pharmacologie et de biologie structurale de Toulouse. Dont le seul titre de gloire en matière de bibliométrie est sans doute de s'être exprimé sur l'accès libre lors d'un colloque àl'Académie des sciences en 2007. Dont le domaine d'expertise, d'après PLoS ONE, tient de la biochimie et des protéines membranaires. Et quand bien même PLoS se targue de rechercher les Academic Editors appropriés pour traiter chaque soumission, ils lui confient un manuscrit de bibliométrie — une responsabilité tellement importante qu'il n'est même pas obligé ensuite de faire appel àdes rapporteurs pour décider de la publication ou non de l'article.

Sur Friendfeed, personne n'y trouvait rien àredire. Bora Zivkovic, qui fait le lien entre la communauté des internautes/blogueurs et la revue, bottait en touche àmes courriels. Et la revue n'a jamais donné suite au formulaire de contact rempli sur leur site… Comme si, la bibliométrie concernant tous les chercheurs, chacun y était compétent. C'est le drame de cette discipline. Et le résultat, c'est effectivement qu'àforce plus personne n'y sera compétent. Mais en attendant ce jour funeste, les spécialistes de bibliométrie sont là, et ils sont encore utiles pour mettre les points sur les i et répéter àl'envi que les indicateurs bibliométriques ne peuvent pas servir àcomparer entre elles des disciplines différentes et qu'ils sont relatifs àla base de données de publications qui a servi àles calculer !

Partage

Quels sont les meilleurs laboratoires français en sociologie des sciences ?

…ou plus largement en "humanités scientifiques", pour reprendre le nouveau terme introduit par Bruno Latour et al. ?

La question est difficile mais depuis la loi de programme pour la recherche du 18 avril 2006, la France possède l'Agence d'évaluation de la recherche et de l'enseignement supérieur (Aeres), issue de la fusion du Comité national d'évaluation (CNE) chargé des établissements publics d'enseignement et de recherche sous tutelle du ministère de l'Enseignement supérieur, du Comité national d'évaluation de la recherche (CNER) chargé des établissements publics à  caractère scientifique et technologique (EPST) et de la Mission scientifique, technique et pédagogique (MTSP), organe d'évaluation du ministère de la Recherche. Ouf ! Dans le cadre de ses missions…, cette nouvelle agence doit notamment évaluer les unités de recherche des universités, établissements d'enseignement supérieur, organismes de recherche etc. Celle-ci se fait tous les quatre ans et inclut désormais la recherche en sciences humaines et sociales.

Le résultat de cette évaluation est rendu public, comme c'est le cas pour les unités de la vague C depuis quelque jours. Or on y trouve une grande partie de la recherche en humanités scientifiques, l'occasion d'un petit exercice de transparence sur ce blog.

Lire la suite…

Partage

- page 1 de 3