La bibliométrie, discipline maudite
11
mai
2009
Yves-François Le Coadic, qui écrivait vendredi àla liste de diffusion Liste ADBS-INFO, a bien raison. Faisant le constat que la bibliométrie est accusée de tous les maux, il soulignait combien celle-ci n'est même pas comprise :
Mais la bibliométrie est-elle connue et comprise par ceux et celles qui la stigmatisent? On peut en douter et mesurer l'ignorance qui semble exister dans les milieux académiques français concernant cette discipline àtravers deux exemples. Ignorance ainsi d'une enseignante de psychologie de l'Université de Paris V qui, sur le site de Mediapart, le « nouveau quotidien de référence » parle de biométrie en lieu et place de bibliométrie ! Ignorance patente aussi de l'auteure d'un article sur Paul Otlet, dans le dernier numéro de la revue Cités (...) au titre provocateur « L'idéologie de l'évaluation. La grande imposture ». Ignorance qui ne l'empêche guère de porter l'opprobre sur le "Pauvre Otlet àqui l'on attribue la paternité de l'Internet et de la bibliométrie, mais dont la croyance rationnelle contenait probablement déjàles erreurs et les servitudes volontaires de notre présent".
Je peux témoigner d'un autre exemple, plus grave encore. La revue PLoS ONE publiait la semaine dernière un article proposant un indicateur complémentaire àl'indice h, l'indice e. Même écrit par un physicien, il s'agit d'un article de bibliométrie, avec force équations et considérations empruntées àla science de l'information, et il s'inscrit dans le corpus de cette discipline. Pourtant, je lis que son Academic Editor est Étienne Joly, chercheur de l'Institut de pharmacologie et de biologie structurale de Toulouse. Dont le seul titre de gloire en matière de bibliométrie est sans doute de s'être exprimé sur l'accès libre lors d'un colloque àl'Académie des sciences en 2007. Dont le domaine d'expertise, d'après PLoS ONE, tient de la biochimie et des protéines membranaires. Et quand bien même PLoS se targue de rechercher les Academic Editors appropriés pour traiter chaque soumission, ils lui confient un manuscrit de bibliométrie — une responsabilité tellement importante qu'il n'est même pas obligé ensuite de faire appel àdes rapporteurs pour décider de la publication ou non de l'article.
Sur Friendfeed, personne n'y trouvait rien àredire. Bora Zivkovic, qui fait le lien entre la communauté des internautes/blogueurs et la revue, bottait en touche àmes courriels. Et la revue n'a jamais donné suite au formulaire de contact rempli sur leur site… Comme si, la bibliométrie concernant tous les chercheurs, chacun y était compétent. C'est le drame de cette discipline. Et le résultat, c'est effectivement qu'àforce plus personne n'y sera compétent. Mais en attendant ce jour funeste, les spécialistes de bibliométrie sont là, et ils sont encore utiles pour mettre les points sur les i et répéter àl'envi que les indicateurs bibliométriques ne peuvent pas servir àcomparer entre elles des disciplines différentes et qu'ils sont relatifs àla base de données de publications qui a servi àles calculer !
Commentaires
Salut Enro Le problème c'est aussi que PloS One c'est un canard de biologie et de médecine, je vois a vrai dire absolument pas ce que ce papier vient faire la dedans ? Parceque forcément tout les éditeurs associés a ce journal sont des biologistes ou des médecins, pas des matheux. N'existe t'il pas des journaux plus adapté ou même dédié a la scientométrie ? C'est peut etre ça la solution pour cette discipline en pleine émergence ? Non ?
Ensuite faut pas trop se formaliser sur les anti-scientométrie, tout ceux qui sont a la rue niveau publication vont automatiquement etre contre pour un tas de bonnes raisons :-))))
A+ J
Il y a au moins une revue spécialisée dans le domaine : Scientometrics
Au passage je vous signale un recherche en cours consacré à la Bibliometrie avec, entre autres invités, Nicole Haeffner-Cavaillon responsable de la cellule bibliometrie de l'inserm.
@John : Il existe plein de revues, en plus de celle qu'a indiqué JM Galan. Il faut dire que la bibliométrie est née dans les années 1920 !! Mais c'est tout à l'honneur de ce chercheur de publier dans PLoS ONE, qui se targue de n'avoir aucune limitation de discipline, à condition que la bibliométrie soit traitée avec le même sérieux que des articles de biologie-médecine... Lesquels, justement, ne risqueraient pas de se retrouver avec un Academic Editor venu de la physique ou des mathématiques.
Dis-moi, quelles sont les distinctions ente 'bibliométrie' et 'scientométrie' ? Car d'une certaine façon, on assimile impact scientifique à l'impact sur les publications (ce qui est probablement très latourien). Mais, la science n'est-ce pas plus complexe que cela ? Par exemple, nous sommes tous ici de chauds partisans des blogs scientifiques, ont-ils un impact scientifique ? La science de demain ne passera-t-elle pas par des formes beaucoup plus délocalisées et moins traditionnelles de publication ? La vulgarisation, très peu citée, n'est-ce pas aussi important ? Quid des conférences aussi ?
@Tom : Merci de me donner l'occasion de préciser certaines choses. La bibliométrie est "l'application des mathématiques et des méthodes statistiques i.e. des méthodes quantitatives aux livres, articles et autres moyens de communication" (Pritchard A., 1969). C’est une discipline qui a trouvé sa source dans le milieu de la documentation (où elle répondait à des questions du type « Comment optimiser les achats d’une bibliothèque ? », « Comment trouver le maximum de documents dans un minimum de temps ? ») et qui a pris son essor depuis, et essaimé dans d’autres domaines. La bibliométrie peut avoir plusieurs buts, dont l'un est la "mesure" de la science, que l'on nomme la scientométrie. La scientométrie comprend donc un volet de bibliométrie pour mesurer la production scientifique et son impact mais mobilise également les données de financement, le nombre de chercheurs etc. (voir la présentation de Pablo). De fait, il y a une vraie porosité entre les deux notions, ce qui explique que les deux termes soient utilisés de façon interchangeable — mais la scientométrie désigne une finalité particulière, alors que la bibliométrie dénote plutôt un certain objet d'étude.
Ce que tu dis sur l'"incomplétude" des sources de mesure concerne donc la scientométrie : peut-on vraiment mesurer la science si l'on s'arrête aux publications académiques, aux brevets et à leurs citations ? Non répondent certains sociologues des sciences, qui ont pondu le modèle de la rose des vents — voir par exemple ma présentation sur les blogs de science à la soirée Science 2.0 Laquelle soirée abordait la notion de "publication liquide", qui correspond exactement à ce que tu décris, et dont la forme et l'impact nous échappent encore totalement...
Ouh la, je m'aperçois que je lis les billets de mes collègues c@fetiers, mais que j'oublie parfois ;) . Vive la pédagogie de la répétition !
J’ai bien compris que certains scientifiques n’ont pas compris ce qu’était la bibliométrie. Il n’en reste pas moins que l’utilisation de la bibliométrie peut affecter la pratique scientifique d’une manière extrêmement négative, un peu comme lorsque l’on évalue l’efficacité de la police au nombre d’incarcérations ou celle de l’administration au nombre de ses rapports, même si j’admets qu’il est à la fois logique et inoffensif qu’une administration compte les rapports qu’elle émet.
Une des perversion du système est que si l’on ne définit pas précisément le mode d’évaluation, on se trouve face à l’arbitraire, et si on le définit, on se trouve face à l’absurde.
Prenons par exemple l’indice h : il est basé sur le facteur d’impact de chacune des publications d’un auteur.
Le facteur d’impact d’un article est-il lié à sa qualité ? On peut rétorquer qu’il n’y a pas de mesure objective de la qualité, et que la seule mesure possible est le facteur d’impact. En réalité, sans même parler des articles très cités dont les résultats ont été invalidés, beaucoup de scientifiques considèrent que leurs bons articles ne sont pas forcément les plus cités. Ayant fait moi-même l’expérience sur mes propres articles, je considère qu’il n’y a aucune corrélation entre la valeur que je leur attribue et leur facteur d’impact. Si quelque chose se dégage très nettement, c’est une corrélation entre la qualité et les citations tardives (au delà de 5 ans). D’autres collègues sont arrivés aux mêmes conclusions. Les citations précoces, qui font souvent la plus grande partie du facteur d’impact, ne reflètent généralement que l’effet de mode du domaine. Une des conséquences de l’application de l’indice h dans l’évaluation serait d’inciter les chercheurs à suivre les modes.
Le fait d’être l’auteur d’un article cité veut-il dire que vous y avez joué un rôle important ? Pour l’indice h, faut-il prendre les signatures à n’importe quelle position? Si oui, il vaut mieux travailler dans un gros labo, et, si possible en être le patron. Par conséquent, la prise en compte de l’indice h risque d’amener les chercheurs à suivre un plan de carrière plutôt qu’un projet scientifique.
Suivisme et arrivisme sont déjà des plaies en recherche. Doit-on encourager cette voie ? N’est-il pas nécessaire plutôt d’écouter ceux qui, reconnus par leurs pairs, ont fait des découvertes importantes, fidèles à l’esprit de la pratique scientifique, mais qui n’ont pas pour autant un énorme labo leur donnant un facteur h à 100?
http://www.dcscience.net/lawrence-current-biology-2007.pdf
Un petit commentaire histoire d'apporter un peu d'eau au moulin! La discussion amorcée est passionnante
Je comprends votre agacement concernant le papier dans PLOS One. Après avoir jeté un rapide coup d'oeil, rien ne dit que l'Academic editor n'a pas fait appel à des reviewers qualifiés. Le papier semble toutefois avoir été accepté très rapidement, ce qui est assez troublant (connaissant, hélas, trop bien les lenteurs du processus de review dans PLOS One...) et qui fait penser à un feu vert direct de l'éditeur. Les journaux tels que PLOS One (Embo, Embo reports etc...) sont très friands de ce genre de papier actuellement. Et pas forcement pour de bonnes raisons. Le domaine de la biologie est en train d'être complètement miné par une tendance "scientometrique" a tout crin, et répercute une image très néfaste de la bibliométrie, ce que je déplore. Je pense que les grands organismes de recherches ont leur part de responsabilité dans ce courant...
Dans cet article (ref qui suit, dans EMBo reports...), j'aime assez la manière dont les auteurs concluent leur papier, sur l'attitude à avoir, en tant que biologiste, vis-a-vis de l'index h.
The state of h index research. Is the h index the ideal way to measure research performance?
Lutz Bornmann & Hans-Dieter Daniel
EMBO reports 10, 2 - 6 (2009) | doi:10.1038/embor.2008.233.
Je trouve quand même important que les scientifiques s'emparent des outils destinés à les évaluer. Et, si je suis d'accord de défendre la bibliométrie / scientométrie comme des disciplines en soi, qui demandent donc l'acquisition d'un certain corpus, c'est quand même une discipline relativement jeune (bien sûr on peut remonter à 1920 mais, honnêtement, ça démarre vraiment dans les années 60) et donc le "prix d'entrée" n'est pas très élevé (faut-il rappeler que Solla-Price était physicien :-).
Pour résumer ma position, d'accord pour ne pas laisser n'importe qui publier n'importe quoi sans review sérieuse (tiens, un autre exemple http://www.nature.com/embor/journal/v10/n5/full/embor200974.html ), mais je ne crois pas qu'il faille laisser la bibliométrie aux seuls bibliométriciens.
Il y a plein de débats intéressants ici : http://evaluation.hypotheses.org/
pris séparément, de l'IF au facteur h en passant par le point G tous les indices sont critiquables car biaisés. la combinaison des indices est par contre parfois pertinente. A quoi appliquer cette batterie d'indice? à des chercheurs? à des équipes? à des unités? à des réseaux? à des GDR?.... On ne peut clairement pas utiliser les mêmes batteries d'indice selon ce que l'on souhaite évaluer ni en espérer le même résultat. Pas simple, l'évaluation devient une affaire de spécialistes de l'évaluation et elle échappe aux non-spécialistes, elle échappe aux pairs. C'est peut-être ce dernier point qui fait le plus peur? Le rejet en bloc de la bibliométrie est très mal perçu à l'extérieur de la communauté scientifique. La bibliométrie est bien là et il faut faire avec. Je rejoins Pablo : autant s'en emparer et ne pas la laisser aux seuls mains des statisticiens et des coordinateurs de la recherche. Ce qui m'embête le plus c'est la mauvaise utilisation de certains indices bibliométriques pour justifier a posteriori une évaluation "à la papa". Il est très facile de trouver l'indice bibliométrique qui vous arrange pour donner à votre évaluation un vernis d'objectivité. J'ai assisté maintes fois à ce genre de pratiques dans les commissions cnrs par exemple.
Je viens de recevoir une réponse de Peter Binfield, rédacteur en chef de PLoS ONE, à mes courriels. Je ne peux pas la recopier telle quelle (c'est ce qu'indiquent les conditions d'utilisation au bas du courriel) donc je paraphrase ses arguments — et j'essayerai d'y apporter une réponse plus tard, pour l'instant j'ai un avion à prendre :
Evidemment, cette réponse ne me satisfait pas du tout puisque le seul argument qui rendrait d'Etienne Joly apte à traiter une soumission en bibliométrie revient au fait qu'il ait publié un article sur l'identification numérique des auteurs (c'est tout ce que mes recherches dans Google Scholar et PubMed ont réussi à exhumer) !! C'est quand même assez léger !
Bref, pour ne pas qu'il y ait deux poids deux mesures et que chaque soumission soit traitée avec la même exigence, je conseille à PLoS ONE d'ajouter de vrais bibliométriciens à son editorial board, qui accepteront avec plaisir je suis sûr.
Et je me suis permis de demander en retour si E. Joly était le seul a avoir évalué l'article ou s'il a fait appel à des rapporteurs…
Enro, juste une remarque en passant.
Je remarque en te lisant que les chinois comme ce Monsieur Chun-Ting Zhang, physicien à Tianjin, sont parmi les plus fervents promoteurs de la bibliométrie qu'elle soit individuelle - <a href="http://rigas.ouvaton.org/spip.php?article310">donc absurde</a> ou qu'elle concerne des organismes -voir le classement de Shanghai. Ils sont scientistes sans honte. UN truc très chinois, qu'on acquiert au berceau : on est très nombreux, tout est bon pour se démarquer des autres.
La bibliométrie peut servir, à mon humble avis (and I have a modest but robust record of bibliometric writing) à deux 'évaluations' très différentes : - une évaluation en termes de benchmark, de ranking, de classement, de jugement c'est mieux ou pas, plus ou moins, bref de sanction; - une évaluation stratégique, à savoir de positionnement des acteurs.
Avec l'avénement des micro-ordinateurs et des bases de données la
est devenue une constante: tout le monde en fait, facilement et à bas coût, aussi bien pour mesurer et classer (évaluation-sanction) que pour se positionner (évaluation stratégique) . Et ce n'est pas près de s'arrêter. Il faut donc - les précédents commentaires me semblent éloquents à ce sujet - s'emparer du sujet et ne surtout pas le laisser aux mains des seuls spécialistes. C'est la seule façon de faire évoluer les choses et rendre l'évaluation de classement un exercice vidé de son contenu ou tout du moins limité dans son ambition. Car seul, à mon avis, l'usage de la bibliométrie comme positionnement stratégique a du sens.cf. à ce propos Lepori B., Barré R. et Filliatreau G. (2008). « New perspectives and challenges for the design and production of S&T indicators », Research Evaluation, vol. 17, noº 1, p. 33-44.
@rigas : Merci pour ce commentaire. S'emparer de la bibliométrie, oui, notamment pour ne pas
comme l'écrit JM Galan. Mais il ne faut pas pour autant tomber comme tu l'écris dans la bibliométrie sauvage. D'où l'importance d'avoir des chercheurs en bibliométrie nombreux, compétents et reconnus comme des spécialistes in their own right, afin de nourrir cette réflexion… C'est ce que j'essayais de défendre dans ce billet ;-)Cher Monsieur Blanchard ( alias Enro )
Je me permet d'intervenir sur ce blog pour vous poser une question : Avez vous trouvé le moindre problème avec le CONTENU SCIENTIFIQUE de l'article sur le e-index de monsieur Chun-Ting Zhang ? Et quand bien même vous auriez trouvé un problème avec cet article, pourquoi n'avez vous pas posté de commentaire à ce sujet sur le site de Plos ONE ? C'est là un intérêt majeur de ce journal innovateur. Vous vous targuez de vous intéresser à la bibliométrie, mais pas une seule fois vous n'avez commenté sur le contenu de ce papier, à savoir sur la valeur du l'e-index proposé dans cet article comparé au h-index. Et si vous vous intéressez tellement à la bibliométrie, pourquoi criez vous au scandale sur le fait que cet article de bibliométrie soit publié ?
Si la bibliométrie doit gagner ses couleurs au champs d'honneur des disciplines scientifiques, il serait bon que les bibliomètres se comportent en scientifiques, et s'occupent de se poser de vraies questions.
A bon entendeur
Etienne Joly, Editeur Académique pour Plos ONE
@Etienne Joly Merci de venir commenter sur mon modeste blog. Non, je n'ai rien à redire sur le fond de cet article, parce que je ne suis pas moi-même chercheur de la discipline (ce qui nous fait un point commun !), et je suis ravi qu'il ait été publié. Mais je me demande s'il ne s'agit pas d'un effet d'aubaine de la part de PLoS ONE et j'attends qu'on me montre que les soumissions en bibliométrie sont traitées avec la même expertise que les soumissions en biologie moléculaire ou en bioinformatique pour être rassuré…
Mais vous avez raison, la bibliométrie comme toute science a mieux à faire que de se poser des questions existentielles, retournons donc à nos paillasses et laissons les feux de paille s'éteindre tous seuls. Mais ce serait triste pour le "chercheur militant" que vous êtes, et le militant que je suis également…