La lettre de veille de novembre 2023 : l’avenir de l’évaluation de la recherche

Un rapport de synthèse, publié le 24 novembre par le groupe de réflexion de l’International Science Council (ISC), “passe en revue l’état actuel des systèmes d’évaluation de la recherche et discute des actions, réponses et initiatives les plus récentes prises par différentes parties prenantes à travers plusieurs exemples de cas du monde entier.”Y sont présentés les divers aspects de l’évaluation, “la nécessité de critères d’évaluation différents et inclusifs, le rôle de l’examen par les pairs et l’utilisation de la science ouverte”, avec une évaluation plus complète et qualitative, comprenant la collaboration, le partage de données, l’engagement communautaire…Pour le rapporteur, “l’évaluation responsable de la recherche devient un aspect essentiel des avancées mondiales vers une science ouverte, comme en témoigne, par exemple, la Recommandation de l’Organisation des Nations Unies pour l’éducation, la science et la culture (UNESCO) sur la science ouverte .”

La Coalition européenne pour la réforme de l’évaluation de la recherche (CoARA), approuvée en juillet 2022, est citée comme la plus grande initiative de réforme de l’évaluation de la recherche au monde …La coalition avait ainsi annoncé en août la constitution de premiers groupes de travail et de chapitres nationaux. La création d’un chapitre français a été présenté lors de la troisième rencontre France-Amérique du Sud sur la science ouverte en septembre, lors de la session sur l’évaluation. Lancé en novembre et doté de 5 millions d’euros par l’Union européenne, le projet COARA boost a pour objectif d’accélérer la capacité opérationnelle de la coalition : créer des communautés de pratiques, établir un observatoire des pratiques responsables d’évaluation de la recherche, financer 50 projets pour mettre en oeuvre les principes de CoARA et encourager la coopération internationale.

Repenser la manière dont chercheurs, institutions et résultats sont évalués permettrait peut-être de sortir du « Publier ou périr », à l’origine de diverses fraudes, comme le trafic de fausses références bibliographiques décrit dans un article du Monde (28 novembre) et relaté par 4 chercheurs. 

Repéré par Datacc, un article du 17 novembre de chercheurs de l’Open and Reproducible Research Group de l’Université Technologique de Graz constate des dissonances entre les critères que les chercheurs eux-mêmes considèrent comme importants pour l’évaluation de la qualité de leurs travaux et ceux retenus, selon eux, par leur institution. “Le mentorat et la collégialité apparaissent parmi les critères les plus importants pour les chercheurs, alors que la capacité à obtenir des financements, à gérer des projets et à publier de nombreux articles dans des revues reconnues constituent des critères de premier plan pour leurs institutions dans l’évolution de leur carrière. Le partage du code et des données est classé en dernière position : les chercheurs n’estiment pas que leur institution le valorise lorsqu’il s’agit de leur attribuer une promotion.”

Espérons que la CoARA et le classement expérimental, basé sur des données ouvertes, “Leiden Ranking” du Centre for Science and Technology Studies (CWTS), prévu en 2024, feront bouger les lignes …

Et le reste de l’actualité IST, ici :