ÉVALUATION DE LA RECHERCHE

Les dangers du quantitatif pour évaluer la recherche

Les indicateurs les plus couramment utilisés dans l’évaluation – le nombre de publications, leur facteur d’impact, le « facteur h » (h-index) d’un chercheur, le montant des contrats d’un établissement avec le secteur privé… – nécessitent une certaine expertise, parce qu'il y a souvent plusieurs manières de les calculer et de les interpréter en fonction, d’une part, des caractéristiques de ce qu’on évalue et, d’autre part, des objectifs de l’évaluation qu'on entreprend. S’agit-il d’encourager des recherches risquées, de favoriser tel type d’approche ou tel sujet de recherche, telle discipline, de promouvoir les recherches en collaboration, de rechercher le rayonnement international, l’applicabilité, ou encore d’encourager l’approche multidisciplinaire ? Le système d’évaluation qui conditionne une partie du financement public des universités anglaises, le research excellence framework, par exemple, s’attache à suivre le prestige académique des professeurs, mais aussi le niveau de certaines ressources qui leur viennent du secteur privé ou celui des contrats de consultance. En Australie, l’évaluation par le gouvernement prend en compte la capacité qu’ont les établissements d’attirer des étudiants étrangers...

La façon d’interpréter les mêmes chiffres va donc varier avec la discipline, le thème de recherches, la technique utilisée, la façon dont les informations scientifiques sont diffusées, etc. Certaines recherches permettent, plus facilement que d’autres, de publier des résultats rapides. De même, un travail peut être cité pour des raisons très différentes, et pas toujours positives. Ou bien il peut n’être pas cité, au début au moins, parce qu’il apporte des résultats très novateurs, voire dérangeants. Ou, encore, le thème de recherche peut être très nouveau, ce qui limite le nombre de journaux dans lesquels les résultats pourront être publiés…

En résumé, nous dirons que le même indicateur sera plus ou moins fidèle selon la recherche qu'on examine et selon ce qu’on veut savoir.

Par exemple, ces indicateurs distinguent parfois mal des qualités comme la robustesse des connaissances produites, leur originalité, leur potentiel d’application et de transformation à long terme. Non seulement parce que ces dimensions sont en soi difficiles à quantifier, mais aussi parce qu'elles demandent du temps pour se déployer et pour devenir détectables – alors que les indicateurs qui sont utilisés dans la plupart des évaluations sont presque toujours calculés à très court terme, ce qui ne facilite pas la prise en compte de ces qualités.

Tous ces biais sont plus ou moins agissants, et seront d'autant plus à surveiller qu'on travaille à une granulométrie fine. Par exemple, le facteur h, censé caractériser la performance des résultats de recherche d’un chercheur, dépend des sujets de recherche sur lesquels il a travaillé, de son âge, de sa manière de publier, etc. : il paraît donc délicat de comparer entre eux des chercheurs sur la base de ce nombre, pourtant très utilisé.

S'ils sont employés de façon trop mécanique, les indicateurs peuvent pousser les chercheurs vers une forme de « stakhanovisme scientifique » consistant à sélectionner des sujets de recherche sans grand intérêt mais sans risque, simplifier les contrôles pour gagner du temps, multiplier les articles exposant des résultats simples plutôt que chercher à approfondir les questions qui surgissent, rechercher les expertises valorisantes indépendamment de leur valeur ajoutée, etc. On oriente ainsi de facto les comportements vers le court terme et contre la prise de risque, ce qui est à l’inverse de l'exigence scientifique.

De plus en plus régulièrement, certaines sociétés savantes, certains réseaux de professionnels de l’édition,[...]