REPRODUCTIBILITÉ EN SCIENCES EXPÉRIMENTALES

Biologie et psychologie au cœur du problème de la reproductibilité

C'est dans le domaine biomédical que les questions de reproductibilité se posent avec le plus d'intensité. Une étude de chercheurs de la firme allemande Bayer publiée en 2011 a examiné soixante-sept publications importantes dans les domaines – stratégiques pour l'industrie pharmaceutique – de l'oncologie, de la gynécologie et des maladies cardio-vasculaires. Les chercheurs de Bayer se sont efforcés de reproduire dans leurs propres laboratoires les expériences décrites dans ces articles, de nature très fondamentale, bien en amont de la recherche clinique. Conclusion : 21 p. 100 des expériences décrites étaient entièrement reproductibles ; 7 p. 100 dans leurs grandes lignes ; 4 p. 100 partiellement. En d'autres termes, les deux tiers des expériences décrites se sont avérées impossibles à reproduire, en dépit des efforts des nombreux ingénieurs et techniciens dévolus par Bayer à ce projet. L'année suivante, une autre étude, menée par la firme de biotechnologie californienne Amgen, est parvenue à un résultat plus inquiétant encore. Sur cinquante-trois publications scientifiques dans le domaine de l'oncologie, publiées dans les revues les plus prestigieuses, seules six se sont avérées reproductibles dans les laboratoires d'Amgen.

Ces deux études systématiques de reproductibilité dans le domaine biomédical ont été organisées par des entreprises lassées d'acheter des licences sur des brevets portant sur des procédés inventés dans des laboratoires universitaires, se révélaient impossibles à reproduire dans leurs propres laboratoires. Mais, dans un domaine aux applications commerciales bien plus éloignées, celui de la psychologie expérimentale, une étude diligentée par un groupe international (l'Open Science Collaboration) de deux cent soixante-dix-neuf chercheurs est parvenue en 2015 à des conclusions tout aussi inquiétantes quant à la reproductibilité des résultats publiés. Ils ont sélectionné cent études parues en 2008 dans trois des revues les plus prestigieuses du domaine, et ont entrepris d'en refaire les expériences. Dans seulement trente-six cas, ils sont parvenus à obtenir les mêmes résultats que dans l'étude originale. Et, dans ces trente-six cas, la robustesse statistique des résultats était toujours inférieure à celle qui était rapportée dans l'article princeps.