Des protocoles identiques, des échantillons similaires, mais des résultats différents. Une équipe de 270 chercheurs a tenté de reproduire des études de psychologie. Dans à peine 40% des cas ils sont arrivés aux mêmes résultats que les recherches originales, selon les conclusions de ce projet, baptisé «Reproducibility Project», publiées jeudi dans la revue Science.

Les études en question avaient été publiées initialement en 2008 dans trois revues scientifiques de référence (Psychological Science, the Journal of Personality and Social Psychology, et the Journal of Experimental Psychology), et traitaient aussi bien de comportements sociaux, de la perception ou de la mémoire.

Comment expliquer un tel décalage entre les études originales et leurs reproductions ? Le nombre de publications en plein boom, et la pression qui pèse sur les scientifiques qui cherchent de plus en plus à obtenir des résultats choc, plus susceptibles d’être repris dans les médias grand public, note le New York Times. Les chercheurs remettent en cause depuis quelques années cette course effrénée à la publication et à l’impact factor, indice qui mesure la popularité d’un article par le nombre de ses citations par d’autres chercheurs, expliquait Slate il y a quelques mois.

La validité des théories initiales pas remise en cause

Attention, le «Reproducibility Project» ne conclut pas pour autant que les études concernées sont erronnées, simplement que certains résultats sont exagérés. Très peu d’études ont d’ailleurs été contredites. Leurs résultats étaient simplement plus faibles, moins fiables, par exemple parce que les échantillons étaient trop petits.