Exklusive Übersetzung aus

Befragt man einzelne Psychologen, welche gerade neu herausgekommene Studie ihres Fachgebiets sich bei einer zweiten Überprüfung als reproduzierbar erweisen würden, ist das Ergebnis selten zuverlässig: Tatsächlich könnte man fast ebenso gut eine Münze werfen, anstatt die Fachleute zu befragen. Das ändert sich allerdings, sobald man die Antwort in einer Marktsituation prognostizieren lässt, bei der die gesammelten Meinungen zusammengeworfen werden. Dann ergeben sich recht gute Vorhersagen über die Reproduzierbarkeit der fraglichen Studien, wie ein Vorhersageexperiment belegt.

Der Test des Verfahrens wurde parallel zu dem jüngst durchgeführten crowdbasierten Großexperiment unternommen. Im Zuge des schlagzeilenträchtigen Unternehmens konnte von 100 psychologischen Veröffentlichungen nicht einmal die Hälfte von unabhängigen Teams reproduziert werden. Während dieser Großversuch im letzten Jahr lief – aber noch vor der Bekanntgabe des Ergebnisses – waren zusätzlich gut 40 beteiligte Forscher gebeten worden, per Fragebogen zu wetten, welche von über 40 getesteten Studien sich am Ende wohl bestätigen würde – und wie hoch sie die Wahrscheinlichkeit dafür einschätzen würden.

Laden... © Nature; Baker, M.: First results from psychology’s largest reproducibility test . Nature, 2015 (Ausschnitt) Reproduzierbare Studien | Wissenschaftler haben freiwillig die Zuverlässigkeit der Resultate von 100 ausgewählten psychologischen Veröffentlichungen überprüft. Am Ende stuften sie 61 als "nicht vollständig reproduzierbar" ein. Allerdings sind viele dieser Negativergebnisse nicht ganz falsch, sondern bestätigten sich zu mehr oder weniger großen Teilen (was hier durch verschiedene Blautöne angedeutet ist).

Dabei ging es auch um echte Wetteinsätze: Die Teilnehmer bekamen 100 US-Dollar, die sie in "Aktien" anlegen durften, die den einzelnen Studien zugeordnet waren. Festgelegt war dabei, dass die Aktien von nicht reproduzierbaren Studien nach Abschluss des Experimentes wertlos sein würden, diejenigen jedoch, die zu Veröffentlichungen gehörten, die sich in ihrer Hauptaussage reproduzieren lassen würden, brächten jeweils einen Dollar ein. (In Studien, die sie selbst zu überprüfen hatten, durften die Befragten dabei übrigens nicht investieren.)

Die Ergebnisse sind nun publiziert worden. Wie sich zeigt, waren die in den Einzelumfragen gesammelten Prognosen kaum häufiger richtig, als wenn man sie schlicht ausgewürfelt hätte. Das Wettaktien-Marktmodell dagegen erreichte eine deutlich höhere Treffgenauigkeit von immerhin 71 Prozent korrekt vorhergesagter Replikationsresultate. Allerdings neigte der Wettmarkt insgesamt zu leicht übertriebenem Optimismus: Am Ende war die Durchschnittsaktie 55 US-Cent wert – woraus geschlossen werden kann, dass der "Markt" davon ausging, dass 55 Prozent aller Studien reproduziert werden können.