Dass immer mehr Paper auf Preprintservern wie arXiv (mit etwa 100 000 eingereichten Studien im Jahr 2014) veröffentlicht und Pressemitteilungen noch vor einer Begutachtung herausgegeben werden, ist ein dritter Grund. Der Wettbewerb um Positionen, Forschungsförderung, Kennzahlen für die Karriere eines Wissenschaftlers wie der h-Index sowie Preise bringt die Forscher dazu, ihre Ergebnisse vorzeitig zu veröffentlichen.

Fehlerhafte Studien auf arXiv lassen sich nicht einfach als irrelevante Ergebnisse verbuchen. Förderentscheidungen werden durch sie verzerrt; Theoretiker verschwenden viel Zeit damit, sich Erklärungen auszudenken; und die Öffentlichkeit wird durch Pressemeldungen in die Irre geführt.

Ein Paradebeispiel für eine vorschnelle Behauptung, die man noch vor einer unabhängigen Begutachtung online veröffentlichte, war ein Bericht im vergangenen Jahr über Hinweise auf Gravitationswellen und die kosmische Inflation, die rasante Expansion des Universums unmittelbar nach dem Urknall, in Daten des BICEP2-Mikrowellenteleskops am Südpol. Der Nachweis eines verwirbelten Polarisationsmusters, B-Mode genannt, in der kosmischen Mikrowellenhintergrundstrahlung stand mit sieben Sigma außer Zweifel.

Doch der angeblich kosmische Ursprung des Signals erwies sich als Irrtum: Sechs Monate später zeigte sich mit Daten des Weltraumteleskops Planck von der Europäischen Weltraumorganisation, dass tatsächlich Staub im Milchstraßensystem verantwortlich war. Ich gehe auch hier davon aus, dass die Autoren der ursprünglichen Studie von der bevorstehenden Bekanntgabe der neuen Planck-Daten gewusst haben. Dennoch entschieden sie sich dafür, ihre Ergebnisse vor deren Bestätigung herauszuposaunen. Die Teams von BICEP2 und Planck arbeiteten schließlich zusammen, um ein belastbares Resultat zu erhalten – ein Ansatz, den man von Anfang an hätte in Betracht ziehen sollen.

Qualitätskontrolle

Um wissenschaftliche Standards und das Ansehen der Forscher nicht weiter zu gefährden, sollte man sich künftig an bewährte Methoden halten.

Die Fünf-Sigma-Hürde (oder etwas Vergleichbares) als Indikator für eine tragfähige Entdeckung zu beherzigen, wäre ein erster Schritt für Physiker. Zudem darf das Einstellen ins Internet eine wissenschaftliche Publikation nicht ersetzen. Und wenn die Öffentlichkeit genauso schnell von einer wichtigen Erkenntnis erfährt wie die wissenschaftlichen Kollegen, ist das einfach zu früh. Eine kritische Prüfung durch unabhängige Fachleute ist unerlässlich, nicht zuletzt, um Befangenheit zu vermeiden.

Solange das Onlinestellen eines Artikels mit der Veröffentlichung eingehend geprüfter Ergebnisse verwechselt wird, sollte die Qualitätssicherung der online verfügbaren Vorabdrucke verbessert werden. arXiv entwickelte bereits ein "Empfehlungssystem", bei dem Nutzer von anderen Nutzern empfohlen werden müssen, bevor sie ein Paper einstellen dürfen. Auf diese Weise soll sichergestellt werden, dass dort nur wissenschaftliche Beiträge erscheinen. Für sensationelle Forschungsergebnisse reicht das allerdings nicht aus. Im Fall von bahnbrechenden Entdeckungen könnten vorher benannte Gutachter die Leser und Autoren rückversichern – zudem wäre es eine Auszeichnung für die Gutachter. Fachjournals sollten von der Bezugnahme auf arXiv-Paper abraten.

Instrumentenkenner und Spezialisten, die die Ausgangsdaten aufgenommen haben, sollten besonders relevante und auf öffentlichen Datensätzen beruhende Ergebnisse überprüfen, sei es als Gutachter, Berater oder Teammitglied. Andere Gruppen, die eine Behauptung mit zusätzlichen Daten entkräften oder bestätigen können, sollten bei der Kontrolle spektakulärer Entdeckungen vor deren Veröffentlichung einbezogen werden. Dies erfordert ein faires Verhalten unter Konkurrenten – und das könnte, wie bereits erwähnt, durch die Benennung von Gutachtern für wegweisende Arbeiten gefördert werden.

Es muss ein Verfahren etabliert werden, in dem vorbildliche Vorgehensweisen belohnt werden. In Kollaborationen sollte man sicherstellen, dass ein Team für die Datenerhebung, das mit einem einzelnen Wissenschaftler zusammenarbeitet, weder wetteifernd die Veröffentlichung des Wissenschaftlers abwertet noch seine eigene Sichtbarkeit herabsetzt. Interne Kontrollen müssen der Bekanntgabe der wichtigsten Ergebnisse auf Konferenzen vorausgehen. Für Autorenlisten sollten Strategien entwickelt werden, um die jeweilige Leistung angemessen zu würdigen.

Fachzeitschriften und arXiv sollten einen Weg finden, die Anerkennung wissenschaftlicher Leistungen zwischen den leitenden Wissenschaftlern in solchen Kooperationen aufzuteilen. Das BICEP2-Team arbeitete später beispielsweise mit der Planck-Kollaboration zusammen; hätten diese ihre Stellung klarermachen können, hätten sie eine Pressekonferenz womöglich hinausgezögert.

Wenig überraschend, dass das erste BICEP2-Paper zehnmal öfter zitiert wird als das abschließende Ergebnis. Dieses Missverhältnis lässt sich häufig beobachten. Es gilt Kennzahlen auszuarbeiten, welche die Zitathäufigkeit solcher vermeintlichen Entdeckungen nicht gleichwertig einbeziehen. Damit wäre es nicht mehr vorteilhafter, ein Resultat zu veröffentlichen und wieder zurückziehen, als eine belastbare Aussage zu machen.

Physikalische Fachgesellschaften wie die American Physical Society und die International Union of Pure and Applied Physics sollten eine Bewegung anführen – ähnlich der Reproduzierbarkeits-Initiative in der Biologie. Wissenschaftler, Verleger und Vertreter von Förderinstitutionen müssen zusammenkommen, um über verbesserte Standards wie Kreuzgutachten, Kennzahlen, die Nutzung von Datenbanken, Qualitätssicherung und Verhaltensregeln zu diskutieren.

Der Artikel ist im Original " Reproducibility: Don't cry wolf " in "Nature" erschienen.