Glaubt man aktuellen Umfragen, steckt die Wissenschaft in einer handfesten Reproduzierbarkeitskrise. So schätzen die Autoren eines Perspektiven-Artikels in PLoS Biology, dass sich zwischen 51 und 89 Prozent der insgesamt veröffentlichten, wissenschaftlichen Daten nicht bestätigen lassen. Und in der Tat, von 1.576 durch Nature befragten Wissenschaftlern gaben rund 90 Prozent an, dass sie zumindest eine leichte Reproduzierbarkeitskrise wahrnehmen. Wie aber kommt es dazu und was kann man dagegen tun? Wissenschaftler um Matthias Steinfath und Gilbert Schönfelder vom Deutschen Zentrum zum Schutz von Versuchstieren am Bundesinstitut für Risikobewertung (BfR), das bundesweit die Aktivitäten zur Beschränkung von Tierversuchen sowie zum Schutz von Versuchstieren koordiniert, haben diese Fragen nun mit Hilfe eines mathematischen Modells beantwortet.
Zuerst einmal ist klar: Eine fehlende Reproduzierbarkeit von Daten untergräbt die Glaubwürdigkeit der Wissenschaft an sich. In Zeiten, in denen viele Menschen eher ihrem Bauchgefühl als Fakten vertrauen wollen, kann sich das weder die Wissenschaft noch die Gesellschaft erlauben. Nicht reproduzierbare Daten hemmen bzw. verlangsamen außerdem den wissenschaftlichen Fortschritt, da Arbeitszeit und Forschungsgelder darauf verwendet werden, Experimente durchzuführen, die möglicherweise völlig unnötig sind. Diese Verschwendung von Ressourcen wird noch problematischer, wenn – wie in der biomedizinischen Forschung häufig der Fall – das Leben von Versuchstieren auf dem Spiel steht. Die Verschwendung von Tierleben durch unsinnige Versuche, die auf falsch positiven Ergebnissen vorher gegangener Studien basieren, bringt die Wissenschaft noch mehr in Verruf.
Dass sich Versuchsergebnisse nicht bestätigen lassen, kann verschiedene Gründe haben. Häufig sind etwa die genauen Umstände eines Experiments nicht ausreichend offen gelegt, so dass sich bei der Wiederholung Abweichungen vom Protokoll ergeben. Dies hängt unter anderem damit zusammen, dass Material- und Methoden-Teile gerade in renommierten Journalen oft ein Schattendasein fristen und man sich im Normalfall von Publikation zu Publikation durchhangeln muss, um eine Methode zu rekonstruieren. Um dieser Entwicklung entgegenzusteuern, haben bereits einige Zeitschriften begonnen, den Material und Methoden-Teil wieder zu stärken. Dies ist zwar sinnvoll, wird aber das Problem der Reproduzierbarkeit alleine nicht aus der Welt schaffen. Denn leider gibt es auch jede Menge Fälle, in denen ein Experiment genau wiederholt werden konnte, und trotzdem am Ende nicht das Erwartete herauskam.
Als Ausgangspunkt der Krise machen die BfR-Forscher einen Konflikt zwischen den Wünschen eines individuellen Wissenschaftlers und der Gesellschaft aus: Ein Forscher, dessen Karriere meistens direkt von der Anzahl und der Qualität seiner Publikationen abhängt, muss abwägen, ob er seine Ergebnisse in wenige, hochrangige oder viele, nicht so hochrangige Publikationen verpackt. Zudem kann er bei der Publikation in Hinblick auf seine Daten mehr oder weniger ehrlich sein. Die Gesellschaft wünscht sich dagegen stets qualitativ hochwertige und Ressourcen-schonende Wissenschaft.
Mögliche Lösungsansätze für diesen Konflikt lieferten nun die mathematischen Simulationen der BfR-Forscher, die hauptsächlich zwei Fragen beantworten sollten: Erstens: Ist es möglich, die Gesamtanzahl an Proben (Tierleben) zu verringern, indem in einzelnen Experimenten die Probenzahl erhöht wird? Und zweitens: Unter welchen Umständen und in welchem Ausmaß ist die Veröffentlichung negativer Ergebnisse sinnvoll?
Dabei zeigte sich, dass tatsächlich vor allem das Nicht-Veröffentlichen von negativen Ergebnissen weitere unnötige Studien nach sich zieht. „Solange es schwierig ist, negative Ergebnisse zu publizieren und man dafür auch wenig Anerkennung erntet, werden mehr Ergebnisse veröffentlicht, die letztlich nicht richtig sind“, erklärt Steinfath. „Wenn dann auf dieser Grundlage weitergeforscht wird, verbraucht das Material – oft eben Versuchstiere – und verursacht oft hohe Kosten. Im schlimmsten Fall können sogar Patienten geschädigt werden, beispielsweise wenn klinische Studien auf falsch positiven, präklinischen Ergebnissen aufbauen.“ So basiere die Entwicklung neuer Therapeutika oft auf Tiermodellen, die sich später gar nicht auf den Menschen übertragen lassen.
Da das aktuelle Publikationssystem Wissenschaftler für die Anzahl an Publikationen belohnt, suchen diese außerdem in erster Linie nach „neuartigen“ Effekten und führen viele kleine Studien mit wenig Aussagekraft durch. „Bei kleinen Studien ist automatisch der Anteil der falsch positiven Ergebnisse unter allen positiven Ergebnisse höher, das lässt sich statistisch beweisen“, erläutert Steinfath. „Außerdem kann man annehmen, dass es eine allgemeine Neigung gibt, mehr positive Ergebnisse zu sehen, als eigentlich vorhanden sind. Wenn dann der Druck darauf, positive Daten zu publizieren, groß ist, verstärkt sich dieser Effekt noch.“ Nicht zuletzt führt die Praxis, vor allem positive Ergebnisse zu veröffentlichen, also die Forschung an sich in eine falsche Richtung und hemmt dadurch den Erkenntnisgewinn.
Die Veröffentlichung aller Ergebnisse (aus experimentell einwandfrei durchgeführten Studien) würde hingegen tatsächlich den Konflikt zwischen Wissenschaftlern und Gesellschaft entschärfen. Denn: Forscher würden unter diesen Umständen nicht mehr nur nach neuartigen Ergebnissen streben, sondern auch riskieren, Zeit in Wiederholungen und die Widerlegung von Zusammenhängen zu investieren, so dass falsch positive Ergebnisse schneller korrigiert werden könnten. „Oft setzen sich wissenschaftliche Ideen ausgehend von einem erfolgreichen Labor durch, obwohl sie falsch sind. Irgendwann kommt zwar in der Regel die Wahrheit heraus, aber das dauert eben entsprechend lange. Die Publikation negativer Ergebnisse kann helfen, diesen Prozess frühzeitig zu durchbrechen.“
Zudem erhöht eine wissenschaftlich gebotene hinreichend hohe Zahl von Versuchstieren die Wahrscheinlichkeit, bereits im ersten Versuch richtige und reproduzierbare Ergebnisse zu erhalten. Paradoxerweise kann also die Zahl an Tierversuchen insgesamt reduziert werden, indem pro Versuch mehr Tiere eingesetzt werden. „Was unsere Studie von vielen anderen abhebt“, fasst Schönfelder zusammen, „ist, dass wir uns den gesamten Prozess des Erkenntnisgewinns angesehen haben. Unsere Ergebnisse zeigen, wie sinnvoll es ist, die Wissenschaftler zu motivieren, negative Ergebnisse wertzuschätzen.“
Larissa Tetsch
Steinfath M. et al. (2018): Simple changes of individual studies can improve the reproducibility of the biomedical scientific process as a whole. PLoS ONE 13(9): e0202762