Reproduzierbarkeitskrise? — Selber schuld!

13. Juni 2018 von Laborjournal

(Zugegeben, der folgende Text erschien bereits in etwas anderer Form als Editorial unserer Print-Ausgabe 10/2014. Kürzlich versicherte uns jedoch ein Leser, dass sich bis heute nichts an der Brisanz des Inhalts geändert habe — und dass es durchaus Sinn mache, ihn nochmals zu reproduzieren. Womit wir beim Thema wären…)

 

Die Forschung hat ein Reproduzierbarkeitsproblem. Mehrere Handvoll Studien zum Thema sind inzwischen publiziert — allesamt mit dem ernüchternden Ergebnis, dass die Autoren jeweils weit über die Hälfte speziell ausgewählter Studien nicht „nachkochen“ konnten (LJ 3/2014: 18-23). Und bekanntlich gilt ja nur als robustes wissenschaftliches Resultat, was unabhängig in Oslo, Osaka, Ouadougou oder wo auch immer reproduziert werden kann.

Doch nicht nur die Reproduzierbarkeit macht Sorgen. Seit 2005 mahnt der inzwischen berühmt-berüchtigte US-Epidemiologe John Ioannidis unermüdlich, dass die Mehrzahl der Forschungsergebnisse falsch sei — und zwar schlichtweg wegen lausiger und somit unhaltbarer Statistik (siehe auch unser Interview mit Ioannidis in Lab Times 4/2014: 30-33). „Why Most Published Research Findings Are False“ lautete damals der Titel seines aufsehenerregenden Papers in PLoS ONE (Bd. 2(8): e124).

Seitdem ist er nicht allein geblieben. Erst kürzlich griff etwa der Berliner Neurologe Ulrich Dirnagl das Thema in unserem Jubiläumsheft „20 Jahre Laborjournal“ mit einer eigenen Analyse auf (LJ 7-8/2014: 38-41). „Sind die meisten Forschungsergebnisse tatsächlich falsch?“, fragte er in Anlehnung an Ioannidis in der Überschrift. Und gab die Antwort bereits im Vorspann: „Leider ja — Bias und schlechte Statistik fluten viele Paper mit falsch positiven Resultaten.“

Bias, schlechte Statistik, Reproduzierbarkeitsmangel — all dies zusammen ergibt schnell ein übel riechendes Gebräu, über dem man leicht naserümpfend diagnostizieren kann: „Der Patient Wissenschaft ist wirklich krank.“ Doch worin könnte die Therapie bestehen? Man kann es drehen und wenden, wie man will — man landet immer wieder bei den Autoren und ihren Pflichten. Die folgenden zwei, gar nicht mal ganz neuen Studien sollen dies unterstreichen…      

2013 schaute sich eine Gruppe um Nicole Vasilevsky von der Oregon Health & Science University systematisch 238 Artikel aus 84 biowissenschaftlichen und multidisziplinären Journals etwas genauer an — zumindest etwas genauer, als es wohl die meisten Reviewer tun. Am Ende publizierten sie als bittere Bilanz, dass in mehr als der Hälfte der jeweiligen Methoden-Kapitel Reagenzien, Konstrukte, Zelllinien oder Modellorganismen derart ungenügend beschrieben waren, dass schon allein deswegen eine Reproduktion der beschriebenen Ergebnisse unmöglich sein musste (PeerJ 1: e148). Im Originallaut der Autoren:

Die Ergebnisse dieses Experiments zeigen, dass 54 Prozent der Ressourcen in den Publikationen nicht eindeutig identifizierbar sind — unabhängig vom Fachgebiet, dem Journal Impact Factor oder expliziten Offenlegungspflichten. Beispielsweise war in vielen Fällen der genaue Stamm des Organismus, in dem das Experiment durchgeführt wurde, oder der verwendete Antikörper nicht zu identifizieren. Unsere Ergebnisse zeigen daher, dass schon die pure Identifizierbarkeit ein ernstes Problem für die Reproduzierbarkeit darstellt.

Schlimm genug. Allerdings sagen die Autoren damit indirekt schon selbst, dass die Studie demnach gar nicht mal alle möglichen Fälle von Nicht-Reproduzierbarkeit erfassen konnte. Zum Beispiel die gar nicht seltenen Fälle, in denen Forscher große Teile der Rohdaten hinter Verschluss halten und nur daraus weiterentwickelte Grafiken präsentieren. Ein „Prinzip“, über das etwa der britische Bioinformatiker Mick Watson kürzlich folgendes twitterte:

Eine Menge Molekularbiologen haben ihre gesamte Karriere dadurch gemacht, dass sie auf ‚ihren privaten‘ Daten saßen. […] Ich kenne jedenfalls viele, die über Jahrzehnte Stammbäume publiziert haben, ohne jemals auch nur eine Sequenz zu veröffentlichen.

„Schon blöd“, könnte man sagen. „Aber wenn’s wirklich klemmt, kann man doch die Corresponding Authors wegen der Details kontaktieren. Schließlich steht doch extra dafür auf jedem Paper einer drauf.“

Im Prinzip schon. Wenn sie denn nur antworten würden…

Drei Bostoner Forscher hatten unlängst die Probe aufs Exempel gemacht. Quasi “undercover” mailten sie knapp 450 “Corresponding Authors” an und fragten nach zusätzlichen ergänzenden Daten, die sie angeblich für einen Review bräuchten. Nach drei Wochen erhielten alle, die sich bis dahin nicht gerührt hatten, eine Erinnerungs-Mail, die das Anliegen nochmals ausführlicher und auf die jeweilige Publikation “maßgeschneidert” erklärte. 89 Email-Adressen waren in der Zwischenzeit erloschen, doch von den aktuellen 357 “Corresponding Authors” antworteten lediglich 190 in irgendeiner Form. Die restlichen 167 schrieben trotz doppelter Anfrage nicht ein Wort zurück. Das Kernergebnis daher: Knapp 50 Prozent der “Korrespondierenden Autoren” biomedizinischer Paper kommen ihrer Verpflichtung und Verantwortung als ebensolche nicht nach (Clin. Orthop. Rel. Res. 473(2): 729-35).

Völlig unabhängig also von möglichem Bias und vermeintlicher Statistikmängel: Wenn die technischen Informationen in derart vielen Artikeln Lücken aufweisen und die Corresponding Authors nicht gewillt sind, diese zu füllen — dann kann es um die Reproduzierbarkeit ja nur sehr bescheiden stehen. Was letztlich aber auch heißt: Systemschwächen hin, böse Journals her — hier muss die Community publizierender Forscher sich ganz fest an die eigene Nase fassen.

x

Schlagworte: , , , , ,

Ein Gedanke zu „Reproduzierbarkeitskrise? — Selber schuld!“

  1. Christoph Hagen sagt:

    „It can be said in jest that scientists would rather share their toothbrush than their data with others.“ Robert M. Glaeser (Beinahe/Hätteesverdient-Nobelpreisträger Chemie 2017), http://dx.doi.org/10.1038/nmeth.3695

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...