Reproduzierbarkeitskrise? — Selber schuld!

13. Juni 2018 von Laborjournal

(Zugegeben, der folgende Text erschien bereits in etwas anderer Form als Editorial unserer Print-Ausgabe 10/2014. Kürzlich versicherte uns jedoch ein Leser, dass sich bis heute nichts an der Brisanz des Inhalts geändert habe — und dass es durchaus Sinn mache, ihn nochmals zu reproduzieren. Womit wir beim Thema wären…)

 

Die Forschung hat ein Reproduzierbarkeitsproblem. Mehrere Handvoll Studien zum Thema sind inzwischen publiziert — allesamt mit dem ernüchternden Ergebnis, dass die Autoren jeweils weit über die Hälfte speziell ausgewählter Studien nicht „nachkochen“ konnten (LJ 3/2014: 18-23). Und bekanntlich gilt ja nur als robustes wissenschaftliches Resultat, was unabhängig in Oslo, Osaka, Ouadougou oder wo auch immer reproduziert werden kann.

Doch nicht nur die Reproduzierbarkeit macht Sorgen. Seit 2005 mahnt der inzwischen berühmt-berüchtigte US-Epidemiologe John Ioannidis unermüdlich, dass die Mehrzahl der Forschungsergebnisse falsch sei — und zwar schlichtweg wegen lausiger und somit unhaltbarer Statistik (siehe auch unser Interview mit Ioannidis in Lab Times 4/2014: 30-33). „Why Most Published Research Findings Are False“ lautete damals der Titel seines aufsehenerregenden Papers in PLoS ONE (Bd. 2(8): e124).

Seitdem ist er nicht allein geblieben. Erst kürzlich griff etwa der Berliner Neurologe Ulrich Dirnagl das Thema in unserem Jubiläumsheft „20 Jahre Laborjournal“ mit einer eigenen Analyse auf (LJ 7-8/2014: 38-41). „Sind die meisten Forschungsergebnisse tatsächlich falsch?“, fragte er in Anlehnung an Ioannidis in der Überschrift. Und gab die Antwort bereits im Vorspann: „Leider ja — Bias und schlechte Statistik fluten viele Paper mit falsch positiven Resultaten.“

Bias, schlechte Statistik, Reproduzierbarkeitsmangel — all dies zusammen ergibt schnell ein übel riechendes Gebräu, über dem man leicht naserümpfend diagnostizieren kann: „Der Patient Wissenschaft ist wirklich krank.“ Doch worin könnte die Therapie bestehen? Man kann es drehen und wenden, wie man will — man landet immer wieder bei den Autoren und ihren Pflichten. Die folgenden zwei, gar nicht mal ganz neuen Studien sollen dies unterstreichen…       Diesen Beitrag weiterlesen »

Von Wissenschaft und Pfannen

21. Juli 2016 von Laborjournal

nonstickypanWorin unterscheidet sich die Wissenschaft von Pfannen? Zugegeben, der Kalauer mag an den Haaren herbeigezogen sein — aber sei‘s drum: Pfannen reinigen sich immer besser selbst, in der Wissenschaft dagegen…

Seit Jahrzehnten beschwören Forscher sie fast schon gebetsmühlenartig, die Selbstreinigungskraft der Wissenschaft — vor allem wenn es gilt, die Forschungsfreiheit als ihr höchstes Gut vor ungebetenem Regulierungseifer zu schützen. Schließlich habe man schon lange ein dreifaches Sicherheitsnetz gesponnen, um schlampige, schlechte oder gar unehrenhafte Forschung frühzeitig auszusortieren:

Netz Nummer eins bilden die Gutachter, die entscheiden, welche Forschung überhaupt Geld erhält. Ziemlich grobmaschig, zugegeben — aber allzu tumbes Zeug dürfte trotzdem darin hängenbleiben.

Netz Nummer zwei ist das Peer Review-System der Journale. Fachkundige Kollegen prüfen hierbei vor — und neuerdings auch immer öfter nach — einer Veröffentlichung peinlich genau, ob die im Manuskript beschriebene Forschung überhaupt wissenschaftlichen Standards genügt. So wenigstens das Ideal.

Wer nicht bereits in einem dieser beiden Netze zappelt, der sieht sich bald dem dritten gegenüber: der Replikation der Ergebnisse. Taugen diese was, so säen und ernten Kollegen nachfolgend weitere Resultate auf ihnen. Will auf deren Basis jedoch partout nichts mehr sprießen, so werden sie im Nachgriff oftmals selbst als fauliges Fundament enttarnt. Und stinkt dieses gar zu arg, zieht man die entsprechenden Paper zurück — und entsorgt deren Inhalt damit offiziell aus dem wissenschaftlichen Bewusstsein.

Immer öfter ist solches zuletzt geschehen. Irgendwer entdeckte plötzlich Widersprüche in den publizierten Daten, oder aber nachfolgende wollten einfach nicht dazu passen. Und da man den mitgeteilten Ergebnissen daher nicht mehr trauen konnte, zog man das betreffende Paper zurück.

Na also, funktioniert doch — könnte man meinen. Allerdings sind solche Arbeiten nicht selten bis zu ihrem Rückzug schon viele, viele Male zitiert worden, offenbar ohne dass jemand Verdacht geschöpft hatte. In einem solchen Fall versuchte ein Kollege kürzlich, diese Unstimmigkeit folgendermaßen zu begründen: „Frage und Techniken waren viel zu komplex, als dass bis dahin irgendjemand sonst die Ergebnisse in vollem Umfang hätte replizieren können.“

Nun ja, so weit kann es mit Pfannen nicht kommen — noch ein Unterschied.

Alles falsch (Positive)!

2. April 2013 von Laborjournal

Auch Falsch Positive

Was ist das Schlimmste, das einem Forscher widerfahren kann? Vielleicht abgesehen davon, dass ein Mitarbeiter betrügt und Daten manipuliert. Wie wäre es etwa damit, dass sich herausstellt, dass das letzte Dutzend Veröffentlichungen komplett auf falsch positiven Befunden basiert? Ein ziemlicher GAU, oder? Den Gruppen von Harriet de Wit und Abraham Palmer, beide Neuroforscher an der Universität Chicago, ist jetzt genau das passiert.

Seit Jahren fahndeten die Beiden nach spezifischen genetischen Variationen, die mit den differenziellen Antworten auf Amphetamin-Einnahme gekoppelt sind. In einer Basisstudie hatten sie zunächst die subjektiven psychiatrischen wie auch die physiologischen Antworten auf Amphetamin-Gabe von bis zu 162 gesunden Freiwilligen aufgezeichnet. Anschließend suchten sie in Proben von denselben Probanden nach genetischen Assoziationen, die jeweils mit ganz bestimmten Antworten aus dem Response-Spektrum korrelieren. Mit Erfolg, wie es schien. Diesen Beitrag weiterlesen »

Information 1


Information 2


Info

Info

INTEGRA bietet Ihnen die Chance, eine von 100 PIPETBOY acu 2 Pipettierhilfen zu gewinnen. Erfahren Sie hier wie! mehr

Info

Info

Info

Wir alle tun es – und das ziemlich oft! Drücken die Taste und dann passiert es... mehr

Info

Info

Accelerate your research with custom monoclonal and polyclonal antibodies from BioGenes. mehr

Info