Forschungsbetrug im eigenen Labor vermeiden? — Ein paar Daumenregeln.

26. Mai 2021 von Laborjournal

Kürzlich fragte der Zürcher Neuropathologe und Prionen-Spezialist Adriano Aguzzi auf seiner Facebook-Seite:

Können wir bitte eine aufgeschlossene, ehrliche und tabufreie Diskussion über wissenschaftlichen Betrug führen? Wie man ihn verhindern kann, und wie man damit umgehen sollte?

Und er startete gleich selbst:

Ich fange mal selber an und behaupte, dass jeder, der denkt, so etwas könne in seinem Labor nicht passieren, sich besser auf böse Überraschungen gefasst machen soll. In meinem Labor ist es jedenfalls passiert.

Insgesamt kamen unter dem Posting noch 50 weitere Kommentare zusammen, die wir hier natürlich weder alle referieren noch zusammenfassen wollen. Einer allerdings gefiel uns besonders gut. Giovanni Giuliano, Forschungsdirektor an der Nationalen Agentur für neue Technologien, Energie und nachhaltige wirtschaftliche Entwicklung (ENEA) in Rom, gab folgendes zu bedenken:

Ein paar Daumenregeln, die in meinem Fall funktioniert haben:

a) Datenmanipulation ist üblich (das Löschen „fehlgeschlagener Proben“ oder gänzlich „gescheiterter Experimente“ aus einem Datensatz ist die Norm, und keineswegs die Ausnahme).

b) Ein veröffentlichter Datensatz kann definitionsgemäß nicht das Universum aller möglichen Variationen repräsentieren, sondern nur diejenigen der Replikationen, die von einer bestimmten Person in einem bestimmten Labor durchgeführt werden.

c) Diese Variation sollte zumindest von einer anderen Person im selben Labor reproduzierbar sein, idealerweise jedoch von einer anderen Person in einem anderen Labor.

d) Wenn die Daten nicht zu deiner Hypothese passen, sei klug: Finde eine bessere Hypothese!

e) Sichere dir Kopien der Primärdaten und lasse sie von neuen Mitarbeitern in deinem Labor bei deren Projektstart erneut analysieren. Dies wirkt eine starke Abschreckung gegen Manipulation.

f) Biologie ist komplex. Egal wie klug du bist, keine biologische Hypothese passt zu all deinen Daten. Versuche demnach unabhängig davon das zu veröffentlichen, was du für gute Daten hältst – auch wenn sie nicht zu deiner Hypothese passen. Jemand anders wird dann entweder zeigen, dass deine Methodik falsch ist, oder eine bessere Erklärung für die Daten finden.

g) Wir sind alle Sünder: Wenn du jemanden dabei erwischst, wie er das Datenpolieren übertreibt, lasse sie oder ihn wissen, dass es um mehr geht als nur um eine Frage der Moral – es geht um Intelligenz! Wie es auf dem Apollo-Tempel in Delphi geschrieben steht: Μηδὲν ἄγαν (Nichts im Übermaß!).

Das lassen wir jetzt mal so stehen. Aber vielleicht weiß ja jemand noch die eine oder andere weitere „Daumenregel“…

Ralf Neumann

 

Reproduzierbarkeitskrise? — Selber schuld!

13. Juni 2018 von Laborjournal

(Zugegeben, der folgende Text erschien bereits in etwas anderer Form als Editorial unserer Print-Ausgabe 10/2014. Kürzlich versicherte uns jedoch ein Leser, dass sich bis heute nichts an der Brisanz des Inhalts geändert habe — und dass es durchaus Sinn mache, ihn nochmals zu reproduzieren. Womit wir beim Thema wären…)

 

Die Forschung hat ein Reproduzierbarkeitsproblem. Mehrere Handvoll Studien zum Thema sind inzwischen publiziert — allesamt mit dem ernüchternden Ergebnis, dass die Autoren jeweils weit über die Hälfte speziell ausgewählter Studien nicht „nachkochen“ konnten (LJ 3/2014: 18-23). Und bekanntlich gilt ja nur als robustes wissenschaftliches Resultat, was unabhängig in Oslo, Osaka, Ouadougou oder wo auch immer reproduziert werden kann.

Doch nicht nur die Reproduzierbarkeit macht Sorgen. Seit 2005 mahnt der inzwischen berühmt-berüchtigte US-Epidemiologe John Ioannidis unermüdlich, dass die Mehrzahl der Forschungsergebnisse falsch sei — und zwar schlichtweg wegen lausiger und somit unhaltbarer Statistik (siehe auch unser Interview mit Ioannidis in Lab Times 4/2014: 30-33). „Why Most Published Research Findings Are False“ lautete damals der Titel seines aufsehenerregenden Papers in PLoS ONE (Bd. 2(8): e124).

Seitdem ist er nicht allein geblieben. Erst kürzlich griff etwa der Berliner Neurologe Ulrich Dirnagl das Thema in unserem Jubiläumsheft „20 Jahre Laborjournal“ mit einer eigenen Analyse auf (LJ 7-8/2014: 38-41). „Sind die meisten Forschungsergebnisse tatsächlich falsch?“, fragte er in Anlehnung an Ioannidis in der Überschrift. Und gab die Antwort bereits im Vorspann: „Leider ja — Bias und schlechte Statistik fluten viele Paper mit falsch positiven Resultaten.“

Bias, schlechte Statistik, Reproduzierbarkeitsmangel — all dies zusammen ergibt schnell ein übel riechendes Gebräu, über dem man leicht naserümpfend diagnostizieren kann: „Der Patient Wissenschaft ist wirklich krank.“ Doch worin könnte die Therapie bestehen? Man kann es drehen und wenden, wie man will — man landet immer wieder bei den Autoren und ihren Pflichten. Die folgenden zwei, gar nicht mal ganz neuen Studien sollen dies unterstreichen…       Diesen Beitrag weiterlesen »

Von Wissenschaft und Pfannen

21. Juli 2016 von Laborjournal

nonstickypanWorin unterscheidet sich die Wissenschaft von Pfannen? Zugegeben, der Kalauer mag an den Haaren herbeigezogen sein — aber sei‘s drum: Pfannen reinigen sich immer besser selbst, in der Wissenschaft dagegen…

Seit Jahrzehnten beschwören Forscher sie fast schon gebetsmühlenartig, die Selbstreinigungskraft der Wissenschaft — vor allem wenn es gilt, die Forschungsfreiheit als ihr höchstes Gut vor ungebetenem Regulierungseifer zu schützen. Schließlich habe man schon lange ein dreifaches Sicherheitsnetz gesponnen, um schlampige, schlechte oder gar unehrenhafte Forschung frühzeitig auszusortieren:

Netz Nummer eins bilden die Gutachter, die entscheiden, welche Forschung überhaupt Geld erhält. Ziemlich grobmaschig, zugegeben — aber allzu tumbes Zeug dürfte trotzdem darin hängenbleiben.

Netz Nummer zwei ist das Peer Review-System der Journale. Fachkundige Kollegen prüfen hierbei vor — und neuerdings auch immer öfter nach — einer Veröffentlichung peinlich genau, ob die im Manuskript beschriebene Forschung überhaupt wissenschaftlichen Standards genügt. So wenigstens das Ideal.

Wer nicht bereits in einem dieser beiden Netze zappelt, der sieht sich bald dem dritten gegenüber: der Replikation der Ergebnisse. Taugen diese was, so säen und ernten Kollegen nachfolgend weitere Resultate auf ihnen. Will auf deren Basis jedoch partout nichts mehr sprießen, so werden sie im Nachgriff oftmals selbst als fauliges Fundament enttarnt. Und stinkt dieses gar zu arg, zieht man die entsprechenden Paper zurück — und entsorgt deren Inhalt damit offiziell aus dem wissenschaftlichen Bewusstsein.

Immer öfter ist solches zuletzt geschehen. Irgendwer entdeckte plötzlich Widersprüche in den publizierten Daten, oder aber nachfolgende wollten einfach nicht dazu passen. Und da man den mitgeteilten Ergebnissen daher nicht mehr trauen konnte, zog man das betreffende Paper zurück.

Na also, funktioniert doch — könnte man meinen. Allerdings sind solche Arbeiten nicht selten bis zu ihrem Rückzug schon viele, viele Male zitiert worden, offenbar ohne dass jemand Verdacht geschöpft hatte. In einem solchen Fall versuchte ein Kollege kürzlich, diese Unstimmigkeit folgendermaßen zu begründen: „Frage und Techniken waren viel zu komplex, als dass bis dahin irgendjemand sonst die Ergebnisse in vollem Umfang hätte replizieren können.“

Nun ja, so weit kann es mit Pfannen nicht kommen — noch ein Unterschied.

Alles falsch (Positive)!

2. April 2013 von Laborjournal

Auch Falsch Positive

Was ist das Schlimmste, das einem Forscher widerfahren kann? Vielleicht abgesehen davon, dass ein Mitarbeiter betrügt und Daten manipuliert. Wie wäre es etwa damit, dass sich herausstellt, dass das letzte Dutzend Veröffentlichungen komplett auf falsch positiven Befunden basiert? Ein ziemlicher GAU, oder? Den Gruppen von Harriet de Wit und Abraham Palmer, beide Neuroforscher an der Universität Chicago, ist jetzt genau das passiert.

Seit Jahren fahndeten die Beiden nach spezifischen genetischen Variationen, die mit den differenziellen Antworten auf Amphetamin-Einnahme gekoppelt sind. In einer Basisstudie hatten sie zunächst die subjektiven psychiatrischen wie auch die physiologischen Antworten auf Amphetamin-Gabe von bis zu 162 gesunden Freiwilligen aufgezeichnet. Anschließend suchten sie in Proben von denselben Probanden nach genetischen Assoziationen, die jeweils mit ganz bestimmten Antworten aus dem Response-Spektrum korrelieren. Mit Erfolg, wie es schien. Diesen Beitrag weiterlesen »