Reproduzierbarkeitskrise? — Selber schuld!

13. Juni 2018 von Laborjournal

(Zugegeben, der folgende Text erschien bereits in etwas anderer Form als Editorial unserer Print-Ausgabe 10/2014. Kürzlich versicherte uns jedoch ein Leser, dass sich bis heute nichts an der Brisanz des Inhalts geändert habe — und dass es durchaus Sinn mache, ihn nochmals zu reproduzieren. Womit wir beim Thema wären…)

 

Die Forschung hat ein Reproduzierbarkeitsproblem. Mehrere Handvoll Studien zum Thema sind inzwischen publiziert — allesamt mit dem ernüchternden Ergebnis, dass die Autoren jeweils weit über die Hälfte speziell ausgewählter Studien nicht „nachkochen“ konnten (LJ 3/2014: 18-23). Und bekanntlich gilt ja nur als robustes wissenschaftliches Resultat, was unabhängig in Oslo, Osaka, Ouadougou oder wo auch immer reproduziert werden kann.

Doch nicht nur die Reproduzierbarkeit macht Sorgen. Seit 2005 mahnt der inzwischen berühmt-berüchtigte US-Epidemiologe John Ioannidis unermüdlich, dass die Mehrzahl der Forschungsergebnisse falsch sei — und zwar schlichtweg wegen lausiger und somit unhaltbarer Statistik (siehe auch unser Interview mit Ioannidis in Lab Times 4/2014: 30-33). „Why Most Published Research Findings Are False“ lautete damals der Titel seines aufsehenerregenden Papers in PLoS ONE (Bd. 2(8): e124).

Seitdem ist er nicht allein geblieben. Erst kürzlich griff etwa der Berliner Neurologe Ulrich Dirnagl das Thema in unserem Jubiläumsheft „20 Jahre Laborjournal“ mit einer eigenen Analyse auf (LJ 7-8/2014: 38-41). „Sind die meisten Forschungsergebnisse tatsächlich falsch?“, fragte er in Anlehnung an Ioannidis in der Überschrift. Und gab die Antwort bereits im Vorspann: „Leider ja — Bias und schlechte Statistik fluten viele Paper mit falsch positiven Resultaten.“

Bias, schlechte Statistik, Reproduzierbarkeitsmangel — all dies zusammen ergibt schnell ein übel riechendes Gebräu, über dem man leicht naserümpfend diagnostizieren kann: „Der Patient Wissenschaft ist wirklich krank.“ Doch worin könnte die Therapie bestehen? Man kann es drehen und wenden, wie man will — man landet immer wieder bei den Autoren und ihren Pflichten. Die folgenden zwei, gar nicht mal ganz neuen Studien sollen dies unterstreichen…       Diesen Beitrag weiterlesen »

Etwas Schwund ist immer…

16. Mai 2017 von Laborjournal

(Eine typische Labor-Geschichte, erzählt von Valerie Labonté)

Nach längerer Abwesenheit im Labor rechnet man ja damit, dass manches nicht mehr an seinem Platz ist. Aber dass es gleich so schlimm kommen muss wie in diesem Beispiel…

Doktorandin Petra kommt nach einigen Wochen Schreibarbeit zu Hause wieder ins Labor, um für den nächsten Tag ein Experiment vorzubereiten, das ihr für das Paper noch fehlt. Das Vorhaben beginnt natürlich mit… Suchen! Ihre Pipetten sind auf andere Arbeitsplätze und in fremde Schubladen verteilt. Neben der Waage hat jemand eine Dauerpipette für alle eingerichtet — natürlich ist es eine von ihren. Also erstmal die Pipetten zusammensammeln, putzen und eichen.

Petra hat schon fast keine Lust mehr, aber sie muss ja nur vorbereiten heute. Nächste Aufgabe: Chemikalien zusammensuchen. Zwar gibt es diesen gut geordneten Chemikalienraum, doch hat jeder seine Stammchemikalien am Platz oder im Kühlfach gebunkert — oder wo es sonst gerade praktisch scheint. Normalerweise weiß man trotzdem, wo etwas zu finden ist — nur ist erstens Petras eigene Sammlung inzwischen geplündert, und sind zweitens diejenigen der Kollegen nicht mehr in dem selben Zustand wie vor Monaten.

Nach „Wo sind meine Pipetten?“ heißt also die zweite Laborrunde: „Wo sind meine Chemikalien?“. Zu allem Überfluss sind einige der nachbestellten Chemikalien inzwischen in anderen Flaschen als gewohnt gekommen, weshalb es noch länger dauert, bis Petra alles zusammengekratzt hat.

Diesen Beitrag weiterlesen »

Was wollt ihr 2017 lesen?

7. Dezember 2016 von Laborjournal

Bildschirmfoto-2016-12-07-um-14.05.06Ja, tatsächlich! Bevor nach der Weihnachtspause die Phasen von Heftplanung und -produktion wieder Fließband-artigen Charakter annehmen, dürft ihr Leser uns kräftig die Meinung sagen.

Was und worüber wollt ihr also im nächsten Jahr gerne mehr, lieber weniger, überhaupt mal oder um Himmels willen gar nichts mehr in Laborjournal lesen? Weniger Kurzmeldungen vielleicht? Dafür mehr Essays und Kolumnen? Genauso wie Hintergrundberichte und investigative Recherchen?… Und sollen wir die Publikationsanalysen nicht langsam sein lassen?…

Wie sieht’s mit Journal Clubs, Firmenporträts und Methoden-Artikeln aus – lieber mehr oder weniger? Sind Biotech/Pharma und Methoden überhaupt genügend abgedeckt? Kommt Forschungspolitisches ausreichend zur Sprache? Oder braucht’s mehr Anekdotisches und Gossip?… Ach ja, und was meint Ihr zu den Comics?…

Und nochmal anders gefragt:

Welche Themen müssen für das nächste Jahr unbedingt ins Programm? 3D-Bioprinting? Gentechnik-Gesetz? Genome Editing? Open Access und Open Science? Forschungsbetrug und Reproduktionskrise? Tierversuche? Klinische Forschung? Einzelzell-Techniken? Förder- und Karrierestrategien?…

Oder etwas völlig anderes, woran wir hier in der Redaktion noch gar nicht denken?

Also, los geht’s! Kurz nachgedacht — und dann mitgeteilt, was und was ihr nicht wollt. Und wie ihr’s wollt. Entweder gleich hier unten ins Kommentarfenster, oder via E-Mail an redaktion@laborjournal.de.

Vielen Dank schon mal jetzt!

x

Kastrierte Methoden

14. Januar 2016 von Laborjournal

In unserer aktuellen Printausgabe schrieben wir unter „Inkubiert“, welch ärgerlich geringschätzige Politik manche Journals hinsichtlich der Referenzen betreiben. Daneben gibt es aber noch eine — vielleicht sogar noch wichtigere — Rubrik, bei der viele Journals den Anschein erwecken, als würden sie diese am liebsten gar nicht drucken: Material und Methoden.

Sehr schön illustriert diesen Eindruck die folgende Twitter-Diskussion aus dem Jahr 2014:
 


 
Die Symptome dieser Geringschätzung des „Material und Methoden“-Teils sind folglich,

  • ihn auf ein völlig unverständliches Maß zusammenzukürzen;
  • ihn ganz ans Ende des Artikel zu hängen;
  • dazu noch die Schrift auf eine schwer zu lesende Größe zu verkleinern;
  • oder ihn gar nicht zu drucken, sondern nur noch als Online-Supplement anzubieten.

 
Wie „Neuroskeptic“ schreibt: All dies sendet ein fatales Signal — nämlich, dass „Material und Methoden“ ein zu vernachlässigendes Anhängsel eines Forschungsartikels seien. Und dass das „Interessante“ — Entdeckungen und Erkenntnisse — ja sowieso woanders stehe.

Dabei wird doch (hoffentlich) jedem Jungforscher eingetrichtert, dass Forschungsergebnisse erst zählen, wenn sie jederzeit und überall unabhängig reproduziert werden können. Was natürlich nur geht, wenn man die beschriebenen Experimente absolut exakt „nachkochen“ kann. Und was braucht man dazu? Eben — eine bis ins letzte Detail exakte Beschreibung der verwendeten Materialien und eingesetzten Methoden.

Was machen daher also die Journals, wenn sie den vermeintlich ach so langweiligen „Material und Methoden“-Teil der Forschungsartikel immer mehr verstecken und kastrieren? Genau — sie sorgen zunehmend dafür, dass Forschungsergebnisse nicht mehr unabhängig verifiziert werden können.

Und war da nicht gerade was von wegen Reproduzierbarkeitskrise in der Forschung?…
 
 

Wann ist Schluss mit Zitieren?

4. November 2014 von Laborjournal

Ihn muss man schon lange nicht mehr zitieren

Jeder Labor-Biologe stellt mit dem pH-Meter seine Puffer ein. Muss er daher später in seinen Veröffentlichungen den dänischen Chemiker Søren Peder Lauritz Sørensen zitieren — weil dieser 1909 erstmals das Konzept der pH-Skala vorstellte?

Oder nehmen wir Johannes Thal. 1577 beschrieb der Erfurter Arzt und Botaniker erstmals die Ackerschmalwand Arabidopsis thaliana. Gut vierhundert Jahre später avancierte Thals „Pflänzchen“ bekanntlich zu dem Modellorganismus der Pflanzenforschung schlechthin. Allein die Literaturdatenbank Web of Science listet heute 95.000 Artikel unter dem Stichwort „Arabidopsis„. Wahrscheinlich hat nicht einer Thal in der Referenzliste.

Sørensen und Thal könnten folglich zu den meistzitierten Männer der wissenschaftlichen Literatur gehören — tun sie aber nicht. Und das ist auch richtig so. Denn irgendwann gehören Dinge einfach zum allgemeinen (Fach-)Wissen oder Handwerk, so dass die entsprechenden Zitierungen ziemlich überflüssig, ja sogar eher peinlich wirken.  Diesen Beitrag weiterlesen »

Gerade genug ist nicht genug

18. September 2013 von Laborjournal

Wissenschaftliche Studien müssen so verfasst sein, dass sie problemlos und allumfassend reproduziert werden können — seit jeher eines der obersten Gesetze wissenschaftlichen Publizierens.

Ernüchternd daher, was eine Gruppe von Forschern um Erstautor Nicole Vasilevsky von der Oregon Health & Science University feststellen musste. Nachdem sie knapp 240 Artikel aus 80 biowissenschaftlichen und multidisziplinären Journals begutachtet hatten, bilanzierten sie, dass in über der Hälfte der Fälle Reagenzien, Konstrukte, Zelllinien oder Modellorganismen derart ungenügend im jeweiligen Methodenteil beschrieben waren, dass eine Reproduktion der beschriebenen Ergebnisse schon allein dadurch unmöglich sein musste (PeerJ 1:e148 http://dx.doi.org/10.7717/peerj.148). Diesen Beitrag weiterlesen »

Forscher erzählen auf Twitter, wie es wirklich läuft (… und Laborjournal ist dabei)

9. Januar 2013 von Laborjournal

Wie viele Wissenschaftler inzwischen tatsächlich twittern, kann man momentan auf eindrucksvolle und höchst amüsante Weise unter dem sogenannten Twitter-Hashtag #OverlyHonestMethods verfolgen. Was aktive Forscher seit vorgestern hier tief aus dem „Nähkästchen“ über ihre Arbeit preisgeben, treibt einem geradezu ein Dauergrinsen ins Gesicht.

Hier einige Beispiele:

Diesen Beitrag weiterlesen »

„Da soll noch einer die Forschungsförderung verstehen…“

11. Dezember 2012 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. K. Eingeld, Applikatiologisches Institut Universität Unvollstädt.

LJ: Hallo, Herr Eingeld, schlechte Laune?

Eingeld: Allerdings.

LJ: Was ist passiert?

Eingeld: Antrag abgelehnt. Zum zweiten Mal.

LJ: Zweimal dasselbe Projekt?

Eingeld: Exakt.

LJ: Was lief schief?

Eingeld: Ach, beim ersten Mal waren alle Gutachter eigentlich begeistert. Jedenfalls von der Wissenschaft. Diesen Beitrag weiterlesen »