In unserer aktuellen Printausgabe schrieben wir unter „Inkubiert“, welch ärgerlich geringschätzige Politik manche Journals hinsichtlich der Referenzen betreiben. Daneben gibt es aber noch eine — vielleicht sogar noch wichtigere — Rubrik, bei der viele Journals den Anschein erwecken, als würden sie diese am liebsten gar nicht drucken: Material und Methoden.
Sehr schön illustriert diesen Eindruck die folgende Twitter-Diskussion aus dem Jahr 2014:
From yesterday: on a paper with a Methods section only slightly more informative than saying "a wizard did it" http://t.co/Pukc0CwSyD
— Neuroskeptic (@Neuro_Skeptic) 21. April 2014
@Neuro_Skeptic Which journal introduced policy of printing Methods section AFTER Conclusions section? Nature? Science? Reason: sex up paper.
— Max Coltheart (@maxcoltheart) 21. April 2014
@maxcoltheart Yes that sends the wrong message. Even worse is when they put most of the methods in Supplementary Materials…
— Neuroskeptic (@Neuro_Skeptic) 21. April 2014
@Neuro_Skeptic Even worse indeed. So why do you think journals began to do this?
— Max Coltheart (@maxcoltheart) 21. April 2014
@maxcoltheart @Neuro_Skeptic There's also the awful trend of reduced font size for methods sections.
— Marc Ettlinger (@mettle) 21. April 2014
Die Symptome dieser Geringschätzung des „Material und Methoden“-Teils sind folglich,
- ihn auf ein völlig unverständliches Maß zusammenzukürzen;
- ihn ganz ans Ende des Artikel zu hängen;
- dazu noch die Schrift auf eine schwer zu lesende Größe zu verkleinern;
- oder ihn gar nicht zu drucken, sondern nur noch als Online-Supplement anzubieten.
Wie „Neuroskeptic“ schreibt: All dies sendet ein fatales Signal — nämlich, dass „Material und Methoden“ ein zu vernachlässigendes Anhängsel eines Forschungsartikels seien. Und dass das „Interessante“ — Entdeckungen und Erkenntnisse — ja sowieso woanders stehe.
Dabei wird doch (hoffentlich) jedem Jungforscher eingetrichtert, dass Forschungsergebnisse erst zählen, wenn sie jederzeit und überall unabhängig reproduziert werden können. Was natürlich nur geht, wenn man die beschriebenen Experimente absolut exakt „nachkochen“ kann. Und was braucht man dazu? Eben — eine bis ins letzte Detail exakte Beschreibung der verwendeten Materialien und eingesetzten Methoden.
Was machen daher also die Journals, wenn sie den vermeintlich ach so langweiligen „Material und Methoden“-Teil der Forschungsartikel immer mehr verstecken und kastrieren? Genau — sie sorgen zunehmend dafür, dass Forschungsergebnisse nicht mehr unabhängig verifiziert werden können.
Und war da nicht gerade was von wegen Reproduzierbarkeitskrise in der Forschung?…
Schlagworte: Experiment, Journal, Methoden, Paper, Reproduzierbarkeit, Supplement, Twitter
Leider nichts Neues. Das fängt schon an, wenn man in einem Artikel so etwas exotisches wie die Sequenz der eingesetzten Primer sucht…
Hauptsache, schnell und viel publizieren…
Finde ich in folgender Hinsicht sehr verständlich: In den Life Sciences werden in der überwiegenden Anzahl der Veröffentlichungen Methoden genutzt, die weit etabliert sind (meinetwegen und um die weit verbreitetsten aufzuzählen: Western Blot und PCR, usw. usf.). Oft werden auch Einzelheiten der Methoden, deren Änderungen sich unmittelbar auf die Ergebnisse auswirkten, im dortigen Teil niedergeschrieben. Hinzu kommt die wachsende Anzahl an Journals, die ausschließlich Methoden veröffentlicht (Nature Methods, etc.). Außerdem bieten Video Journals und Tutorials von Methoden einen ungeahnt genauen Einblick in Methoden, der früher noch nicht einmal denkbar gewesen wäre (mal von einem Laborbesuch abgesehen). Das soll nicht komplett von Unsinnigkeiten ablenken, wie zum Beispiel das Weglassen von genauen Anzuchtbedingungen von Bakterien, die sonst gar nicht wachsen, aber früher war beleibe nicht alles besser. Ich erinnere mich mit Grausen an so komprimierte Material und Methoden-Absätze in 80er Jahre Artikel, dass man am Ende gar nichts verstand. Alles vermutlich aufgrund begrenzter Seitenanzahl. Dann doch viel lieber eine kleine Schrift im nur online verfügbaren Supplement – die Leute, die es wirklich brauchen (ob nun zum Nachkochen oder zum Variieren einer Methode) und danach suchen, finden es sowieso. Und mal ehrlich: Wieviele Paper wurden früher einfach bis zur Conclusion gescrollt, ohne auch nur den Ergebnissen einen Moment zu zollen? Bei der Vielzahl an Veröffentlichungen (auch schon vor 20, 30 Jahren) nur zu gut verständlich. Solange es beim Gutachten mit rechten Dingen zugeht, sollten obige Probleme auch nicht auftauchen.
Was ist eigentlich das Problem an Methoden (überwiegend oder fast) ausschliesslich im Supplement. Liest denn tatsächlich noch jemand die Artikel im gedruckten Journal? Im Supplement hat man wenigstens genug Platz die Methoden genau zu beschreiben. In vielen Artikeln aus der „guten alten Zeit“ sind die Methoden eher dürftig, und wer eine Methode sucht, muss sich durch eine lange Reihe von „performed as in x“ – Paper x: “ performed as in y“ usw. arbeiten.
Das passiert eher selten bei Papern mit 10 Seiten Supplementary Methods.