Eine naturwissenschaftliche Publikation ist keine Belletristik, sondern ein mit Fakten und Zahlen gefülltes Werk, das mit Worten wirtschaftlich bis geizig umgeht. Nimmt der Wortgeiz jedoch überhand, kann die eigentlich spannende Lektüre frustrieren. Wie konnten die Reviewer es zum Beispiel durchgehen lassen, dass im Methodenteil nur steht, „samples were collected and processed as described in [25] with previously reported [26] extraction buffer modifications“, und man mühsam nach diesen Referenzen suchen muss, um die Methode zu wiederholen? Gut, ein Reviewer will das Experiment ja selten reproduzieren oder dessen Vor- und Nachteile gegenüber dem eigenen Protokoll identifizieren – manche Leser des Methodenteils hingegen schon. Wenn man dafür aber erst weitere Paper heraussuchen muss, wird es nervig. Und spätestens, wenn diese nicht auffindbar sind oder die Methode auch in diesen Papern nicht klar beschrieben ist, kippt die Stimmung und das anfangs mit Interesse gelesene Paper verliert an Wert.
750 Paper aus 2020
Tracey Weissgerbers Gruppe „Meta-Research und Automatisiertes Screening“ am Berliner Institut für Gesundheitsforschung in der Charité, untersucht unter anderem, wie sich das Methoden-Reporting auf die „Genauigkeit, Reproduzierbarkeit und Transparenz der biomedizinischen Forschung“ auswirkt. Zusammen mit Forschenden von der Charité sowie Universitäten in Toulouse und Paris analysierte sie den Einfluss sogenannter Shortcut Citations, die nur auf vorangegangene Paper verweisen, auf die Reproduzierbarkeit von Methoden (LINK unten). Weissgerbers Team ging insbesondere den drei Fragen nach: Warum und wie häufig kommen Shortcut Citations vor? Welche Konsequenzen hat deren Verwendung für den Leser? Wie handhaben Journals den Umgang mit Shortcut Citations?
Das Konsortium durchforstete 750 Paper, die aus den Neurowissenschaften, der Biologie und der Psychiatrie stammten und im ersten Quartal 2020 publiziert wurden. Die Notwendigkeit für eine solche Metaanalyse steht angesichts der Nichtreproduzierbarkeit, etwa bei Krebsstudien, außer Frage. Bereits das in elife publizierte „Reproducibility Project: Cancer Biology“, das 193 Experimente aus der Krebsforschung replizieren wollte, scheiterte an ungenügend beschriebenen Methoden – die Versuche konnten bestenfalls erst nach Nachfrage bei den Autoren repliziert werden.
Zeitaufwendige Spurensuche
Für die drei oben genannten Disziplinen wählte Weissgerbers Mannschaft jeweils 15 bis 20 Journals mit den höchsten Impact-Faktoren (2019), die originäre Forschung publizieren und keine reinen Methoden-Journals sind. Zitationen, die keiner weiteren Erklärung bedürfen, wurden nicht als Shortcut Citation gewertet. Das ist beispielsweise der Fall, wenn ein methodisch korrektes Detail dokumentiert wird, etwa: „in accordance with [x], we observed that the optimal incubation time was 30 min“. Bei echten Shortcut Citations ging das Team den Zitationen solange nach, bis zum jeweiligen Protokollschritt eine vollständige Beschreibung vorlag. Bisweilen endete diese zeitaufwendige Spurensuche in einer Sackgasse, etwa wenn ein Paper nicht auffindbar war oder Links zu „404 error“-Meldungen führten.
Zehn Zitationen kamen im Mittel in den untersuchten Publikationen im Methodenteil vor. Sie dienten dazu, die Methode zu erklären, vorangegangene Arbeiten zu würdigen, die Technik in einen Kontext zu stellen oder das Vorgehen zu begründen. Shortcut Citations sind in allen drei Fächern Usus und tauchten in 90 bis 96 Prozent der Publikationen auf. Die zitierten Paper lagen teils Jahrzehnte zurück und waren oft lange vor dem PDF-Zeitalter entstanden. Wer will schon in das Bibliotheksarchiv pilgern, um in einem vergilbten Buch zu blättern? In den zitierten Papern waren die Methoden zum Teil auch unvollständig beschrieben oder listeten verwendete Instrumente und Ansätze auf, die heute als überholt gelten. Dass Zitationen sich oft auf Publikationen mit Zugriffsbeschränkungen beziehen, die sich nur gegen Bezahlung entsperren lassen, erschwert den Forscheralltag gehörig.
Kaum Vorgaben von Journalen
Die insgesamt 465 untersuchten Journals schieben den überhandnehmenden Shortcut Citations nur sehr verhalten einen Riegel vor. Nur 40 Prozent der neurowissenschaftlichen Journals, 44 Prozent der biologischen sowie 18 Prozent der psychiatrischen fordern zwar in ihren Richtlinien, dass die Autoren ausreichend methodische Details zur Reproduzierbarkeit von Experimenten liefern müssen. Was das konkret bedeutet, präzisieren aber nur wenige Zeitschriften. 72 bis 87 Prozent machen keine Vorgaben, wie Zitationen im Methodenteil auszuführen sind. Natürlich ruft die Zeichenlimitierung zum Abkürzen auf, das sollte der Reproduzierbarkeit aber nicht im Wege stehen. Immerhin ermuntern 12 bis 23 Prozent der Journals die Autoren dazu, Protokolldetails an anderen Stellen abzulegen, beispielsweise auf GitHub, oder in den Supplements bereitzustellen. GitHub und Co. haben den Vorteil, dass Protokoll-Updates möglich sind, die mit dem im ePaper gelisteten Link auch lange nach Erscheinungsdatum aktuell bleiben.
Für den sinnvollen und wissenschaftlich korrekten Umgang mit Shortcut Citations hat Weissgerbers Gruppe einige Regeln aufgestellt: Die Methode muss ausreichend detailliert beschrieben sein, damit sie auch fachfremde oder weniger erfahrene Forschende replizieren können. Zitationen sind zulässig, wenn sie auf Protokolle und Methodenpaper verweisen, die dem aktuellen Stand der Technik entsprechen. Auch Zitationen umfangreicher Methodenausführungen in originären Forschungspublikationen sind erlaubt.
Revolutionäre Forderung
Ähnelt die verwendete Methode nur einer zitierten Technik, ohne tatsächlich identisch zu sein, müssen die Autoren die Modifikationen darlegen. Wann immer möglich, sollten Zitationen nur auf Open-Access-Publikationen verweisen.
Auch für Journals hat Weissgerbers Gruppe einige Regeln, oder zumindest Empfehlungen parat. Zu diesen gehört zum Beispiel, den Methodenteil prinzipiell von der Zeichenlimitierung auszunehmen. Noch revolutionärer klingt die Forderung des Teams, in sämtlichen Publikationen den Methodenteil als Open Access zu gestalten. Damit lägen zwar die Publikation selbst hinter einer Paywall, nicht aber die Methodenprotokolle. Die Autoren sollten von den Journals dazu aufgerufen werden, die oben genannten drei Regeln zu befolgen. Zu guter Letzt regt das Team an, Methoden auf dynamischen Ablagestellen wie zum Beispiel GitHub und anderen Repositorys bereitzustellen, statt in Supplements, die nicht mehr aktualisiert werden.
Andrea Pitzschke
Standvoss K. et al. (2024): Shortcut citations in the methods section: Frequency, problems, and strategies for responsible reuse. PLoS Biol, 22(4): e3002562.
Bild: Pixabay/RonaldPlett