Preprint- statt Journal-Clubs

8. November 2023 von Laborjournal

Die Zahl der Vorab-Ver­öf­fent­li­chungen von Forschungsergebnissen auf Preprint-Servern hat zuletzt rasant zugenommen – unter anderem auch stark befeuert durch die COVID-19-Pandemie. Zugleich betreiben die meisten akademischen Institutionen seit vielen Jahrzehnten die guten, alten „Journal Clubs“, in denen bereits begutachtete und publizierte Studienresultate kritisch besprochen werden. Warum angesichts dessen nicht zwei Fliegen mit einer Klappe schlagen, dachten sich offenbar vor drei Jahren eine Handvoll Jungforschende: Warum nicht gewisse Synergien erzeugen, indem man den „Journal Club“ in einen „Preprint Club“ umwandelt?

Ungefähr so entstand 2020 die Idee zu einem institutionsübergreifenden Preprint Club (preprintclub.com), um via Online-Treffen neue immunologische Studien zu bewerten, die auf den Preprint-Servern bioRxiv und medRxiv erschienen waren. Keimzelle waren junge Immunologinnen und Immunologen an der Icahn School of Medicine at Mount Sinai in New York City und der University of Oxford, später kamen weitere vom Stockholmer Karolinska-Institut und der University of Toronto hinzu.

Fünf von ihnen haben den Gründungsprozess und die Idee dahinter gerade in Nature (doi: 10.1038/d41586-023-01819-y) genauer beschrieben. Darin halten sie fest:   Diesen Beitrag weiterlesen »

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Ein Post-Pub-Review-Szenario

9. Mai 2014 von Laborjournal

Gerade eine interessante Diskussion über Post-Publication-Peer-Review mit einem Forscher gehabt, der zugleich auch als Editor eines Journals fungiert. Der war sehr angetan von Preprint-Servern für Manuskripte a la arXiv oder neuerdings bioRxiv — jedoch weniger begeistert von dem gesamten Post-Pub-Rev-Konzept.

Dies insbesondere wegen ganz praktischer Bedenken. Er glaube einfach, dass auf entsprechend freiwilliger Basis die meisten Veröffentlichungen nachträglich überhaupt nicht begutachtet würden, stellte der Forscher-Editor in den Raum. „Wer würde sich denn die Zeit dafür nehmen, wenn man nicht explizit um ein Gutachten gebeten wurde?“

Er befürchte, dass gerade die schlechteren Sachen einfach unkommentiert stehen bleiben würden, weil es den Kollegen schier zu blöd sei, solchen “Mist” auch noch aufwändig gerade zu rücken. Mit der Folge, dass diejenigen, die sich in dem Feld nicht so gut auskennen und die Inhalte kaum selbst adäquat beurteilen können, das Zeug dann womöglich für bare Münze nehmen würden.

Würde eine Arbeit indes tatsächlich nachträglich kommentiert und kritisiert, gebe es seiner Meinung nach drei Möglichkeiten: Die Autoren nehmen die Kritik an, sie streiten deren Inhalt ab oder sie ignorieren sie komplett. Letzteres sei ja bei der Post-Pub-Rev-Plattform PubPeer leider weithin die Regel. Da habe man schon den Eindruck, es gehe alles nach dem Motto: „Was juckt mich das Paper von gestern, es ist doch draußen — ich muss mich jetzt um das nächste Projekt kümmern.“

Und so würden publizierte Artikel „posthum“ kaum einmal besser gemacht, wie es beim klassischen Peer Review doch öfter passiere. „Was nutzen mir schnellere Veröffentlichungen, wenn sie im Schnitt deutlich schlampiger sind — und bleiben.“ Denn selbst im günstigsten Fall — die Autoren bekommen Kommentare und gehen ihrerseits auch darauf ein — würden sie ja nicht mehr das Paper selbst umschreiben, sondern die Verbesserungen ebenfalls „noch weiter unten“ in den Kommentaren platzieren. Was den Lesespaß und vor allem die Leseeffizienz ziemlich senken würde. „Du liest unten einen Kommentar, scrollst hoch, liest da wieder was nach, gehst wieder runter, liest dort weiter, musst gleich wieder hoch,… Schrecklich!“

Ziemlich skeptisches Szenario. Meinungen dazu?