Die Zahl der Vorab-Veröffentlichungen von Forschungsergebnissen auf Preprint-Servern hat zuletzt rasant zugenommen – unter anderem auch stark befeuert durch die COVID-19-Pandemie. Zugleich betreiben die meisten akademischen Institutionen seit vielen Jahrzehnten die guten, alten „Journal Clubs“, in denen bereits begutachtete und publizierte Studienresultate kritisch besprochen werden. Warum angesichts dessen nicht zwei Fliegen mit einer Klappe schlagen, dachten sich offenbar vor drei Jahren eine Handvoll Jungforschende: Warum nicht gewisse Synergien erzeugen, indem man den „Journal Club“ in einen „Preprint Club“ umwandelt?
Ungefähr so entstand 2020 die Idee zu einem institutionsübergreifenden Preprint Club (preprintclub.com), um via Online-Treffen neue immunologische Studien zu bewerten, die auf den Preprint-Servern bioRxiv und medRxiv erschienen waren. Keimzelle waren junge Immunologinnen und Immunologen an der Icahn School of Medicine at Mount Sinai in New York City und der University of Oxford, später kamen weitere vom Stockholmer Karolinska-Institut und der University of Toronto hinzu.
Fünf von ihnen haben den Gründungsprozess und die Idee dahinter gerade in Nature (doi: 10.1038/d41586-023-01819-y) genauer beschrieben. Darin halten sie fest:
Der Preprint Club baut auf der Tatsache auf, dass die meisten akademischen Einrichtungen bereits Journal Clubs betreiben, in denen Nachwuchsforschende Zeit und Energie darauf verwenden, die Arbeiten anderer zu lesen und zu kommentieren. Leider beschränken sich diese Bemühungen oft auf die Diskussion von begutachteten Manuskripten, und die Analysen werden selten über die Journal Clubs hinaus verbreitet. Diese verpasste Gelegenheit haben wir jetzt genutzt, um unsere institutionellen Journal Clubs umzugestalten: Wir konzentrieren uns auf Preprints, die noch nicht von Fachkollegen begutachtet wurden – und machen unsere Analysen öffentlich.
Letzteres heißt demnach, dass die Bewertungen dieser „Preprint Club Sessions“ schriftlich zusammengefasst und öffentlich einsehbar unter jeden besprochenen bioRxiv– oder medRxiv-Preprint gepostet werden. Dies wiederum mit dem Ziel, den jeweiligen Autorinnen und Autoren zu helfen, ihre Preprints vor der Einreichung bei einem „echten“ Journal womöglich noch zu verbessern.
In einem weiteren Artikel mit dem Titel „The Preprint Club – A blueprint for community-based peer review“ beschreibt dasselbe Autoren-Quintett die konkrete Club-Methodik im Detail (EMBO reports 24:e57258). Überdies nehmen die Fünf darin nach zwei Jahren „Club-Leben“ eine Selbstbewertung der Wirksamkeit ihres Konzepts vor. Als Kernergebnisse halten sie fest:
- Nachverfolgen der besprochenen Preprints ergab, dass der Preprint Club erfolgreich aussagekräftige Studien identifizieren kann, bevor sie in Peer-Review-Zeitschriften veröffentlicht werden.
- Die meisten Autorinnen und Autoren der diskutierten Preprints empfanden die „Club-Bewertungen“ als fair, genau und hilfreich.
- Die meisten Teilnehmenden berichteten, dass sie im Preprint Club viel über konkreten Peer Review gelernt haben, sodass sie jetzt insgesamt mehr Vertrauen in ihre Begutachtungsfähigkeiten haben.
Gerade hinsichtlich des letzten Punkts schrieben wir mal über den „guten, alten Journal Club“:
Wo sonst kann man besser lernen, die Qualität von Publikationen zu beurteilen? Gerade heute gibt es wahrscheinlich mehr wundervolle Paper als jemals zuvor in der Geschichte der Biowissenschaften – und es ist sehr lohnend herauszuarbeiten, warum diese Paper so wundervoll sind. Genauso gibt es heute so viele wirklich furchtbare Paper wie noch nie zuvor in der Geschichte der Biowissenschaften – und auch hier lohnt es sich sehr, darüber zu sprechen, warum sie so furchtbar sind. […] Völlig klar: Gute Artikel von schlechten zu unterscheiden zu können, gehört zu den wichtigsten Schlüsselqualitäten des fortgeschrittenen Wissenschaftlers. Gesunder Wissenschaftlerverstand alleine liefert einem diese Qualität jedoch nur bedingt – man muss sie vielmehr trainieren. Und wie? Zum einen natürlich, indem man Paper wirklich liest. Zum anderen, indem man sie diskutiert. Und wo geht das besser als im guten, alten Journal Club?
Vielleicht in Preprint Clubs?
Ralf Neumann
(Illustr.: Adobe Firefly)
Schlagworte: Begutachtung, Journal Club, Manuskript, Nachwuchsforscher, Paper, Peer Review, Preprint, Preprint Server, Publikationswesen
