Peer-Review soll bekanntlich die Qualität und Klarheit der Forschungsberichte verbessern. Doch Hand auf’s Herz – adressieren Sie bei der Überarbeitung eines zurückgeschickten Manuskripts in diesem Sinne tatsächlich alle substantiellen Einwände und Vorschläge der Reviewer, um es besser zu machen? Damit das Journal dieses im zweiten Anlauf womöglich akzeptiert?
Oft kommt es überhaupt nicht so weit, weil viele das Manuskript gar nicht mehr zur selben Zeitschrift schicken, sondern stattdessen mit diesem ihr Glück gleich beim nächsten Journal versuchen. Das muss zwar nicht automatisch heißen, dass die Reviewer-Vorschläge zur Verbesserung der Erstversion dafür gar nicht aufgegriffen werden. Allerdings liegt es schon nahe, dass viele Manuskripte genau aus diesem Grund bei einem anderen Journal zweiteingereicht werden: Um sich die Zeit und die Mühe von teilweise aufwendigen Änderungen zu sparen.
Nächstes Journal, bitte!
Ein Chirurgen-Trio von der University of Texas in Austin untersuchte dieses Thema mal genauer – und stellte die Ergebnisse in Accountability in Research vor („The effect of peer review on the improvement of rejected manuscripts“, Vol. 28(8): 517-27). Zum Studiendesign schreiben sie im Abstract:
„Zunächst identifizierten wir alle umsetzbaren Vorschläge in den Ablehnungsschreiben von 250 zufällig ausgewählten Manuskripten, die im Jahr 2012 in einer bekannten orthopädischen Fachzeitschrift erschienen. Danach durchsuchten wir PubMed und Google Scholar nach den letztlich veröffentlichten Texten – und verglichen diese mit den ursprünglichen Einreichungen, um festzustellen, ob die ursprünglichen Vorschläge der Gutachter berücksichtigt wurden.“
Damit bestätigen die Texaner zunächst einmal, dass Autoren nach einer Ablehnung offenbar lieber die Zustimmung eines anderen Journals suchen, statt eine sauber revidierte Fassung nochmals bei der selben Zeitschrift einzureichen. Als weitere Ergebnisse fassen sie überdies zusammen:
„Zweihundert (80 %) der 250 abgelehnten Manuskripte wurden bis zum Juli 2018 in einer anderen Zeitschrift veröffentlicht. Von den 609 inhaltlich verwertbaren Änderungsvorschlägen wurden 205 (34 %) in den veröffentlichten Manuskripten aufgegriffen. Am häufigsten wurden dabei die Vorschläge zur Titelzeile sowie der Zusammenfassung berücksichtigt (48 %).“
Missachtete Ratschläge
Die Texaner fanden folglich, dass in den ursprünglich abgelehnten Manuskripten, die schließlich in einer anderen Zeitschrift veröffentlicht wurden, nur ein Drittel der konkret umsetzbaren Vorschläge der ersten Review-Runde berücksichtigt waren. Zwei Drittel der Revisionsvorschläge, die die Gutachter den Autoren mit der ersten Ablehnung zur fachlichen Verbesserung gaben, wurden dagegen missachtet.
Die drei Chirurgen folgern daher:
„Unsere Ergebnisse deuten darauf hin, dass Autoren die Revisions-Ratschläge von Peer-Reviewern nach einer Ablehnung häufig ignorieren. Möglicherweise betrachten die Autoren das Peer-Review-Verfahren als etwas, das jede Fachzeitschrift nach eigenem Maßstab handhabt – und nicht als ein Verfahren, das Verbreiten von nützlichen und richtigen Erkenntnissen zu optimieren.“
Dies wiederum ist sehr nett ausgedrückt. Man könnte stattdessen auch sagen, dass viele Autoren ab einem bestimmten Zeitpunkt oftmals deutlich stärker daran interessiert sind, ihre Manuskripte möglichst schlank „durchzubekommen“ – statt sie tatsächlich zu verbessern. Schade, der „Scientific Record“ könnte demnach sicher deutlich besser aufgeschrieben sein.
Peer-Review zentralisieren!
Aber sei’s drum – einige Vorschläge zur Verbesserung dieser Situation hat das Trio zum Schluss natürlich auch noch:
Fachzeitschriften sollten erwägen zusammenzuarbeiten, indem sie eine einzige Website für die Einreichung von Manuskripten nutzen, die es ermöglicht, dass Peer-Reviews an die nächste Zeitschrift weitergegeben werden können. Dies würde dazu beitragen, dass die Autoren für die Umsetzung der vorgeschlagenen Änderungen zur Rechenschaft gezogen werden. Überdies würde die Qualität von „Lower-Tier-Journals“ profitieren, da sie besseren Zugang zu entsprechenden Expertenratschlägen erhalten. Und die Gutachter selbst könnten zur Qualität der veröffentlichten Forschungsexperimente beitragen, indem sie prägnante Rezensionen schreiben, die sich auf konstruktive, inhaltliche und umsetzbare Änderungen konzentrieren – gerade vor dem Hintergrund, dass die meisten Manuskripte am Ende doch veröffentlicht werden.
Vor allem würde ein solches Vorgehen aber den Wahnsinn stoppen, dass ein schlechtes Manuskript beim Herabklettern von Journal zu Journal völlig sinnlos die wertvolle Zeit von immer wieder neuen ehrenamtlichen Gutachtern verschwendet.
Ralf Neumann
(Illustr.: „Forscher Ernst“ von Rafael Florés)
- Der Peer Review ist tot, ...
... lange lebe der Peer Review! Für eine echte Reform des Peer-Review-Prozesses müssen wir Wissenschaftler auch bei uns selbst Dinge verändern. — Aus den "Einsichten eines Wissenschaftsnarren" …
- Künstlich-intelligente Wissenschaftsbegutachtung
Maschinelle Sprachverarbeitung und neuronale Netzwerke versprechen, Peer-Review-Verfahren zu beflügeln und von menschlichen Schwächen zu befreien. Evaluieren sie eventuell sogar wissenschaftliche Qualität effizienter? ...
Im Jahr 1831 schrieben William Whewell und John Lubbock den vermutlich ersten Peer Review für ein akademisches Journal. Nach monatelangem Streit. …