Info

Der Peer Review ist tot, ...

(06.10.2020) ... lange lebe der Peer Review! Für eine echte Reform des Peer-Review-Prozesses müssen wir Wissen­schaftler auch bei uns selbst Dinge verändern.
editorial_bild

Info

Wir alle kennen das: Nach langem Warten und steigender Anspannung trifft endlich eine Antwort des Journals ein. Mit zittrigem Klick öffnet man die E-Mail und liest dort, dass man es sich nicht leicht gemacht habe. Aber angesichts der substan­tiellen Kritik der Reviewer sehe man sich nicht in der Lage, den Artikel zu veröffent­lichen. Dies dürfe man bitte nicht als prinzipielles Urteil über die darin enthaltene Wissen­schaft verstehen, aber man erhalte zu viele Manuskripte und müsse deshalb priorisieren. Man wünscht weiterhin frohes Forschen und hofft, dass man dem Journal gewogen bleibe!

Nach dem ersten Schock dann ein Blick auf die Reviews im Anhang. Reviewer 1 fand die Arbeit wohl ganz gut – hier eine kleine Bean­standung, dort ein paar wohlmeinende Vorschläge. Aber Reviewer 2! Hat er den Artikel denn überhaupt gelesen? War es vielleicht eine andere Arbeit, und er hat die Reviews verwechselt? In jedem Fall hatte der oder die Unbekannte überhaupt keine Ahnung – und erdreistete sich dennoch, mehrere Seiten lang Gülle über drei Jahre unserer harten Arbeit und deren hoch­relevante Resultate zu schütten.

Info

Andererseits haben wir auch dies schon erlebt: Durchaus harte, aber konstruktive Kritik von Reviewern, da sie tatsäch­lich die eine oder andere Problem­stelle identi­fiziert hatten, die man selbst übersehen hatte oder nicht wahrhaben wollte. Und dann gute Hinweise gaben, wie man nach ein paar zusätzlichen Experi­menten und einer textlichen Revision einen viel besseren Artikel daraus machen könnte!

Wir alle haben also vermutlich recht gemischte Erfah­rungen mit dem Peer Review, akzeptieren ihn aber dennoch klaglos de facto als Eintritts­pforte zu jeglicher wissen­schaftlichen Veröffent­lichung, die unser Ansehen unter Kollegen steigert oder uns gar einer Entfristung oder Professur näherbringt. Zwar ist sich die Mehrzahl der Wissen­schaftler der vielen Schwächen des Peer-Review-Systems bewusst. Aber wer sich von Wissen­schaft ernähren will, muss damit leben. Und konzentriert sich daher lieber auf die Experimente und das Schreiben der Paper als auf vertiefte Reflexionen zu möglichen Alternativen der wissen­schaftlichen Qualitäts­kontrolle.

Doch Hand aufs Herz: Würden Sie die Option „Send out for review“ wählen, wenn Sie bei Einreichung Ihres Papers auch „Publish immediately“ ankreuzen könnten? Momentan kommt jedenfalls tatsächlich etwas Bewegung in die Diskussion. Denn in gewisser Weise bieten die derzeit so populären Preprints genau diese Option. Corona und die damit verbundene Volks- und Wissen­schaftler-Aufklärungs­kampagne in Sachen „Wie funktioniert eigentlich Wissenschaft“ hat das Publizieren ohne Review-Prozess nicht nur den Corona-Forschern, sondern allen Wissen­schaftlern und sogar Laien nahe­gebracht. Und die Frage, ob der Peer Review notwendig, überflüssig oder sogar schädlich ist, kam damit erstmals so richtig aufs Tablett.

Info

Weil es an dieser Stelle schon häufiger Thema war und weil es letztlich auch im (Unter-)Bewusstsein fast aller Akteure innerhalb des Systems präsent ist, hier nur noch einmal eine kurze und unvollständige Auflistung der Schwächen des Peer Reviews:
» Bei Manuskript­einreichung ist das Kind bereits potenziell in den Brunnen gefallen, die Studie nämlich schon durchgeführt, substan­tielle Verbesserungs­vorschläge kommen meist zu spät.
» Peer Review verlängert die Zeit, bis neue Erkenntnisse auf den Markt kommen.
» Er fördert Mainstream-Forschung.
» Er ist völlig intransparent und fördert damit Seilschaften oder Vendettas.
» Er begünstigt Ideenklau.
» Seine Ergebnisse sind nicht reproduzierbar, seine Qualität erratisch. Egal wie schlecht eine Arbeit ist, nach multiplen Einreichungen bei einer Vielzahl von Journalen mit absteigender Reputation (= Impact Factor) wird sie dennoch publiziert.
» Er verhindert Wissenschafts­betrug nicht.
» Er frisst immense Ressourcen: Unsere eigenen wegen mehrmaligen Über­arbeitens
und Einreichens derselben Sache, dazu generell diejenigen von uns Forschern als Reviewer – und nicht zuletzt diejenigen der Steuer­zahler. Schließlich finanzieren wir die Lizenz­gebühren der Bibliotheken oder die Open-Access-Gebühren (Article Processing Charges, APC), die die Maschinerie des Review-Prozesses bei den Verlagen überhaupt erst aufrecht­erhalten.

Die Liste der Probleme des Review-Prozesses ließe sich noch lange fortsetzen. Und für alle Punkte gibt es solide wissen­schaftliche Evidenz.

Zusammengenommen hat dies dazu geführt, dass heutzutage ein nicht unbeträcht­licher Teil der Arbeit an einem Paper oftmals darin besteht, den Peer-Review-Prozess zu beein­flussen oder sogar zu manipulieren. Da werden Arbeiten zitiert und Formulierungen benutzt, die einem erhofften Reviewer schmeicheln, es wird endlos debattiert, welche Reviewer man vorschlagen oder besser ausschließen sollte, Journale werden nach „guten Bekannten“ in den Editorial Boards ausgewählt und so weiter. Wer diese Klaviatur beherrscht, hat einen klaren Karriere­vorteil. Nicht zuletzt deshalb gehören „Meet-the-Editor“-Sessions zu den best­besuchten Veran­staltungen auf Kongressen, da man hofft, dort Tipps und Tricks zu erhaschen, wie ich mit dem nächsten Manuskript am ehesten im betreffenden Journal akzeptiert werde.

Wer das alles für normal hält, ist bereits voll im Wissen­schaftsbetrieb sozialisiert. Alle anderen sollten sich allerdings die Frage stellen, was diese Umtriebe letztlich noch mit Wissen­schaft zu tun haben. Und warum es trotz all seiner Probleme den Peer Review in der jetzigen Form überhaupt (noch) gibt.

Gerüchte besagen, dass er so alt sei wie die moderne Wissen­schaft selbst, also quasi in der DNA der wissen­schaftlichen Methode angelegt ist. Was aber nicht stimmt. Der Peer Review der Gentleman Scientists des 17. Jahrhunderts, der Boyles und Hookes also, hatte sehr wenig zu tun mit dem heutigen Prozedere. Oder glauben Sie etwa, dass „The Molecular Structure of Nucleic Acids“ von Watson und Crick 1953 bei Nature durch einen Review-Prozess gegangen ist? Natürlich nicht, denn das gab es damals noch nicht.

Der Peer Review hat sich in seiner heutigen Form erst zwanzig bis dreißig Jahre später richtig entwickelt. Und zwar in Zeiten, in denen viel weniger publiziert wurde, in denen die verwendete Methodik lange nicht so komplex war wie heute – und in denen „das System“ weniger kompetitiv war als heute. „Koryphäen“ ihrer Felder publizierten häufig wenig – und wenn, dann in den Journalen ihrer Fach­gesellschaften. Jeder kannte jeden. Exzellenz maß sich nicht an der Zahl von Nature-Papern. Wissen­schaftliche Fehden wurden mit offenem Visier und häufig auch mit harten Bandagen ausgetragen.

Vordergründig gilt Peer Review heute als Schlüssel­element der wissen­schaftlichen Qualitäts­kontrolle. Wenn wieder einmal spektakuläre Betrugsfälle sogar die Laienpresse beschäftigen, reibt man sich zwar ab und an die Augen, beruhigt sich dann aber gleich wieder damit, dass dies ja nur eine Ausnahme gewesen sei und damit die Regel bestätige. Obwohl Peer Review also ganz offensichtlich eine Schlüsselrolle im wissen­schaftlichen Prozess zugeschrieben wird, gibt man sich keine Mühe, ihn zu professio­nalisieren. Obwohl es hier viel zu beachten und noch mehr falsch zu machen gibt, wird gutes Reviewen nicht gelehrt. Man reviewt einfach munter drauf los, sobald die Anfrage eines Journals kommt.

In Wirklichkeit besteht die wesent­lichste Aufgabe des Peer Reviews jedoch heute nicht mehr in der Qualitäts­kontrolle, sondern vielmehr in der Operatio­nalisierung und Quasi-Objekti­vierung der Hierarchie von wissen­schaftlichen Journalen – und zwar durch die Aufrecht­erhaltung der für diese Hierarchie notwendigen Selektivität. Aufgrund der immens gewachsenen Komplexität von Themen und Methoden haben die Proliferation und Quasi-Industria­lisierung der Wissens­produktion samt deren Verbreitung in Form von wissen­schaftlichen Artikeln zu einer Überwältigung von Editoren, Reviewern und Autoren geführt. Die Zeiten der Generalisten sind vorbei. Reviewer können nur noch Teilaspekte der ihnen vorgelegten Arbeiten beurteilen. Um die Qualität der Daten zu überprüfen, sofern diese ihnen überhaupt zugänglich gemacht werden, müssten Reviewer sich tagelang mit einem Manuskript herumschlagen. Vor einiger Zeit las ich etwa ein Cell-Paper, bei dem allein im Supplement Daten auf 15 Abbildungen verstreut waren – davon hatten einige 26 Briefmarken-große Panels, welche von A bis Z gelabelt waren! Wer will sich anmaßen, so etwas zu beurteilen?

Die Idee vom Peer Review als inhaltlichen Diskurs unter Wissen­schaftlern über konkrete Forschungs­ergebnisse ist edel und plausibel – und hat sich für ein paar Jahrzehnte durchaus bewährt. Damals hat sich Peer Review zum Standard entwickelt und sich den Nimbus „Qualitäts­kontrollinstrument“ verdient.

Heute aber ist er überfordert. Dies auch wegen der mittlerweile im Wissen­schaftsbetrieb vorherr­schenden Hyper­kompetition und der Quantifi­zierbarkeit des Prestiges der Journale durch den Impact Factor – was letztlich vollends zur Kommer­zialisierung des Produkts „Wissen­schaftlicher Artikel“ geführt hat. Fachartikel sind zur wichtigsten Währung im Wettbewerb der Wissen­schaftler geworden. Die Verlage leben davon, indem sie in ihrer Konkurrenz unter­einander den Wechselkurs dieser Währung festlegen. Es kommt also nicht mehr so sehr darauf an, was in einem Artikel steht – sondern vielmehr darauf, wo er erschienen ist. Das Prestige des Journals adelt den Inhalt und bürgt gleichzeitig unabhängig von diesem für seine Qualität. Der Peer Review hat in diesem Prozess die Funktion eines quasi-objektiven Steuerungs- und Selektions­instruments.

Dass da auch mal ein Paper verbessert oder großer Mist aussortiert wird, ist zur Nebensache geworden. Aber klar, wenn ein Artikel zur Begut­achtung in die richtigen Hände gerät, gibt es oft genug auch konstruk­tive Hinweise. Und man wird davor geschützt, sich – benebelt von den vermeintlich sensatio­nellen eigenen Ergebnissen – durch Publikation von methodischen Fehlern oder überzogenen Schluss­folgerungen vor der Fachwelt zum Idioten zu machen. Peer Review kann nämlich tatsächlich wissen­schaftlicher Diskurs vom Feinsten sein!

Wäre es daher also möglich, sich der Stärken des Peer Reviews zu bedienen, seine Schwächen aber zu vermeiden? Also den Pelz zu waschen, ohne sich nass zu machen? Ich denke schon! Ein einfacher aber hoch­wirksamer Ansatz ist es, den Review-Prozess vor den Studien­beginn zu verlegen. Also als „Registered Report“, der Narr hat an dieser Stelle bereits ausführlich darüber berichtet (LJ 4/2020: 22-24). Sowohl damit aber auch mit klassischem Peer Review kombinierbar wäre die Offen­legung der gesamten Korrespondenz des Journals mit den Reviewern, um damit Transparenz zu schaffen. Dies kann man weiter treiben bis hin zum „Offenen Review“, also Reviews gänzlich ohne den Schutz der Anonymität.

Sie werden sich fragen, ob das nicht zu Gefälligkeits­gutachten und Seilschaften führt? Wohl eher nicht, denn die Korrespondenz läge ja für jedermann sichtbar offen! Auch würden wahrschein­lich Argumen­tationen unter der Gürtellinie sowie offensichtlich inkompetente Kommentare seltener, da sie ja den jeweiligen Gutachter in den mitveröffent­lichten Reviews kompro­mittieren würden.

Ein potenzieller Nachteil von offenen Reviews kann es jedoch sein, dass insbesondere junge Wissen­schaftlerinnen und Wissen­schaftler fürchten müssten, dass kritische Kommentare ihre Karriere gefährden könnten. Abgesehen davon, dass dies kein gutes Licht auf das System werfen würde, gäbe es auch hierfür Abhilfe – zum Beispiel durch Co-Review mit etablier­teren Wissen­schaftlern. Deren Name würde dann veröffentlicht, natürlich mit dem Hinweis auf die Kollaboration – und die jungen Wissen­schaftler könnten über Angebote wie Publons (https://publons.com) trotzdem Anerkennung für ihre Arbeit bekommen.

Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittler­weile auch die gründliche Qualitäts­kontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den inter­nationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt. Häufig haben die jeweiligen Autoren dann die relevantesten Kommentare in den Revisionen ihrer Preprints berücksichtigt oder gleich mit in die reguläre Submission bei einem Peer-Review-Journal eingebracht.

Einige Journale praktizieren bereits erfolgreich einige oder sogar alle der oben genannten Modifi­kationen des Peer Reviews. Dazu zählen unter anderem Elife, F1000Research, das EMBO Journal, die PLoS-Journals, das British Medical Journal und PeerJ. Mir würden auch noch weitere Verbes­serungen einfallen, davon vielleicht später mal mehr auf diesen Seiten.

Allerdings: Damit dies alles richtig durch­schlägt und der Peer Review wieder Instrument des kritisch-konstruktiven Austausches zwischen Wissen­schaftlern wird, müssen sich gleichzeitig noch andere Dinge bei uns selbst verändern. Vor allem müssen wir weniger, dafür aber bessere Artikel schreiben. Deren Inhalt und Qualität müssen wichtigere Kriterien in der Beurteilung von Wissen­schaftlern und deren Œuvres werden als die Namen der Journale, in denen sie veröffent­lichen. Und dann könnte durchaus gelten: Lang lebe der Peer Review!

Ulrich Dirnagl

Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj



Letzte Änderungen: 06.10.2020

Diese Website benutzt Cookies. Wenn Sie unsere Website benutzen, stimmen Sie damit unserer Nutzung von Cookies zu. Zur ausführlichen Datenschutzinformation