Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal.

Das zweite Gutachten war nämlich das krasse Gegenteil. Es war länger als das eingereichte Manuskript selbst, voller konstruktiv formulierter Kritik und ausgefeilter Vorschläge — und gipfelte schließlich im Urteil: „Review again after Re-Submission.“ Das Paper, so erklärte „No. 2“ explizit, sei in seiner jetzigen Form zwar nicht akzeptabel, habe aber seine Berechtigung. Eine umfangreiche Neufassung sei daher zwingend erforderlich. „Die Autoren sollen ermutigt werden, nochmals eine von Grund auf überarbeitete Version einzureichen, in der die vorgeschlagenen Änderungen vollständig berücksichtigt sind.“

Es war keine große Überraschung, dass der Editor des Journals sich dem Gutachter No. 2 anschloss. Nicht genau das Resultat, das unser Forscher sich erhofft hatte, aber — mal ehrlich! — es hätte schlimmer kommen können. Keine unwiderrufliche Ablehnung — und, was zudem noch Glück im Unglück war: Niemand forderte weitere experimentelle Daten.

Was sollte unser Forscher also tun? Richtig: Hinsetzen und das Paper neu schreiben. Tage- und wochenlang saß er daran. Und siehe da: Je weiter er vordrang, desto mehr Spaß machte ihm das Umschreiben. Schnell hatte er bemerkt, dass „No. 2“ erstaunlich gute Arbeit geleistet hatte. Er hatte das Paper wirklich Wort für Wort gelesen, er hatte es verstanden, er hatte alle Ergebnisse und Schlussfolgerungen sorgfältig überdacht — und jeder einzelne seiner Vorschläge war konstruktiv und fundiert.

Im gleichen Atemzug wurde unserem Forscher klar, dass durch das Einarbeiten der Vorschläge von „No. 2“ das Paper Schritt für Schritt immer besser wurde. Und als er schließlich fertig war, hatte er viel Grundsätzliches über das Schreiben von Forschungsartikeln dazugelernt. Das überarbeitete Manuskript war zwar jetzt ein Drittel kürzer, aber zehnmal besser — wie er sich selbst eingestehen musste. Die Einleitung führte klar zur spezifischen Frage der Studie hin, die Präsentation der Daten war deutlich logischer strukturiert und die Schlussfolgerungen waren viel zielgerichteter und überzeugender.

Doch was würden die Gutachter jetzt dazu sagen? Sie akzeptierten das Papier ohne Änderungen.

Eine Sache indes freute unseren Forscher dabei ganz besonders. Gutachter „No. 2“ hatte vorgeschlagen, auch die neu geschriebene Version des Papers zu prüfen — was auch geschehen war. Und diesmal schrieb er in seinem Gutachten: „Ich bin außerordentlich überrascht, wie sehr sich das Papier durch das Umschreiben verbessert hat.“ „Was?“, dachte unser Forscher amüsiert. „Du bist überrascht, No. 2? Das war doch vor allem dein Verdienst.“

Das Paper wurde also veröffentlicht und — wie es so geht — vergaß unser Jungforscher diese Episode vorerst wieder. Tatsächlich brauchte es die nächsten paar Manuskripte, damit ihm „No. 2“ langsam wieder in den Sinn kam. Der Grund: Nie wieder erlebte er einen Reviewer, der auch nur halb so gut und hilfreich war wie „No. 2“. Im Gegenteil, nach und nach musste er alle hinlänglich bekannten Klischees am eigenen Manuskript erfahren: Reviewer, die das Paper offensichtlich nicht verstanden hatten; Reviewer, die derart unsinnige Datenmengen hinzugefügt haben wollten, dass sie für zwei weitere Artikel gereicht hätten; Killer-Argumente wie „Die Hypothese ist zwar plausibel, aber die Ergebnisse lassen auch andere Schlussfolgerungen zu“, oder umgekehrt „Die Resultate sind durchaus interessant, aber passen irgendwie nicht wirklich zur Hypothese“; bis hin zu blankem Unsinn, wie zum Beispiel: „Die Daten sind zwar schlüssig, dennoch glaube ich nicht, dass der Mechanismus so abläuft…“.

Erst aufgrund dieser Erfahrungen wurde unserem Forscher im Nachhinein klar, dass „No. 2“ der ideale Reviewer war. Er verkörperte alles, worauf es in der Fantasie eines perfektes Peer-Review-Systems ankäme. Und so hatte „No. 2“ ihm trotz aller legitimen Kritik und allem Unsinn, dem man im Peer-Review-System immer wieder begegnet, letztlich gezeigt, dass dieses System grundsätzlich funktionieren kann — und tatsächlich wohl auch oft genug funktioniert. Das Dumme ist nur, dass es dazu zwingend von der Qualität und Integrität der beteiligten Personen abhängt.

Aber das gilt schließlich genauso für die oben erwähnte Alternative des freien und transparenten Post-Publication-Peer-Review.

Ralf Neumann

x

Schlagworte: , , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...