Die netten Gutachter von nebenan

22. Mai 2019 von Laborjournal

Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…

Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.

Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.

Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.) 

Unsere kleine Anekdote von oben wich also offenbar klar von diesem Trend ab. Ob dies nun daran lag, dass das Manuskript einfach über jeden Zweifel erhaben war, oder ob ausgerechnet in diesem Einzelfall keinerlei derartiger Bias zum Tragen kam — man weiß es nicht.

Dass dieser Friendly-Reviewer-Bias — wie gesagt — prinzipiell dennoch stark ausgeprägt ist, hat interessanterweise gerade nochmals eine Studie des Schweizerischen Nationalfonds (SNSF) bestätigt — nur diesmal im Rahmen der Begutachtung von Forschungsanträgen und in weitaus größerem Maßstab (PeerJ Preprints 7:e27587v2). Und die Ergebnisse haben sogar konkrete Konsequenzen…

Stolze 38.250 Reviews von 12.294 Anträgen, die zwischen 2006 und 2016 aus allen Wissenschaftsdisziplinen eingingen, werteten fünf fleißige Forscher für den SNSF aus — und enthüllten qualitativ dasselbe Ergebnis wie die oben erwähnten Studien zum Paper-Review:

We found that in univariable analysis applicant-nominated reviewers awarded higher evaluation scores than reviewers nominated by the SNSF,

schreiben die Autoren im Ergebnisteil. Beispielsweise war es im Mittel vierfach wahrscheinlicher, dass Projektanträge als „excellent“ oder „outstanding“ bewertet wurden, wenn von den Antragstellern benannte Kollegen und nicht irgendwelche SNSF-bestellten Gutachter diese evaluierten.

Als Konsequenz verkünden die Autoren daher in den Schlussfolgerungen:

The SNSF decided to discontinue the use of the “positive list”, thereby abolishing the possibility for grant applicants to suggest their own reviewers.

Der SNSF sieht den Friendly-Reviewer-Bias also erwiesenermaßen als derart stark ausgeprägt an, dass die Antragsteller in Zukunft keine potenziellen Gutachter mehr für ihre Projektanträge nennen dürfen. Andere Forschungsförderer wie die deutsche DFG oder der österreichische FWF gestatten dies übrigens schon lange nicht.

Gängige Praxis ist das Nominieren potenzieller Gutachter jedoch weiterhin bei den meisten Journals. Und logisch auch, dass sich die Editoren gerne bei den Vorschlägen bedienen, da es ihnen schlichtweg Zeit und Ressourcen spart.

Das Eingangsbeispiel bildete also gleich in mehrerlei Hinsicht eine Ausnahme. Aber da lag ja offenbar auch eine ganz besondere Motivlage vor.

Ralf Neumann

Foto: iStock / AaronAmat

Schlagworte: , , , , , , , , ,

Ein Gedanke zu „Die netten Gutachter von nebenan“

  1. Peter sagt:

    Bereits im Jahre 2010 habe ich das Thema in einem Artikel (Laborjournal 10/2010, S. 34 – 45) ausführlich behandelt.
    Ich habe in dem Beitrag ein ausdrückliches Verbot eingefordert, beim Einreichen wissenschaftlicher Originalartikel potentielle Gutachter vorzuschlagen.
    Nach meiner festen Überzeugung wird der Peer Review Prozess sonst zu einer albernen Pseudokontrolle.
    Die vielen Wissenschaftsskandale der letzten Jahre geben mir da sicherlich Recht.
    Peter Lahnert

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...