Kaum etwas bietet Wissenschaftlerinnen und Wissenschaftlern derart viel Anlass zu Diskussionen wie der Peer-Review. Das Peer-Review-System sei veraltet, überlastet, Neuheits-feindlich, Missbrauchs-anfällig und und und.

Ob das Fazit „Wer viele Peer-Reviews erstellt, publiziert mehr und wird auch häufiger zitiert“ ebenfalls für derartige Diskussionen sorgen wird, sei einmal dahingestellt – auf jeden Fall verkündet ein Team kanadischer Epidemiologen dies als Schlussfolgerung in ihrem Artikel „Characteristics of ‘mega’ peer-reviewers“ (Res. Integr. Peer Rev. 7, 1).

Oder meinen sie es eher umgekehrt: Wer viel publiziert und häufig zitiert wird, schreibt auch mehr Peer-Reviews?

Okay, was haben die Kanadier also genau gemacht?

Aus der Peer-Review-Plattform Publons suchten sie sich 396 Gutachter heraus, die von Januar bis Dezember 2018 mindestens hundert Peer-Reviews abgeschlossen hatten. Diese bezeichneten sie als „Mega-Peer-Reviewer“ und stellten sie einer Kontrollgruppe von 1.200 „mittleren“ Peer-Reviewern gegenüber, die im selben Zeitraum zwischen einem und 18 Gutachten geschrieben hatten.

Die statistischen Analysen erbrachten als Ergebnisse:

• Die Peer-Review-Texte waren in beiden Gruppen im Mittel gleich lang.
• Die Mehrheit der Mega-Peer-Reviewer stammte aus Asien (33 %), Europa (37 %) und Nordamerika (19 %). In der Kontrollgruppe der Peer-Reviewer kamen 41 % aus Europa, 26 % aus Nordamerika und 21 % aus Asien.
• Drei Viertel der Mega-Peer-Gutachter waren männlich, während der Männer-Anteil in der Kontrollgruppe 58 Prozent betrug.
• Mega-Peer-Reviewer wiesen im Vergleich zur Kontrollgruppe eine signifikant höhere mittlere Anzahl an Gesamt-Publikationen und -Zitierungen auf; auch im Analysejahr 2018 allein publizierten sie im Mittel mehr und wurden häufiger zitiert. Ebenso kamen die Mega-Peer-Reviewer auf einen höheren h-Index-Schnitt.

In der Diskussion schreiben die Autoren vor allem zum letzten Punkt:

Unsere Studie war nicht darauf ausgerichtet, die Gründe für diese Unterschiede zu untersuchen. Beispielsweise könnten Mega-Peer-Reviewer von den Herausgebern häufiger zur Begutachtung eingeladen werden, oder sie könnten eine Vergütung für die Begutachtung erhalten.

Aber eine Vermutung haben sie dennoch:

Unsere Ergebnisse deuten darauf hin, dass Mega-Peer-Reviewer möglicherweise etablierter sind (beispielsweise mehr Zitierungen; hoher h-Index) als Nicht-Mega-Peer-Reviewer.

Womit am Ende klar geworden sein dürfte: Keineswegs bekommt man mehr Publikationen und Zitate, weil man viel begutachtet. Wäre ja auch zu schön gewesen. Nein, umgekehrt wird ein Schuh daraus: Wer viel publiziert und zitiert wird, der wird auch verstärkt zum Peer-Review herangezogen. Auch wenn der eine oder die andere das in diesem Ausmaß womöglich gar nicht will …

Ralf Neumann

(Illustr.: L. Engler)