Viele Peer Reviews, viele Zitate

16. November 2022 von Laborjournal

Kaum etwas bietet Wissenschaftlerinnen und Wissenschaftlern derart viel Anlass zu Diskussionen wie der Peer-Review. Das Peer-Review-System sei veraltet, überlastet, Neuheits-feindlich, Missbrauchs-anfällig und und und.

Ob das Fazit „Wer viele Peer-Reviews erstellt, publiziert mehr und wird auch häufiger zitiert“ ebenfalls für derartige Diskussionen sorgen wird, sei einmal dahingestellt – auf jeden Fall verkündet ein Team kanadischer Epidemiologen dies als Schlussfolgerung in ihrem Artikel „Characteristics of ‘mega’ peer-reviewers“ (Res. Integr. Peer Rev. 7, 1).

Oder meinen sie es eher umgekehrt: Wer viel publiziert und häufig zitiert wird, schreibt auch mehr Peer-Reviews?

Okay, was haben die Kanadier also genau gemacht?

Aus der Peer-Review-Plattform Publons suchten sie sich 396 Gutachter heraus, die von Januar bis Dezember 2018 mindestens hundert Peer-Reviews abgeschlossen hatten. Diese bezeichneten sie als „Mega-Peer-Reviewer“ und stellten sie einer Kontrollgruppe von 1.200 „mittleren“ Peer-Reviewern gegenüber, die im selben Zeitraum zwischen einem und 18 Gutachten geschrieben hatten.

Die statistischen Analysen erbrachten als Ergebnisse:

  • Die Peer-Review-Texte waren in beiden Gruppen im Mittel gleich lang.
  • Die Mehrheit der Mega-Peer-Reviewer stammte aus Asien (33 %), Europa (37 %) und Nordamerika (19 %). In der Kontrollgruppe der Peer-Reviewer kamen 41 % aus Europa, 26 % aus Nordamerika und 21 % aus Asien.
  • Drei Viertel der Mega-Peer-Gutachter waren männlich, während der Männer-Anteil in der Kontrollgruppe 58 Prozent betrug.
  • Mega-Peer-Reviewer wiesen im Vergleich zur Kontrollgruppe eine signifikant höhere mittlere Anzahl an Gesamt-Publikationen und -Zitierungen auf; auch im Analysejahr 2018 allein publizierten sie im Mittel mehr und wurden häufiger zitiert. Ebenso kamen die Mega-Peer-Reviewer auf einen höheren h-Index-Schnitt.

In der Diskussion schreiben die Autoren vor allem zum letzten Punkt:

Unsere Studie war nicht darauf ausgerichtet, die Gründe für diese Unterschiede zu untersuchen. Beispielsweise könnten Mega-Peer-Reviewer von den Herausgebern häufiger zur Begutachtung eingeladen werden, oder sie könnten eine Vergütung für die Begutachtung erhalten.

Aber eine Vermutung haben sie dennoch:

Unsere Ergebnisse deuten darauf hin, dass Mega-Peer-Reviewer möglicherweise etablierter sind (beispielsweise mehr Zitierungen; hoher h-Index) als Nicht-Mega-Peer-Reviewer.

Womit am Ende klar geworden sein dürfte: Keineswegs bekommt man mehr Publikationen und Zitate, weil man viel begutachtet. Wäre ja auch zu schön gewesen. Nein, umgekehrt wird ein Schuh daraus: Wer viel publiziert und zitiert wird, der wird auch verstärkt zum Peer-Review herangezogen. Auch wenn der eine oder die andere das in diesem Ausmaß womöglich gar nicht will

Ralf Neumann

(Illustr.: L. Engler)

Leidige Praxisprobleme

13. Februar 2015 von Laborjournal

Kaum einer zweifelt, dass Post-Publication Peer Review (PPPR) prinzipiell eine gute Sache ist. Was kann auch dagegen sprechen, wo und wie auch immer veröffentlichte Arbeiten im Nachgang online weiter zu kommentieren und zu diskutieren? Im besten Fall werden die Ergebnisse und Schlussfolgerungen womöglich robuster einsortiert oder es werden gar neue Ideen und Hypothesen angestoßen. (Ganz abgesehen davon, dass auch echte Flops umgehend entlarvt werden können — wie etwa konkret geschehen in den Fällen der Arsen-Bakterien oder der STAP-Stammzellen.) Im schlechtesten Fall frisst es einfach nur Zeit, aber das tun andere Dinge im Forschungsbetrieb noch auf viel sinnfreiere Weise…

Die konkrete Praxis des PPPR wird dagegen schon kontroverser diskutiert. Ein besonders „heißes“ Thema etwa ist, ob die Kommentatoren anonym bleiben dürfen — oder eben nicht. Selbst die zwischenzeitlich etablierten PPPR-Plattformen sind hier gespalten: Publons oder PubMed Commons lassen beispielsweise keine anonymen Kommentare zu, während PubPeer dagegen Anonymität explizit für wichtig hält.

Die Erfahrungen des Physikers und Postdocs Julian Stirling sprechen allerdings für keine der Varianten — zumindest in der Form, wie sie bislang praktiziert werden. Diesen Beitrag weiterlesen »