Viele Peer Reviews, viele Zitate

16. November 2022 von Laborjournal

Kaum etwas bietet Wissenschaftlerinnen und Wissenschaftlern derart viel Anlass zu Diskussionen wie der Peer-Review. Das Peer-Review-System sei veraltet, überlastet, Neuheits-feindlich, Missbrauchs-anfällig und und und.

Ob das Fazit „Wer viele Peer-Reviews erstellt, publiziert mehr und wird auch häufiger zitiert“ ebenfalls für derartige Diskussionen sorgen wird, sei einmal dahingestellt – auf jeden Fall verkündet ein Team kanadischer Epidemiologen dies als Schlussfolgerung in ihrem Artikel „Characteristics of ‘mega’ peer-reviewers“ (Res. Integr. Peer Rev. 7, 1).

Oder meinen sie es eher umgekehrt: Wer viel publiziert und häufig zitiert wird, schreibt auch mehr Peer-Reviews?

Okay, was haben die Kanadier also genau gemacht?

Aus der Peer-Review-Plattform Publons suchten sie sich 396 Gutachter heraus, die von Januar bis Dezember 2018 mindestens hundert Peer-Reviews abgeschlossen hatten. Diese bezeichneten sie als „Mega-Peer-Reviewer“ und stellten sie einer Kontrollgruppe von 1.200 „mittleren“ Peer-Reviewern gegenüber, die im selben Zeitraum zwischen einem und 18 Gutachten geschrieben hatten.

Die statistischen Analysen erbrachten als Ergebnisse:

  • Die Peer-Review-Texte waren in beiden Gruppen im Mittel gleich lang.
  • Die Mehrheit der Mega-Peer-Reviewer stammte aus Asien (33 %), Europa (37 %) und Nordamerika (19 %). In der Kontrollgruppe der Peer-Reviewer kamen 41 % aus Europa, 26 % aus Nordamerika und 21 % aus Asien.
  • Drei Viertel der Mega-Peer-Gutachter waren männlich, während der Männer-Anteil in der Kontrollgruppe 58 Prozent betrug.
  • Mega-Peer-Reviewer wiesen im Vergleich zur Kontrollgruppe eine signifikant höhere mittlere Anzahl an Gesamt-Publikationen und -Zitierungen auf; auch im Analysejahr 2018 allein publizierten sie im Mittel mehr und wurden häufiger zitiert. Ebenso kamen die Mega-Peer-Reviewer auf einen höheren h-Index-Schnitt.

In der Diskussion schreiben die Autoren vor allem zum letzten Punkt:

Unsere Studie war nicht darauf ausgerichtet, die Gründe für diese Unterschiede zu untersuchen. Beispielsweise könnten Mega-Peer-Reviewer von den Herausgebern häufiger zur Begutachtung eingeladen werden, oder sie könnten eine Vergütung für die Begutachtung erhalten.

Aber eine Vermutung haben sie dennoch:

Unsere Ergebnisse deuten darauf hin, dass Mega-Peer-Reviewer möglicherweise etablierter sind (beispielsweise mehr Zitierungen; hoher h-Index) als Nicht-Mega-Peer-Reviewer.

Womit am Ende klar geworden sein dürfte: Keineswegs bekommt man mehr Publikationen und Zitate, weil man viel begutachtet. Wäre ja auch zu schön gewesen. Nein, umgekehrt wird ein Schuh daraus: Wer viel publiziert und zitiert wird, der wird auch verstärkt zum Peer-Review herangezogen. Auch wenn der eine oder die andere das in diesem Ausmaß womöglich gar nicht will …

Ralf Neumann

(Illustr.: L. Engler)

Schlagworte: , , , , , , ,
Veröffentlicht in Allgemeines, Publikationswesen | Keine Kommentare »

Milliarden-Spende Peer Review

14. Dezember 2021 von Laborjournal

Der Peer Review ist das Herzstück der wissenschaftlichen Qualitätskontrolle. Egal, ob Publikationen, Evaluationen oder Förderanträge – stets zerbrechen sich Fachkollegen die Köpfe über den jeweiligen Inhalt, um abschließend ihre Daumen darüber zu heben oder zu senken.

Als Gutachter im Rahmen eines Peer Reviews tätig zu sein, gilt daher als Ehrensache. Die meisten Forscherinnen und Forscher begreifen es gar als inhärenten Teil ihrer Dienstpflicht – auch wenn Juristen dies formal verneinen. Wie auch immer, unter dem Strich opfern sie auf diese Weise viel von ihrer wertvollen Zeit, um der Wissenschaft das Begutachtungswesen letztlich als große, selbstlose Spende zu überreichen.

 

 

Welchem Betrag diese „Spende“ der Forscherinnen und Forscher an das System entspricht, haben unlängst die drei Psychologen Balazs Aczel, Barnabas Szaszi (beide Budapest) und Alex O. Holcombe (Sydney) abgeschätzt. Schon der Titel ihrer Publikation lässt die Dimension erahnen: „A billion-dollar donation: estimating the cost of researchers’ time spent on peer review“ (Res. integr. peer rev. 6: 14). Ihr Abstract startet denn auch:

Umfang und Wert der Peer-Review-Arbeit von Forschern sind für die Wissenschaft und die Veröffentlichung in Zeitschriften von entscheidender Bedeutung. Jedoch wird diese Arbeit zu wenig anerkannt. Überdies ist ihr Ausmaß unbekannt. Und zu selten werden alternative Wege zur Organisation der Peer-Review-Arbeit in Betracht gezogen.

Mit diesem Statement zog das Trio los, um „auf der Grundlage öffentlich zugänglicher Daten […] eine Schätzung des Zeitaufwands von Forschern und des gehaltsbezogenen Beitrags zum Peer-Review-System von Zeitschriften“ zu liefern. Also nur für die Begutachtung von zur Veröffentlichung eingereichten Manuskripten!

Ihre Ergebnisse fassten sie dann folgendermaßen zusammen:

Wir fanden, dass im Jahr 2020 die Gutachter weltweit über 100 Millionen Stunden mit Peer Reviews verbrachten – was mehr als 15.000 Jahren entspricht. Der geschätzte monetäre Wert der Zeit, die die Reviewer allein in den USA für die Begutachtung aufwenden, betrug 2020 über 1,5 Milliarden US-Dollar. Für in China tätige Gutachter liegt die analoge Schätzung bei über 600 Millionen US-Dollar, und für die Kollegen im Vereinigten Königreich bei fast 400 Millionen US-Dollar.

So gesehen entspricht also allein schon die Begutachtung von Manuskripten innerhalb eines Jahres einer Milliarden-Spende der Forschergemeinde! Wobei die Autoren sogar noch einschränken:

Es ist sehr wahrscheinlich, dass unsere Ergebnisse zu niedrig angesetzt sind, da sie nur einen Teil aller Zeitschriften weltweit widerspiegeln.

Und sie machen zum Abschluss nochmals klar:

Die Zahlen verdeutlichen den enormen Arbeits- und Zeitaufwand, den Forscher für das Publikationssystem aufbringen. Und sie machen deutlich, wie wichtig es ist, über alternative Möglichkeiten der Strukturierung und Bezahlung von Peer Reviews nachzudenken.

Oder man reformiert das Peer-Review-System gleich komplett von Grund auf. So wie es unser Wissenschaftsnarr beispielsweise gerade im Zusammenhang mit der breitflächigen Etablierung von Preprints vorschlägt – siehe seine Kolumne „Heilsbringer oder apokalyptische Reiter“. Und wie man überdies die ebenso aufwendigen Peer-Review-Verfahren bei der Verteilung von Fördergeldern eindampfen könnte, hatte er ja zuvor schon im Visier – siehe „Werden Sie Forschungsförderer!“ oder „Liebe DFG, verlost doch Eure Fördergelder!“.

Nur ein Beispiel, dass schon längst über Alternativen nachgedacht wird.

Ralf Neumann

(Illustr.: AdobeStock / jesussans)

 

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines, Publikationswesen, Wissenschaftspolitik | Keine Kommentare »

Frauen schreiben lieber anonyme Gutachten

17. November 2021 von Laborjournal

Traditionell bleibt anonym, wer ein Manuskript als Reviewer für ein Forschungsblatt begutachtet. Bestrebungen, mit personalisiertem Peer-Review für höhere Transparenz und weniger Missbrauchspotenzial zu sorgen, gibt es zwar schon seit einiger Zeit, allerdings kommen sie nur schleppend voran.

Über die Gründe kann man viel spekulieren. Man kann aber auch versuchen zu ana­ly­sie­ren, wie Gutachterinnen und Gutachter es mit „Open-Identity“-Peer-Review halten, wo er bereits seit einiger Zeit auf freiwilliger Basis möglich ist. Der Entomologe Charles W. Fox von der University of Kentucky in Lexington hat genau dies mit Daten aus der Zeitschrift Functional Ecology getan (Proc. R. Soc. Lond. B. Biol. Sci., doi: 10.1098/rspb.2021.1399). Im Abstract fasst er die Ergebnisse sinngemäß wie folgt zusam­men:

Ein Peer-Review-Verfahren mit Offenlegung der Gutachter-Identität ist derzeit noch nicht weit verbreitet, wird aber gemeinhin als Mittel propagiert, um die Transparenz und Rechenschaftspflicht im Peer-Review-Prozess zu erhöhen. Jedoch lehnen die Gutachter selbst dies im Allgemeinen ab. Um einen Einblick in die Faktoren zu erhalten, die beeinflussen, wann Reviewer zur Preisgabe ihrer Identität bereit sind, habe ich untersucht, welche Gutachter in der Zeitschrift Functional Ecology dies konkret getan haben. Zwar ist auch hier die Identität der Gutachter generell vertraulich, allerdings können sie ihre Kommentare unterzeichnen – und damit den Autoren ihre Identität freiwillig preisgeben.

Ich fand heraus, dass 5,6 Prozent der Gutachter ihre Kommentare tatsächlich unterzeichneten. Dieser Anteil stieg im Laufe der Zeit leicht an, von 4,4 Prozent zwischen 2003 und 2005 auf 6,7 Prozent im Zeitraum 2013 bis 2015. Männliche Gutachter unterzeichneten ihre Kommentare 1,8-mal häufiger als weibliche. Dieser Unterschied blieb im Lauf der Zeit bestehen.

Nur wenige Gutachter unterschrieben alle ihre Gutachten; sie taten dies eher, wenn ihre Bewertung des Manuskripts grundsätzlich positiv ausfiel.

Manuskripte, die mindestens ein unterschriebenes Gutachten erhielten, wurden eher zu einer Überarbeitung aufgefordert. Zudem waren unterzeichnete Gutachten im Durchschnitt länger und empfahlen den Autoren mehr Referenzen.

Diesen Beitrag weiterlesen »

Schlagworte: , , , , , , ,
Veröffentlicht in Allgemeines, Publikationswesen | 1 Kommentar »

Manuskript verbessern? Muss nicht wirklich sein!

27. Oktober 2021 von Laborjournal

Peer-Review soll bekanntlich die Qualität und Klarheit der Forschungsberichte verbessern. Doch Hand auf’s Herz – adressieren Sie bei der Überarbeitung eines zurückgeschickten Manuskripts tatsächlich in diesem Sinne alle substantiellen Einwände und Vorschläge der Reviewer, um es besser zu machen? Damit das Journal es im zweiten Anlauf womöglich akzeptiert?

Oft kommt es gar nicht so weit, weil viele das Manuskript gar nicht mehr zur selben Zeitschrift schicken, sondern es gleich beim nächsten Journal unterzubringen versuchen. Das muss zwar nicht automatisch heißen, dass die Reviewer-Vorschläge zur Verbesserung der Erstversion dafür gar nicht aufgegriffen werden. Allerdings liegt es schon nahe, dass viele Manuskripte genau aus diesem Grund bei einem anderen Journal zweiteingereicht werden: Um sich die Zeit und die Mühe von teilweise aufwendigen Änderungen zu sparen.

Ein Chirurgen-Trio von der University of Texas in Austin hat dieses Thema mal genauer untersucht – und die Ergebnisse in Accountability in Research vorgestellt („The effect of peer review on the improvement of rejected manuscripts“, Vol 28(8): 517-27). Zum Studiendesign schreiben sie im Abstract:

Zunächst haben wir alle umsetzbaren Vorschläge in den Ablehnungsschreiben von 250 zufällig ausgewählten Manuskripten einer bekannten orthopädischen Fachzeitschrift aus dem Jahr 2012 identifiziert. Danach durchsuchten wir PubMed und Google Scholar und verglichen den letztlich veröffentlichten Text mit der ursprünglichen Einreichung, um festzustellen, ob die Vorschläge der Gutachter berücksichtigt wurden.

Die Ergebnisse fassen sie zunächst wie folgt zusammen:  Diesen Beitrag weiterlesen »

Schlagworte: , , , , , , , , , ,
Veröffentlicht in Allgemeines, Publikationswesen | Keine Kommentare »

„Schreiben? — Ich hasste jede Minute davon“

24. Juni 2021 von Laborjournal

Wer verbringt eigentlich mehr Zeit mit Schreiben? Wissenschaftler oder Wissen­schafts­jour­na­lis­ten?

Klingt blöd – aber der sich diese Frage vor einiger Zeit tatsächlich stellte, war unser Chefredakteur. Zwar rechnet wohl kaum einer Wissenschaftler – ganz im Gegensatz zu Journalisten – zur sogenannten „schreibenden Zunft“. Dennoch las er zuletzt einige Dinge, die ihn darüber zum Grübeln brachten.

Es ging los mit dem Bericht eines Industrie-Forschers, der in einem Blog-Beitrag auf seine Zeit als Harvard-Wissenschaftler zurückblickte. Darin schrieb er:

Die größte Überraschung war, wieviel Zeit ich damit verbringen musste, überhaupt Fördergelder zu bekommen. Ich schätze, dass etwa 40 Prozent meiner Zeit für die Jagd nach Förderung draufgingen – entweder direkt (Anträge schreiben) oder indirekt (Firmenbesuche, Vorträge, Netzwerke pflegen). Es war eine riesige Zeitinvestition, die nicht immer direkt zu meiner Forschungsarbeit beitrug. Sie diente nur dazu, die Räder überhaupt am Laufen zu halten.

40 Prozent! Auf exakt die gleiche Zahl kam schon 2007 eine entsprechende Studie der US-Regierung, die der Scientific American später in seinem Artikel „Dr. No Money“ folgendermaßen zusammenfasste:

Öffentliche und private Fördergelder zu beantragen, ist zu einem zeitfressenden Monster geworden. 2007 ermittelte eine Studie der US-Regierung, dass Universitätsforscher etwa 40 Prozent ihrer Zeit in den entsprechenden bürokratischen Labyrinthen verbringen. Und in Europa ist die Situation nicht besser.

Sicher, das ist nicht alles direkte Schreibarbeit – aber auch der Journalist muss ja erst recherchieren, bevor er schreiben kann. Und überhaupt betreffen die 40 Prozent ja nur die Förderanträge. Unser Wissenschaftler hat dann noch kein Paper-Manuskript geschrieben – keinen Forschungsbericht, kein Gutachten, kein Gremienpapier, nicht mal eine E-Mail,…  Diesen Beitrag weiterlesen »

Schlagworte: , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Gutachten immer und überall

3. Dezember 2019 von Laborjournal

 

 

Wohl kaum eine andere Berufsgruppe wird derart oft und ausgiebig evaluiert wie die Forscher. Diplom- und Doktorarbeit, Bewerbungsgespräche und Berufungskommissionen — geschenkt, das gibt‘s woanders auch. Dann aber jedes einzelne Manuskript und jeder Förderantrag — das macht bisweilen Dutzende von kritischen bis kleinkarierten Gutachten im Jahr, die man erst mal schlucken muss. Dazu noch die regelmäßigen Berichte an Förderorganisationen, Verwaltung, Fakultätsleitung oder Trägergesellschaft — alles ebenfalls durchaus existentiell hinsichtlich Finanzierung, Gehalt, Verteilung von (Service-)Pflichten, Gewährung von Rechten und anderem mehr. Und wenn einer dann noch lehrender Forscher ist, muss er sich auch noch der Bewertung seiner Lehrleistung durch Studenten und Institutskollegen stellen…

Zusammen macht das eine Evaluationslast, über die eine US-Professorin einmal schrieb:

Nimmt man die Menge und Intensität all dieser Evaluationen, muss man sich wundern, ob ohne ein titanisches Ego überhaupt jemand diesen Prozess überleben kann. Allerdings, die meisten können!

Natürlich wird man bei dieser Evaluationsmasse auch immer wieder mit ungerechten, schlampigen, rüden und manchmal auch schlichtweg dummen Antworten konfrontiert. Das kann einen dann — je nach Naturell — auch mal richtig wütend oder niedergeschlagen werden lassen.

Dennoch muss man als Forscher über kurz oder lang grundsätzlich akzeptieren, dass Gutachten von ihrer reinen Intention her kritisch sein sollen. Schlussendlich sollte diese Kritik in einer idealen Welt mit perfekt funktionierendem System die Arbeit der Forscher am Ende des Tages gar verbessern helfen.

Doch gerade die Egos vieler Jungforscher müssen dies erst lernen und begreifen — vor allem den Unterschied zwischen schonungslos kritischen, aber dennoch konstruktiven Gutachten einerseits sowie rein bösartiger Gutachter-Willkür auf der anderen Seite.

Die erwähnte US-Professorin dokumentiert das sehr nett in folgender kleinen Anekdote:

Immer wieder kam einer meiner Mitarbeiter wegen eines vermeintlich absolut grausamen Gutachtens völlig zerknirscht zu mir. Und fast genauso oft habe ich dann nach eigenem Durchlesen gedacht: „Großartiges Gutachten. Mit richtig hilfreichen Kommentaren.“

Ralf Neumann

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere | 1 Kommentar »

Wie ambitioniert hätten Sie’s denn gerne…?

6. November 2019 von Laborjournal

Und schon wieder beschleicht „Forscher Ernst“ ein Gefühl von Gutachter-Willkür…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Flores.)

x

Schlagworte: , , , , , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Schlagworte: , , , , , , , , , , ,
Veröffentlicht in Fun & Entertainment, Publikationswesen | Keine Kommentare »

Vertrauenssache Peer Review

29. September 2017 von Laborjournal

Mitarbeiter der Annals of Internal Medicine stellten vorletzte Woche auf dem International Congress for Peer Review and Scientific Publication die Ergebnisse einer ziemlich interessanten Befragung vor. Deren Thema: Missbrauch von eingereichten Manuskripten durch Peer Reviewer (Originaltitel: Misuse of Received Manuscripts by Peer Reviewers: A Cross-sectional Survey).

Als Resultat halten sie zunächst einmal fest:

A total of 1431 of 3275 invited reviewers (44%) returned the survey […] Nearly half indicated having reviewed and published more than 50 manuscripts and having mentored others in peer review. Reasons reported for agreeing to review included keeping up to date in a research field (957/1417 [68%]), a sense of obligation to peer review (1316/1417 [93%]), …

So weit, so gut. Mit dem nächsten Grund, warum die Befragten die Manuskripte zur Begutachtung annehmen, wird es dann allerdings schon etwas kniffliger:

… and to know what competitors are doing (190/1417 [13%]).

Aha — ganze 13 Prozent der Befragten gaben also zu, Manuskripte vor allem deswegen zur Begutachtung anzunehmen, weil es ein guter Weg sei, sich darüber zu informieren, was die Konkurrenz so treibt. Da man derlei aber selbst in anonymen Umfragen aus selbstwertdienlichen Gründen nicht wirklich gerne preisgibt, dürften die 13 Prozent die tatsächliche Realität sogar noch schmeichelhaft abbilden.

Doch es kommt noch besser:

One hundred sixty-nine of 1417 (12%) had agreed to review manuscripts from authors with whom they had conflicts of interest; of these, 61 (36%) did so without informing the journal’s editor. One hundred fifty-three of 1413 (11%) showed manuscripts to colleagues without seeking permission.

Diese Art „Schindluder-Verhalten“ gibt man in diesem Zusammenhang sicher noch weniger gerne zu. Mit der Folge, dass die „Dunkelziffern“ für diese Art Missbrauch von anvertrauten Manuskripten nochmals höher ausfallen dürften.

Gleiches gilt natürlich auch für das letzte vorgestellte Ergebnis der Befragung:

Twenty-six of 1414 (2%; 95% CI, 1%-3%) indicated having used the information in a reviewed manuscript for personal or academic benefit prior to the paper’s publication. Such reported use included using what was learned to alter one’s own research plans, speeding up journal submission of one’s own work related to the subject of the manuscript being reviewed, and copying some part of the reviewed manuscript for one’s own work.

Okay, das sind zwar nur zwei Prozent — aber dennoch heißt das zusammen mit den anderen, bereits genannten Ergebnissen schlichtweg, dass das Vertrauensverhältnis zwischen Autoren und Gutachtern, auf dem das gesamte Peer-Review-System fußt, offenbar deutlich öfter gebrochen wird, als einem lieb sein kann.

Entsprechend schreiben die Autoren dann auch in ihrer Conclusion:

Trust that reviewers will treat manuscripts received for peer review as confidential communications is an essential tenet of peer review. Although self reported and of uncertain generalizability, these results suggest that breaches of this trust do occur. Larger studies involving multiple journals should be considered to assess the generalizability of these results and to inform targeted educational initiatives aimed at promoting the highest ethical standards among peer reviewers.

Kommentare, Meinungen oder gar eigene Erlebnisse zu potenziellem Peer-Review-Missbrauch nehmen wir gerne entgegen. Entweder direkt hier über das unten folgende Kommentarfenster, oder auch diskreter via Mail an die Laborjournal-Redaktion.

Schlagworte: , , , , ,
Veröffentlicht in Allgemeines, Wissenschaftliches Fehlverhalten | 1 Kommentar »

„Bankrotterklärung“ — ein böser Brief an die DFG

5. Oktober 2015 von Laborjournal

Immer wieder müssen wir Laborjournal-Redakteure in älteren E-Mails wühlen. Und ab und zu stoßen wir dabei auf „alte Perlen“, die wir noch gar nicht richtig verwertet haben. So auch heute, als ich im Anhang einer Mail auf einen Brief stieß, in dem ein deutlich verärgerter Forscher die Deutsche Forschungsgemeinschaft (DFG) scharf für ihre Antrags- und Karrierepolitik kritisierte. Hier anonymisierte Auszüge daraus:

„[…] Ich habe es damals als promovierter Wissenschaftler und später als Privatdozent erlebt, wie völlig unverantwortlich die deutsche Wissenschaftslandschaft (einschließlich der DFG) mit Wissenschaftlerinnen und Wissenschaftlern umgeht. Diese wurden bis in ihre späten Dreißiger oder frühen Vierziger mit Stipendien und Drittmittelstellen gefördert, um ihnen dann mitzuteilen, dass leider keine weitere Verwendung für sie besteht (weil es eben nicht annähernd genügend Professoren-Stellen für alle Privatdozenten gibt). 

[…] Als seinerzeit 38-jähriger, der sich um ein Habilitationsstipendium bei der DFG beworben hatte, teilte man mir damals mit (und diese Formulierung muss man sich wirklich auf der Zunge zergehen lassen) dass: „… die Gutachter den Eindruck gewonnen hätten, dass ich ein erfahrener [XYZ]-Analytiker mit einer ansprechenden Zahl guter Publikationen sei — vielleicht einer der besten [XYZ]-Forscher des Landes….“! Gleichzeitig wurde mir jedoch auf Seite 2 des Schreibens beschieden, „… dass der Hauptgrund für die Ablehnung Ihres Antrages die Sorge der Gutachter war, dass die Habilitation nicht der richtige Berufsweg für Sie sei“ (das Schreiben liegt bei).

Dümmer und zynischer geht’s nimmer, würde ich mal sagen: Diesen Beitrag weiterlesen »

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines | 3 Kommentare »

« Ältere Einträge