Frauen schreiben lieber anonyme Gutachten

17. November 2021 von Laborjournal

Traditionell bleibt anonym, wer ein Manuskript als Reviewer für ein Forschungsblatt begutachtet. Bestrebungen, mit personalisiertem Peer-Review für höhere Transparenz und weniger Missbrauchspotenzial zu sorgen, gibt es zwar schon seit einiger Zeit, allerdings kommen sie nur schleppend voran.

Über die Gründe kann man viel spekulieren. Man kann aber auch versuchen zu ana­ly­sie­ren, wie Gutachterinnen und Gutachter es mit „Open-Identity“-Peer-Review halten, wo er bereits seit einiger Zeit auf freiwilliger Basis möglich ist. Der Entomologe Charles W. Fox von der University of Kentucky in Lexington hat genau dies mit Daten aus der Zeitschrift Functional Ecology getan (Proc. R. Soc. Lond. B. Biol. Sci., doi: 10.1098/rspb.2021.1399). Im Abstract fasst er die Ergebnisse sinngemäß wie folgt zusam­men:

Ein Peer-Review-Verfahren mit Offenlegung der Gutachter-Identität ist derzeit noch nicht weit verbreitet, wird aber gemeinhin als Mittel propagiert, um die Transparenz und Rechenschaftspflicht im Peer-Review-Prozess zu erhöhen. Jedoch lehnen die Gutachter selbst dies im Allgemeinen ab. Um einen Einblick in die Faktoren zu erhalten, die beeinflussen, wann Reviewer zur Preisgabe ihrer Identität bereit sind, habe ich untersucht, welche Gutachter in der Zeitschrift Functional Ecology dies konkret getan haben. Zwar ist auch hier die Identität der Gutachter generell vertraulich, allerdings können sie ihre Kommentare unterzeichnen – und damit den Autoren ihre Identität freiwillig preisgeben.

Ich fand heraus, dass 5,6 Prozent der Gutachter ihre Kommentare tatsächlich unterzeichneten. Dieser Anteil stieg im Laufe der Zeit leicht an, von 4,4 Prozent zwischen 2003 und 2005 auf 6,7 Prozent im Zeitraum 2013 bis 2015. Männliche Gutachter unterzeichneten ihre Kommentare 1,8-mal häufiger als weibliche. Dieser Unterschied blieb im Lauf der Zeit bestehen.

Nur wenige Gutachter unterschrieben alle ihre Gutachten; sie taten dies eher, wenn ihre Bewertung des Manuskripts grundsätzlich positiv ausfiel.

Manuskripte, die mindestens ein unterschriebenes Gutachten erhielten, wurden eher zu einer Überarbeitung aufgefordert. Zudem waren unterzeichnete Gutachten im Durchschnitt länger und empfahlen den Autoren mehr Referenzen.

Diesen Beitrag weiterlesen »

Manuskript verbessern? Muss nicht wirklich sein!

27. Oktober 2021 von Laborjournal

Peer-Review soll bekanntlich die Qualität und Klarheit der Forschungsberichte verbessern. Doch Hand auf’s Herz – adressieren Sie bei der Überarbeitung eines zurückgeschickten Manuskripts tatsächlich in diesem Sinne alle substantiellen Einwände und Vorschläge der Reviewer, um es besser zu machen? Damit das Journal es im zweiten Anlauf womöglich akzeptiert?

Oft kommt es gar nicht so weit, weil viele das Manuskript gar nicht mehr zur selben Zeitschrift schicken, sondern es gleich beim nächsten Journal unterzubringen versuchen. Das muss zwar nicht automatisch heißen, dass die Reviewer-Vorschläge zur Verbesserung der Erstversion dafür gar nicht aufgegriffen werden. Allerdings liegt es schon nahe, dass viele Manuskripte genau aus diesem Grund bei einem anderen Journal zweiteingereicht werden: Um sich die Zeit und die Mühe von teilweise aufwendigen Änderungen zu sparen.

Ein Chirurgen-Trio von der University of Texas in Austin hat dieses Thema mal genauer untersucht – und die Ergebnisse in Accountability in Research vorgestellt („The effect of peer review on the improvement of rejected manuscripts“, Vol 28(8): 517-27). Zum Studiendesign schreiben sie im Abstract:

Zunächst haben wir alle umsetzbaren Vorschläge in den Ablehnungsschreiben von 250 zufällig ausgewählten Manuskripten einer bekannten orthopädischen Fachzeitschrift aus dem Jahr 2012 identifiziert. Danach durchsuchten wir PubMed und Google Scholar und verglichen den letztlich veröffentlichten Text mit der ursprünglichen Einreichung, um festzustellen, ob die Vorschläge der Gutachter berücksichtigt wurden.

Die Ergebnisse fassen sie zunächst wie folgt zusammen:  Diesen Beitrag weiterlesen »

Wie ambitioniert hätten Sie’s denn gerne…?

6. November 2019 von Laborjournal

Und schon wieder beschleicht „Forscher Ernst“ ein Gefühl von Gutachter-Willkür…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Flores.)

x

Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Verstehen wir uns noch?

9. Januar 2018 von Laborjournal

Denn sie wissen nicht, was sie tun. — Viele dürfte diese Zeile unmittelbar an den gleichnamigen Filmklassiker mit James Dean erinnern. Heute könnte sie jedoch auch für einen großen Teil biomedizinischer Forschung gelten.

Wobei man hier ein klein wenig wie folgt präzisieren müsste: „Denn sie wissen nicht mehr, was der andere tut.“ Bittere Konsequenz dessen, dass in vielen Gebieten die einzelnen Veröffentlichungen immer komplexer werden.

Ein besonders eindrückliches Beispiel dafür schilderte kürzlich Dorothy Bishop von der Oxford University in ihrem „BishopBlog“. In dem entsprechenden Beitrag klagt sie, dass sie die Publika­tionen ihrer Kollegen immer weniger versteht, sobald sie auch nur ein klein wenig über ihren eigenen Tellerrand hinausschaut. Sie schreibt:

Für eine Art Meta-Analyse über die Anwendung bestimmter statistischer Methoden studierte ich zuletzt eine Reihe von neurowissenschaftlichen Artikeln“, schreibt sie. „Einige davon musste ich stundenlang lesen und wieder lesen, bis ich endlich verstan­den hatte, welches überhaupt die statistisch relevantesten Ergebnisse waren.

Und dann schwenkt sie auf den eigentlich beunruhigenden Punkt um:

Mir scheint daher, dass in manchen Feldern die Zahl der Kollegen, die derart komplexe Paper überhaupt noch umfassend und kompetent begutachten können, extrem zusammenschnurrt.

Selbst gute und engagierte Editoren würden daher irgendwann kaum noch Reviewer mit voll­um­fäng­lich ausreichender Expertise auftreiben können. Und umgekehrt würde es den meisten immer stärker widerstreben, solch hochkomplexe Studien zu prüfen, wenn sie derart viel Substanz jenseits der eigenen Expertise enthalten.

Und Frau Bishop ist mit solchen Befürchtungen keineswegs allein. Bereits 2013 fragte Diethard Tautz, Direktor am Plöner Max-Planck-Institut für Evolutionsbiologie, in einem Essay für Labor­journal:

Lesen wir noch, was andere schreiben? Ja, verstehen wir uns überhaupt noch?

Und er erzählte folgendes Beispiel:

Ich musste kürzlich so ein „Big Data“-Paper für ein angesehenes Journal begutachten. Es hatte 60 Autoren und präsentierte ein Feuerwerk an intelligenten Auswertungen, Statistiken und Modellierungen. Etwas seltsam war der modulare Aufbau. Die einzelnen Teile des Papers waren offensichtlich von unterschiedlichen Autoren geschrieben worden, jeder ein Spezialist für sein Feld mit einem eigenen Sprachstil und wenig Bezug zu den anderen Modulen. An ein paar ‚Kleinigkeiten‘ wie fehlenden Übergängen und unvollständigen Sätzen war zu erkennen, dass die meisten der Autoren offen­sicht­lich ihr eigenes Paper nicht vollständig gelesen haben konnten — denn zumindest einem von den 60 hätte so etwas doch auffallen müssen. Haben auch Autoren gar keine Zeit mehr zum Lesen oder ist das der Beginn der Sprachverwirrung? Auch als Gutachter konnte ich nur einen Teil kompetent begutachten, den Rest nur auf Plausibilität prüfen. Und ich vermute, dass es den anderen Gutachtern ebenso ging.

Und er schloss:

Natürlich wurde es publiziert — und ich darf annehmen, dass es so gut wie keinen Leser mehr gibt, der wirklich alles davon versteht. Wenn das so weiter geht, dann sind wir bald nahe an dem Punkt,… dass keiner des andern Sprache verstehe!

Wobei das letztere Zitat jetzt nicht aus der Filmwelt kommt.

Ralf Neumann

 

Don’t Stop Pipetting…

25. Februar 2014 von Laborjournal

… Lab-Video-Parodie auf „Don’t Stop Believing“ von Glee:

Lyrics:

Just some young postdocs
Trying to make it to the top
One took the midnight tram
Going back to lab

For the past twelve months
Paper’s been stuck in review
Ten new experiments
From damn reviewer two…

Den Rest des Texts gibt’s auf der YouTube-Seite des Videos („Mehr anzeigen“ klicken).

Autoren am Rande des Nervenzusammenbruchs (22)

17. Januar 2014 von Laborjournal

Kurz nach Neujahr veröffentlichte Dorothy Bishop, Professorin für Entwicklungsneuropsychologie an der Universität Oxford, in ihrem immer lesenswerten BishopBlog einen ganz besonderen „Neujahrsbrief“ an alle Wissenschaftsverlage („A New Year’s letter to academic publishers“). Sie beginnt mit der Klarstellung:

My relationships with journals are rather like a bad marriage: a mixture of dependency and hatred.

Um bald darauf festzustellen:

In the past, the top journals had no incentive to be accommodating to authors. There were too many of us chasing scarce page space. But there are now some new boys on the open access block, and some of them have recognised that if they want to attract people to publish with them, they should listen to what authors want. And if they want academics to continue to referee papers for no reward, then they had better treat them well too.

Sie fordert also ein, dass die Verlage netter werden sollen zu den Autoren (und übrigens auch zu den Reviewern). Diesen Beitrag weiterlesen »

Mein Gel soll schöner werden…

7. Januar 2014 von Laborjournal

Warum sollte folgende Abbildung bei jedem Reviewer starkes Magengrummeln erzeugen?

Klar, oder? Die Spuren 5-7 sind ganz offensichtlich einzeln in das Gel mit den Spuren 1-4 hinein kopiert. Deutlich sind die schnurgeraden „Schnittkanten“ zwischen den Spuren zu erkennen. Zu lesen ist darüber in dem betreffenden Paper nichts — die Abbildung wird also als Ergebnis ein und desselben Experiments verkauft. Dies wiederum muss ja auch so sein, schließlich soll die gesamte Abbildung die Zeitabhängigkeit (0-24 h) des Bindeverhaltens zweier Bindepartner samt Kontrollen darstellen. Und die kann man quantitativ nur in ein und demselben Experiment zuverlässig bestimmen.

Was also ist hier vorgegangen?

Diesen Beitrag weiterlesen »

Der kleine Fischer

29. November 2013 von Laborjournal

Vor etwa einem Jahr hatten wir an dieser Stelle ein Beispiel, wie Autoren sich einen kleinen Scherz im eigenen Paper gönnten. Die Abbildung einer ausgewachsenen Makrozilie erinnerte sie so sehr an einen Wolkenkratzer, dass sie kurzerhand einen Miniatur-King Kong darauf zeichneten. Das war 1988 — und scheinbar gefiel dies auch den Reviewern so gut, dass sie die kleine Manipulation großmütig ins fertige Paper durchwunken. Oder sie hatten’s glatt übersehen.

„King Kong“ war jedoch bei weitem nicht der erste Gag, den sich Autoren auf diese Art mit ihren Abbildungen erlaubten. Hier kommt noch einer aus dem Paper „The Photosynthetic Cycle. CO2 Dependent Transients“, das Alex T. Wilson und der spätere Nobelpreisträger Melvin Calvin 1955 im Journal of the American Chemical Society veröffentlichten (Vol. 77(22): 5948-57):

Na, gefunden? Falls nicht, ist hier die Vergrößerung eines Teils der Abbildung:

Jetzt ist es klar, oder? Wie hier nachzulesen ist, entsprang der „kleine Fischer“ angeblich einer Wette des damaligen „Grad Students“ Alex Wilson mit der Institutssekretärin, dass er in einem der nächsten Paper solch eine Figur einschmuggeln könne, ohne dass Calvin es merken würde. Wilson gewann die Wette — und man sagt, der bekanntermaßen etwas humorlose Calvin hätte es nie herausgefunden.

Irgendwie schön, dass sich in dem ein oder anderen Originalartikel doch mehr Geschichten verbergen als nur die rein wissenschaftliche.