Vertrauenssache Peer Review

29. September 2017 von Laborjournal

Mitarbeiter der Annals of Internal Medicine stellten vorletzte Woche auf dem International Congress for Peer Review and Scientific Publication die Ergebnisse einer ziemlich interessanten Befragung vor. Deren Thema: Missbrauch von eingereichten Manuskripten durch Peer Reviewer (Originaltitel: Misuse of Received Manuscripts by Peer Reviewers: A Cross-sectional Survey).

Als Resultat halten sie zunächst einmal fest:

A total of 1431 of 3275 invited reviewers (44%) returned the survey […] Nearly half indicated having reviewed and published more than 50 manuscripts and having mentored others in peer review. Reasons reported for agreeing to review included keeping up to date in a research field (957/1417 [68%]), a sense of obligation to peer review (1316/1417 [93%]), …

So weit, so gut. Mit dem nächsten Grund, warum die Befragten die Manuskripte zur Begutachtung annehmen, wird es dann allerdings schon etwas kniffliger:

… and to know what competitors are doing (190/1417 [13%]).

Aha — ganze 13 Prozent der Befragten gaben also zu, Manuskripte vor allem deswegen zur Begutachtung anzunehmen, weil es ein guter Weg sei, sich darüber zu informieren, was die Konkurrenz so treibt. Da man derlei aber selbst in anonymen Umfragen aus selbstwertdienlichen Gründen nicht wirklich gerne preisgibt, dürften die 13 Prozent die tatsächliche Realität sogar noch schmeichelhaft abbilden.

Doch es kommt noch besser:

One hundred sixty-nine of 1417 (12%) had agreed to review manuscripts from authors with whom they had conflicts of interest; of these, 61 (36%) did so without informing the journal’s editor. One hundred fifty-three of 1413 (11%) showed manuscripts to colleagues without seeking permission.

Diese Art „Schindluder-Verhalten“ gibt man in diesem Zusammenhang sicher noch weniger gerne zu. Mit der Folge, dass die „Dunkelziffern“ für diese Art Missbrauch von anvertrauten Manuskripten nochmals höher ausfallen dürften.

Gleiches gilt natürlich auch für das letzte vorgestellte Ergebnis der Befragung:

Twenty-six of 1414 (2%; 95% CI, 1%-3%) indicated having used the information in a reviewed manuscript for personal or academic benefit prior to the paper’s publication. Such reported use included using what was learned to alter one’s own research plans, speeding up journal submission of one’s own work related to the subject of the manuscript being reviewed, and copying some part of the reviewed manuscript for one’s own work.

Okay, das sind zwar nur zwei Prozent — aber dennoch heißt das zusammen mit den anderen, bereits genannten Ergebnissen schlichtweg, dass das Vertrauensverhältnis zwischen Autoren und Gutachtern, auf dem das gesamte Peer-Review-System fußt, offenbar deutlich öfter gebrochen wird, als einem lieb sein kann.

Entsprechend schreiben die Autoren dann auch in ihrer Conclusion:

Trust that reviewers will treat manuscripts received for peer review as confidential communications is an essential tenet of peer review. Although self reported and of uncertain generalizability, these results suggest that breaches of this trust do occur. Larger studies involving multiple journals should be considered to assess the generalizability of these results and to inform targeted educational initiatives aimed at promoting the highest ethical standards among peer reviewers.

Kommentare, Meinungen oder gar eigene Erlebnisse zu potenziellem Peer-Review-Missbrauch nehmen wir gerne entgegen. Entweder direkt hier über das unten folgende Kommentarfenster, oder auch diskreter via Mail an die Laborjournal-Redaktion.

„Bankrotterklärung“ — ein böser Brief an die DFG

5. Oktober 2015 von Laborjournal

Immer wieder müssen wir Laborjournal-Redakteure in älteren E-Mails wühlen. Und ab und zu stoßen wir dabei auf „alte Perlen“, die wir noch gar nicht richtig verwertet haben. So auch heute, als ich im Anhang einer Mail auf einen Brief stieß, in dem ein deutlich verärgerter Forscher die Deutsche Forschungsgemeinschaft (DFG) scharf für ihre Antrags- und Karrierepolitik kritisierte. Hier anonymisierte Auszüge daraus:

[…] Ich habe es damals als promovierter Wissenschaftler und später als Privatdozent erlebt, wie völlig unverantwortlich die deutsche Wissenschaftslandschaft (einschließlich der DFG) mit Wissenschaftlerinnen und Wissenschaftlern umgeht. Diese wurden bis in ihre späten Dreißiger oder frühen Vierziger mit Stipendien und Drittmittelstellen gefördert, um ihnen dann mitzuteilen, dass leider keine weitere Verwendung für sie besteht (weil es eben nicht annähernd genügend Professoren-Stellen für alle Privatdozenten gibt). 

[…] Als seinerzeit 38-jähriger, der sich um ein Habilitationsstipendium bei der DFG beworben hatte, teilte man mir damals mit (und diese Formulierung muss man sich wirklich auf der Zunge zergehen lassen) dass: „… die Gutachter den Eindruck gewonnen hätten, dass ich ein erfahrener [XYZ]-Analytiker mit einer ansprechenden Zahl guter Publikationen sei — vielleicht einer der besten [XYZ]-Forscher des Landes….“! Gleichzeitig wurde mir jedoch auf Seite 2 des Schreibens beschieden, „… dass der Hauptgrund für die Ablehnung Ihres Antrages die Sorge der Gutachter war, dass die Habilitation nicht der richtige Berufsweg für Sie sei“ (das Schreiben liegt bei).

Dümmer und zynischer geht’s nimmer, würde ich mal sagen: Diesen Beitrag weiterlesen »

Ein Post-Pub-Review-Szenario

9. Mai 2014 von Laborjournal

Gerade eine interessante Diskussion über Post-Publication-Peer-Review mit einem Forscher gehabt, der zugleich auch als Editor eines Journals fungiert. Der war sehr angetan von Preprint-Servern für Manuskripte a la arXiv oder neuerdings bioRxiv — jedoch weniger begeistert von dem gesamten Post-Pub-Rev-Konzept.

Dies insbesondere wegen ganz praktischer Bedenken. Er glaube einfach, dass auf entsprechend freiwilliger Basis die meisten Veröffentlichungen nachträglich überhaupt nicht begutachtet würden, stellte der Forscher-Editor in den Raum. „Wer würde sich denn die Zeit dafür nehmen, wenn man nicht explizit um ein Gutachten gebeten wurde?“

Er befürchte, dass gerade die schlechteren Sachen einfach unkommentiert stehen bleiben würden, weil es den Kollegen schier zu blöd sei, solchen “Mist” auch noch aufwändig gerade zu rücken. Mit der Folge, dass diejenigen, die sich in dem Feld nicht so gut auskennen und die Inhalte kaum selbst adäquat beurteilen können, das Zeug dann womöglich für bare Münze nehmen würden.

Würde eine Arbeit indes tatsächlich nachträglich kommentiert und kritisiert, gebe es seiner Meinung nach drei Möglichkeiten: Die Autoren nehmen die Kritik an, sie streiten deren Inhalt ab oder sie ignorieren sie komplett. Letzteres sei ja bei der Post-Pub-Rev-Plattform PubPeer leider weithin die Regel. Da habe man schon den Eindruck, es gehe alles nach dem Motto: „Was juckt mich das Paper von gestern, es ist doch draußen — ich muss mich jetzt um das nächste Projekt kümmern.“

Und so würden publizierte Artikel „posthum“ kaum einmal besser gemacht, wie es beim klassischen Peer Review doch öfter passiere. „Was nutzen mir schnellere Veröffentlichungen, wenn sie im Schnitt deutlich schlampiger sind — und bleiben.“ Denn selbst im günstigsten Fall — die Autoren bekommen Kommentare und gehen ihrerseits auch darauf ein — würden sie ja nicht mehr das Paper selbst umschreiben, sondern die Verbesserungen ebenfalls „noch weiter unten“ in den Kommentaren platzieren. Was den Lesespaß und vor allem die Leseeffizienz ziemlich senken würde. „Du liest unten einen Kommentar, scrollst hoch, liest da wieder was nach, gehst wieder runter, liest dort weiter, musst gleich wieder hoch,… Schrecklich!“

Ziemlich skeptisches Szenario. Meinungen dazu?

Autoren am Rande des Nervenzusammenbruchs (19)

12. April 2013 von Laborjournal

Im Kommentar Nr. 8 zu diesem Posting im Blog DrugMonkey tauchte kürzlich sinngemäß folgende interessante Geschichte auf:

Der Autor hatte ein seiner Meinung nach sehr gutes Paper zu einem Top-Journal geschickt. Entsprechend erhielt er auch zwei positive Reviews — ein dritter Reviewer jedoch machte das Paper offenbar ziemlich barsch nieder. Die Veröffentlichung wurde daher abgelehnt. Daraufhin schickte der Autor das Manuskript nacheinander zu zwei weiteren Edelblättern. Beide Male mit wieder demselben Ergebnis: zwei wohlgesinnte Reviews plus eine brüske Ablehnung — und keine Publikation.

Ohne offen über die Hintergründe dieser drei auffällig analogen Ablehnungen zu spekulieren, schreibt der Autor nur lapidar:

Since we were submitting to top tier journals a single bad review is enough to kill your paper.

Das Paper erschien schließlich mit ordentlich Verspätung in einem mittleren „Special Interest“-Journal. Worauf dem Autor — fast schon logisch — folgendes passierte:

To this day people at conferences and scientific meetings still ask us: „How come did you submit it to such a low ranking journal? Your result is better than that“.

Das muss ihm jedes Mal vorkommen wie das sprichwörtliche Messer, das in der Wunde umgedreht wird.

Gutachterprobleme

12. Oktober 2012 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. H.E. Imzahl, Antiologisches Institut Universität Schlechterdingen.

LJ: Hallo, Herr Imzahl, so nachdenklich?

Imzahl: Sieht man mir das an?

LJ: Oh ja. Worum geht’s?

Imzahl: Um ein Paper, das ich gestern begutachtet habe.

LJ: Und?

Imzahl: Na ja, ich fand es nicht schlecht. Nicht genial, nicht umwerfend originell — aber durchaus okay.

LJ: Und das ist ein Problem?

Imzahl: Nein, komisch wurde die Sache erst, als ich herausbekam, wer der andere Gutachter ist und wer aus dem Editorial Board der Zeitschrift für die Begutachtung und die letztliche Entscheidung verantwortlich ist.

LJ: Was wurde dann „komisch“?

Imzahl: Na ja, beide sind Idioten — sowohl fachlich, als auch menschlich. Diesen Beitrag weiterlesen »

Förderung nur bei „Nature-Niveau“?

21. August 2012 von Kommentar per Email

(Kürzlich erhielten wir den unten folgenden Erfahrungsbericht zum Thema DFG-Anträge. Wir haben ihn anonymisiert und überarbeitet — und stellen das Thema hiermit zur Diskussion.)

Mit großem Interesse habe ich Ihren Artikel „Außer Kontrolle“ in Laborjournal 6/2012, S. 21-25, über die Forschungsförderung der DFG gelesen. Aus diesem Grund möchte ich Ihnen meine Situation und Erfahrungen mit der DFG schildern.

Ich war mehrere Jahre wissenschaftliche Mitarbeiterin in einem biochemischen Institut; zur Zeit bin ich in der Position als Vertretungsprofessorin bis voraussichtlich Ende September 2012 eingestellt. Seit einigen Jahren versuche ich für meine Forschung Drittmittel einzuwerben, was bis auf eine Ausnahme leider erfolglos war. 2009 stellte ich schließlich wieder einen Antrag auf Sachbeihilfe bei der DFG (inklusive Beantragung meiner eigenen Stelle). Ich hatte gehofft, dass der Antrag diesmal genehmigt wird, da er auf schon veröffentlichten Daten, unter anderem im Journal of Cell Science, basierte und ich weiterhin eine interessante, neue In vivo-Methode in Deutschland etablieren wollte. Die finanziellen Mittel für die Geräte, die dafür notwendig sind, wurden mir zuvor von meiner Universität im Rahmen eines Antrags auf „Einrichtung einer eigenen Arbeitsrichtung“ genehmigt.

Im September 2010 erhielt ich den Bescheid über die Ablehnung des Antrags, obwohl die Gutachten grundsätzlich eine Förderung empfohlen haben. Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (13)

30. April 2012 von Laborjournal

Über die Anfälligkeit des Peer Review-Systems für Willkür und Missbrauch wird ja immer wieder geschrieben (siehe etwa hier oder hier). Und oft bleibt als Fazit: Solange Gutachter aus Fleisch und Blut über eingereichte Artikel entscheiden, wird man in dem System trotz aller Mühen immer wieder menschlichen Schwächen und Verfehlungen bis hin zu üblen Machenschaften begegnen.

Manchmal kommt es daher ganz besonders krass. Wie etwa in folgendem Fall: In einem kleinen, überschaubaren Feld bekommt jemand ein Paper zur Begutachtung. Trotzdem es anonymisiert ist, erkennt der Gutachter das Labor — und da er dort erst kürzlich zu Besuch war, weiß er auch, dass die Daten fast ausnahmslos aus der Arbeit eines frisch gebackenen PhDs stammen. Er empfiehlt das Paper schließlich zur Veröffentlichung, allerdings nach einigen kleinen Revisionen.

Monate später trifft er den PhD bei einem Meeting, offenbart sich als einer der Gutachter und fragt, wann das Paper denn nun endlich erscheinen würde. Diesen Beitrag weiterlesen »

Zitat des Monats (7): „Lahm, teuer, uneffizient,…“

20. Dezember 2011 von Laborjournal

Bereits im Jahr 2008 wetterte der langjährige Ex-Editor des British Medical Journal, Richard Smith, in Lab Times gegen das traditionelle Prepublication Peer Review-System. Jetzt legt er in einem Editorial im Journal of Medical Screening (vol. 18(3):113-14) noch einen drauf:

The evidence, as opposed to the opinion, on prepublication peer review shows that its effectiveness has not been demonstrated and that it is slow, expensive, largely a lottery, poor at spotting error, biased, anti-innovatory (as perhaps in this case), prone to abuse, and unable to detect fraud. The global cost of peer review is $1.9 billion, and it is a faith-based rather than evidence-based process, which is hugely ironic when it is at the heart of science.

My conclusion is that we should scrap prepublication peer review and concentrate on postpublication peer review, which has always been the ‘real’ peer review in that it decides whether a study matters or not. By postpublication peer review I do not mean the few published comments made on papers, but rather the whole ‘market of ideas,’ which has many participants and processes and moves like an economic market to determine the value of a paper. Prepublication peer review simply obstructs this process.

Interessanterweise haben die zwei US-Kognitionsforscher Dwight Kravitz und Chris Baker gerade einen sehr passenden Aufsatz in Frontiers of Computational Neuroscience veröffentlicht, in dem sie vorschlagen, wie eine Kombination aus Pre- und Postpublication Peer Review tatsächlich funktionieren könnte. Der Titel: Toward a new model of scientific publishing: discussion and a proposal. Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (4)

11. Januar 2011 von Laborjournal

Da sage noch einer in wissenschaftlichen Journals wäre kein Platz für Humor. Vom British Medical Journal (BMJ) ist ja inzwischen bekannt, dass sie jedes Jahr in ihrer Weihnachtsausgabe durchaus Platz für nicht ganz ernst gemeinte Studien frei halten. (Dies spätestens seit 2007, als das weitverbreitete deutsche Unverständnis für britischen Humor  im Zusammenhang mit einem solchen BMJ-Artikel für eine mittlere mediale Katastrophe sorgte.)

Weniger bekannt ist dagegen sicherlich, dass die Zeitschrift Environmental Microbiology am Ende jeden Jahres die witzigsten Zitate aus den Peer Reviews ihrer Gutachter abdruckt.

Our referees, the Editorial Board Members and ad hoc reviewers, are busy, serious individuals who give selflessly of their precious time to improve manuscripts submitted to Environmental Microbiology. But, once in a while, their humour (or admiration) gets the better of them. Here are some quotes from reviews made over the past year, just in time for the Season of Goodwill and Merriment.

So die Einleitung zur jüngsten Sammlung. Und dann geht’s weiter mit knapp 50 Zitaten folgenden Kalibers:

This paper is desperate. Please reject it completely and then block the author’s email ID so they can’t use the online system in future.

The writing and data presentation are so bad that I had to leave work and go home early and then spend time to wonder what life is about.

Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (3)

29. Dezember 2010 von Laborjournal

Peer Review von Original-Manuskripten ist eine Sache höchster Vetraulichkeit. Dennoch treibt hier so mancher Gutachter Schindluder. Und dabei geht es keineswegs nur um die Weitergabe einiger Daten an den eigenen Postdoc.

Wie etwa in folgendem Beispiel: Forscher M reicht ein Manuskript ein, beide Gutachter A und B verlangen eine ‚Major Revision‘. Nach einigen Monaten hat Forscher M diese fertig und reicht das Manuskript erneut ein. Der Editor fragt daraufhin bei A und B an, ob sie die revidierte Version erneut begutachten würden. A sagt zu, B lehnt ab — schlägt aber Kollegen C vor. Das revidierte Manuskript geht also an A und C. Diesen Beitrag weiterlesen »

Information 4


Information 5





Information 7