Ein Post-Pub-Review-Szenario

9. Mai 2014 von Laborjournal

Gerade eine interessante Diskussion über Post-Publication-Peer-Review mit einem Forscher gehabt, der zugleich auch als Editor eines Journals fungiert. Der war sehr angetan von Preprint-Servern für Manuskripte a la arXiv oder neuerdings bioRxiv — jedoch weniger begeistert von dem gesamten Post-Pub-Rev-Konzept.

Dies insbesondere wegen ganz praktischer Bedenken. Er glaube einfach, dass auf entsprechend freiwilliger Basis die meisten Veröffentlichungen nachträglich überhaupt nicht begutachtet würden, stellte der Forscher-Editor in den Raum. „Wer würde sich denn die Zeit dafür nehmen, wenn man nicht explizit um ein Gutachten gebeten wurde?“

Er befürchte, dass gerade die schlechteren Sachen einfach unkommentiert stehen bleiben würden, weil es den Kollegen schier zu blöd sei, solchen “Mist” auch noch aufwändig gerade zu rücken. Mit der Folge, dass diejenigen, die sich in dem Feld nicht so gut auskennen und die Inhalte kaum selbst adäquat beurteilen können, das Zeug dann womöglich für bare Münze nehmen würden.

Würde eine Arbeit indes tatsächlich nachträglich kommentiert und kritisiert, gebe es seiner Meinung nach drei Möglichkeiten: Die Autoren nehmen die Kritik an, sie streiten deren Inhalt ab oder sie ignorieren sie komplett. Letzteres sei ja bei der Post-Pub-Rev-Plattform PubPeer leider weithin die Regel. Da habe man schon den Eindruck, es gehe alles nach dem Motto: „Was juckt mich das Paper von gestern, es ist doch draußen — ich muss mich jetzt um das nächste Projekt kümmern.“

Und so würden publizierte Artikel „posthum“ kaum einmal besser gemacht, wie es beim klassischen Peer Review doch öfter passiere. „Was nutzen mir schnellere Veröffentlichungen, wenn sie im Schnitt deutlich schlampiger sind — und bleiben.“ Denn selbst im günstigsten Fall — die Autoren bekommen Kommentare und gehen ihrerseits auch darauf ein — würden sie ja nicht mehr das Paper selbst umschreiben, sondern die Verbesserungen ebenfalls „noch weiter unten“ in den Kommentaren platzieren. Was den Lesespaß und vor allem die Leseeffizienz ziemlich senken würde. „Du liest unten einen Kommentar, scrollst hoch, liest da wieder was nach, gehst wieder runter, liest dort weiter, musst gleich wieder hoch,… Schrecklich!“

Ziemlich skeptisches Szenario. Meinungen dazu?

Autoren am Rande des Nervenzusammenbruchs (19)

12. April 2013 von Laborjournal

Im Kommentar Nr. 8 zu diesem Posting im Blog DrugMonkey tauchte kürzlich sinngemäß folgende interessante Geschichte auf:

Der Autor hatte ein seiner Meinung nach sehr gutes Paper zu einem Top-Journal geschickt. Entsprechend erhielt er auch zwei positive Reviews — ein dritter Reviewer jedoch machte das Paper offenbar ziemlich barsch nieder. Die Veröffentlichung wurde daher abgelehnt. Daraufhin schickte der Autor das Manuskript nacheinander zu zwei weiteren Edelblättern. Beide Male mit wieder demselben Ergebnis: zwei wohlgesinnte Reviews plus eine brüske Ablehnung — und keine Publikation.

Ohne offen über die Hintergründe dieser drei auffällig analogen Ablehnungen zu spekulieren, schreibt der Autor nur lapidar:

Since we were submitting to top tier journals a single bad review is enough to kill your paper.

Das Paper erschien schließlich mit ordentlich Verspätung in einem mittleren „Special Interest“-Journal. Worauf dem Autor — fast schon logisch — folgendes passierte:

To this day people at conferences and scientific meetings still ask us: „How come did you submit it to such a low ranking journal? Your result is better than that“.

Das muss ihm jedes Mal vorkommen wie das sprichwörtliche Messer, das in der Wunde umgedreht wird.

Gutachterprobleme

12. Oktober 2012 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. H.E. Imzahl, Antiologisches Institut Universität Schlechterdingen.

LJ: Hallo, Herr Imzahl, so nachdenklich?

Imzahl: Sieht man mir das an?

LJ: Oh ja. Worum geht’s?

Imzahl: Um ein Paper, das ich gestern begutachtet habe.

LJ: Und?

Imzahl: Na ja, ich fand es nicht schlecht. Nicht genial, nicht umwerfend originell — aber durchaus okay.

LJ: Und das ist ein Problem?

Imzahl: Nein, komisch wurde die Sache erst, als ich herausbekam, wer der andere Gutachter ist und wer aus dem Editorial Board der Zeitschrift für die Begutachtung und die letztliche Entscheidung verantwortlich ist.

LJ: Was wurde dann „komisch“?

Imzahl: Na ja, beide sind Idioten — sowohl fachlich, als auch menschlich. Diesen Beitrag weiterlesen »

Förderung nur bei „Nature-Niveau“?

21. August 2012 von Kommentar per Email

(Kürzlich erhielten wir den unten folgenden Erfahrungsbericht zum Thema DFG-Anträge. Wir haben ihn anonymisiert und überarbeitet — und stellen das Thema hiermit zur Diskussion.)

Mit großem Interesse habe ich Ihren Artikel „Außer Kontrolle“ in Laborjournal 6/2012, S. 21-25, über die Forschungsförderung der DFG gelesen. Aus diesem Grund möchte ich Ihnen meine Situation und Erfahrungen mit der DFG schildern.

Ich war mehrere Jahre wissenschaftliche Mitarbeiterin in einem biochemischen Institut; zur Zeit bin ich in der Position als Vertretungsprofessorin bis voraussichtlich Ende September 2012 eingestellt. Seit einigen Jahren versuche ich für meine Forschung Drittmittel einzuwerben, was bis auf eine Ausnahme leider erfolglos war. 2009 stellte ich schließlich wieder einen Antrag auf Sachbeihilfe bei der DFG (inklusive Beantragung meiner eigenen Stelle). Ich hatte gehofft, dass der Antrag diesmal genehmigt wird, da er auf schon veröffentlichten Daten, unter anderem im Journal of Cell Science, basierte und ich weiterhin eine interessante, neue In vivo-Methode in Deutschland etablieren wollte. Die finanziellen Mittel für die Geräte, die dafür notwendig sind, wurden mir zuvor von meiner Universität im Rahmen eines Antrags auf „Einrichtung einer eigenen Arbeitsrichtung“ genehmigt.

Im September 2010 erhielt ich den Bescheid über die Ablehnung des Antrags, obwohl die Gutachten grundsätzlich eine Förderung empfohlen haben. Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (13)

30. April 2012 von Laborjournal

Über die Anfälligkeit des Peer Review-Systems für Willkür und Missbrauch wird ja immer wieder geschrieben (siehe etwa hier oder hier). Und oft bleibt als Fazit: Solange Gutachter aus Fleisch und Blut über eingereichte Artikel entscheiden, wird man in dem System trotz aller Mühen immer wieder menschlichen Schwächen und Verfehlungen bis hin zu üblen Machenschaften begegnen.

Manchmal kommt es daher ganz besonders krass. Wie etwa in folgendem Fall: In einem kleinen, überschaubaren Feld bekommt jemand ein Paper zur Begutachtung. Trotzdem es anonymisiert ist, erkennt der Gutachter das Labor — und da er dort erst kürzlich zu Besuch war, weiß er auch, dass die Daten fast ausnahmslos aus der Arbeit eines frisch gebackenen PhDs stammen. Er empfiehlt das Paper schließlich zur Veröffentlichung, allerdings nach einigen kleinen Revisionen.

Monate später trifft er den PhD bei einem Meeting, offenbart sich als einer der Gutachter und fragt, wann das Paper denn nun endlich erscheinen würde. Diesen Beitrag weiterlesen »

Zitat des Monats (7): „Lahm, teuer, uneffizient,…“

20. Dezember 2011 von Laborjournal

Bereits im Jahr 2008 wetterte der langjährige Ex-Editor des British Medical Journal, Richard Smith, in Lab Times gegen das traditionelle Prepublication Peer Review-System. Jetzt legt er in einem Editorial im Journal of Medical Screening (vol. 18(3):113-14) noch einen drauf:

The evidence, as opposed to the opinion, on prepublication peer review shows that its effectiveness has not been demonstrated and that it is slow, expensive, largely a lottery, poor at spotting error, biased, anti-innovatory (as perhaps in this case), prone to abuse, and unable to detect fraud. The global cost of peer review is $1.9 billion, and it is a faith-based rather than evidence-based process, which is hugely ironic when it is at the heart of science.

My conclusion is that we should scrap prepublication peer review and concentrate on postpublication peer review, which has always been the ‘real’ peer review in that it decides whether a study matters or not. By postpublication peer review I do not mean the few published comments made on papers, but rather the whole ‘market of ideas,’ which has many participants and processes and moves like an economic market to determine the value of a paper. Prepublication peer review simply obstructs this process.

Interessanterweise haben die zwei US-Kognitionsforscher Dwight Kravitz und Chris Baker gerade einen sehr passenden Aufsatz in Frontiers of Computational Neuroscience veröffentlicht, in dem sie vorschlagen, wie eine Kombination aus Pre- und Postpublication Peer Review tatsächlich funktionieren könnte. Der Titel: Toward a new model of scientific publishing: discussion and a proposal. Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (4)

11. Januar 2011 von Laborjournal

Da sage noch einer in wissenschaftlichen Journals wäre kein Platz für Humor. Vom British Medical Journal (BMJ) ist ja inzwischen bekannt, dass sie jedes Jahr in ihrer Weihnachtsausgabe durchaus Platz für nicht ganz ernst gemeinte Studien frei halten. (Dies spätestens seit 2007, als das weitverbreitete deutsche Unverständnis für britischen Humor  im Zusammenhang mit einem solchen BMJ-Artikel für eine mittlere mediale Katastrophe sorgte.)

Weniger bekannt ist dagegen sicherlich, dass die Zeitschrift Environmental Microbiology am Ende jeden Jahres die witzigsten Zitate aus den Peer Reviews ihrer Gutachter abdruckt.

Our referees, the Editorial Board Members and ad hoc reviewers, are busy, serious individuals who give selflessly of their precious time to improve manuscripts submitted to Environmental Microbiology. But, once in a while, their humour (or admiration) gets the better of them. Here are some quotes from reviews made over the past year, just in time for the Season of Goodwill and Merriment.

So die Einleitung zur jüngsten Sammlung. Und dann geht’s weiter mit knapp 50 Zitaten folgenden Kalibers:

This paper is desperate. Please reject it completely and then block the author’s email ID so they can’t use the online system in future.

The writing and data presentation are so bad that I had to leave work and go home early and then spend time to wonder what life is about.

Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (3)

29. Dezember 2010 von Laborjournal

Peer Review von Original-Manuskripten ist eine Sache höchster Vetraulichkeit. Dennoch treibt hier so mancher Gutachter Schindluder. Und dabei geht es keineswegs nur um die Weitergabe einiger Daten an den eigenen Postdoc.

Wie etwa in folgendem Beispiel: Forscher M reicht ein Manuskript ein, beide Gutachter A und B verlangen eine ‚Major Revision‘. Nach einigen Monaten hat Forscher M diese fertig und reicht das Manuskript erneut ein. Der Editor fragt daraufhin bei A und B an, ob sie die revidierte Version erneut begutachten würden. A sagt zu, B lehnt ab — schlägt aber Kollegen C vor. Das revidierte Manuskript geht also an A und C. Diesen Beitrag weiterlesen »

Wie man in einem Habilitationsverfahren die Grundrechte verletzt

10. Dezember 2010 von Laborjournal

In Hamburg gibt es einen Biochemiker, der seit 21 Jahren gegen die Ablehnung seiner Habilitationsschrift über potenzielle Schizophrenie-Marker klagt. Gestern hat die TAZ die Geschichte von Alfred Fleissner unter dem Titel „Der verhinderte Professor“ veröffentlicht.

Wie groß Fleissners eigener Anteil an der „Verhinderung“ ist, wird daraus nicht ganz klar — abgesehen von einigen Hinweisen, dass er offenbar ein durchaus streitbarer Charakter ist. Indes hatte sich kürzlich das Bundesverfassungsgericht des Falles angenommen. Und dieses schlug sich  insofern auf Fleissners Seite, als dass es das Vorgehen der Gutachter und des Habilitationsausschusses scharf bemängelte. Die TAZ fasste dessen Fazit folgendermaßen zusammen:

Die Wissenschaftsfreiheit des Grundgesetzes schütze Forscher vor unangemessenen Entscheidungen. Eine Habilitationsschrift dürfe nicht nur deshalb abgelehnt werden, weil der Habilitationsausschuss anderer Meinung ist. Wichtig seien deshalb die vorbereitenden Voten der Gutachter. Diese müssten so ausgewählt werden, dass alle Teile der Arbeit sachkundig bewertet werden können. Nur so könne der Habilitationsausschuss eine fundierte Entscheidung treffen, die wiederum voll gerichtlich überprüfbar ist. Ähnliche Regeln hatte früher schon das Bundesverwaltungsgericht aufgestellt. Doch jetzt haben sie quasi Verfassungsrang.

Die Karlsruher Kammer postulierte damit folglich ein „Recht auf sachkundige Leistungsbewertung im Habilitationsverfahren“. Diesen Beitrag weiterlesen »

„Zu ambitioniert“

12. Oktober 2010 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Assistenzprofessor E.H.R. Geiz, Melanchologisches Institut TH Trübenwil.

LJ: Hallo, Herr Geiz. Irgendwas Schlimmes passiert?

Geiz: Hab’ gerade die Entscheidung über einen Antrag mitgeteilt bekommen.

LJ: Oh je, abgelehnt…

Geiz: Nein nein, glatt bewilligt.

LJ: Ah!… Ja… schön… Aber, Verzeihung, glücklich sehen Sie nicht gerade aus.

Geiz: Doch, doch — ich freu’ mich natürlich. Aber irgendwie ist es schon komisch…

LJ: Was denn?

Geiz: Die haben ihn zwar voll bewilligt — aber sie schreiben auch, dass ich das Projekt durchaus “ambitionierter” hätte formulieren und angehen können.

Diesen Beitrag weiterlesen »