Die netten Gutachter…

25. April 2016 von Laborjournal

x

 

(Zeichnung entnommen aus „Forscher Ernst“ von Rafael Florés)

x

Die Lance Armstrongs der Tour de Science

3. Februar 2016 von Laborjournal

Und wieder ein Zitat aus einer E-Mail an unsere Redaktion. Ein Bio-Emeritus im aktiven Unruhestand prangert darin mit deutlichen Worten einige „Unsitten“ im aktuellen Forschungsbetrieb an:

Da die Zahl der für das öffentliche und private Leben relevanten Skandale meine Fähigkeit zu kotzen weit überfordert […], bemühe ich mich schon seit einiger Zeit um eine gewisse pragmatische Rangordnung. Im Hinblick auf Wissenschaftsskandale heißt das für mich, dass ich nach den Lance Armstrongs der internationalen Tour de Science und vor allem nach den Strukturen frage, die diesen Figuren zur Verfügung stehen.

Da komme ich dann auf Fragen zum Wahnsinn der Impact Faktoren und CNS-Publikationen als Kriterium wissenschaftlicher Befähigung. CNS hat nichts mit Gehirn zu tun, sondern steht für Cell, Nature, Science — und damit gleichsam für den Glauben an die Weisheit der Editoren von Journalen, deren Hauptziel darin besteht, den Impact Faktor ihres Journals zu steigern oder wenigstens zu halten.

Ich beschäftige mich weiter mit dem Problem, was alles „behind the scenes“ passiert und offenbar möglich ist. Ich frage mich, warum ich immer wieder auf Arbeiten stoße, die in High Impact-Journalen veröffentlicht wurden und die völlig perfekt erscheinen — abgesehen davon, dass sich die Hauptergebnisse nicht reproduzieren lassen.

Ich frage mich, warum viele Wissenschaftler das Gefühl haben, dass man in einem Manuskript die — oftmals ja leider berechtigten — eigenen Sorgen wegen der Grenzen der verwendeten Methoden, beispielsweise aufgrund unerwünschter, schwer zu kontrollierender Artefakte, besser gar nicht erst andiskutieren sollte.

Ich frage mich, warum es üblich scheint, Ergebnisse besser wegzulassen, die nicht ins Schema der perfekten Reproduzierbarkeit passen und die möglicherweise die Beweisführung für oder gegen eine bestimmte Hypothese untergraben könnten.

Ich frage mich, wie es dazu kommt, dass heute umgehend immer nur nach einem molekularen Mechanismus gefragt wird, selbst wenn die phänomenologischen Grundlagen des untersuchten biologischen  Systems noch weitgehend ungeklärt sind.

Ich frage mich, wie das Begutachtungssystem verändert werden sollte — und vor allen Dingen, wie es öffentlich gemacht werden kann. Ich für meinen Teil habe seit etwa einem Jahr begonnen, alle meine Zeitschriftengutachten mit meinem Namen zu zeichnen.

Ich frage mich, wie es kommt, dass Gutachter ihren Auftrag dahingehend missbrauchen, dass sie die Autoren eingereichter Arbeiten zwingen, eine To-do-Liste abzuarbeiten, nach der die geforderten zusätzlichen Experimente gar nichts mehr mit notwendigen Kontrollen zu tun haben, sondern lediglich willkürliche Erweiterungen nach dem Geschmack des Gutachters darstellen.

Fragen, die viele zwar schon lange kennen — die deswegen aber nicht aufhören zu schmerzen. Antworten und Meinungen dazu, wie immer, direkt unten als Kommentar zu diesem Blog-Beitrag, oder auch per E-Mail an redaktion@laborjournal.de.

(Foto: Fotolia/erkamit)

x

Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Laborjournal

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Reviewer No. 3

2. Oktober 2014 von Laborjournal

Während einer Recherche zum Thema Peer Review folgende nette Geschichte gehört:

Professor X erinnerte sich, wie er seinerzeit als Doktorand sein allererstes Manuskript abgeschickt hatte und nun aufgeregt auf den Bescheid des Journals wartete. Er kam schließlich mit drei Reviews. Zwei waren positiv, wenn auch mit einigen Änderungswünschen — Review No. 3 dagegen war ein Schlag in die Magengrube. Dass der Gutachter das Paper inhaltlich in tausend Fetzen zerriss, war das eine. Dazu kam das Wie. Reviewer No. 3 präsentierte seine Kritik in einem derart herablassend-aggressiven Ton, dass Jung-X zunächst einmal förmlich die Luft wegblieb. Es wimmelte darin geradezu vor Vokabeln wie „naiv“, „trivial“, „unangemessen“, „unvollständig“, „verirrt“, „Fehlschluss“, „schlampig“, „lächerlich“,…

Als er sich schließlich halbwegs von dem Schock erholt hatte, stieg Zorn in ihm hoch — und er begann, sich „das Arschloch“ vorzustellen. „Sicher so ein frustrierter alter Sack, kurz vor der Pensionierung“, dachte X. „Ein ergrautes, faltiges Alphatier, das Spaß daran hat, den Jungen nochmal so richtig zu zeigen, wo der Hammer hängt. Der ansonsten aber gerade darüber verbittert, dass seine Zeit nun endgültig bald vorbei ist. Da kommt ihm ein Manuskript von so einem kleinen Würstchen wie mir natürlich gerade recht, um all den Frust und die Verbitterung unerkannt, aber wirksam rauszulassen.“

X fand nie heraus, wer tatsächlich dieser „Reviewer No. 3“ war. Allerdings wurde er später selbst Editor und Chief Editor bei mehreren Zeitschriften. Und da gingen natürlich jede Menge weiterer solcher „Reviewer No. 3“-Gutachten über seinen Tisch. Nicht dass er gezielt danach geschaut hatte, aber irgendwann fiel ihm dabei auf, dass die meisten dieser „Reviewer No. 3“-Gutachten eben nicht von bärbeißigen alten Platzhirschen verfasst waren. Ganz im Gegenteil, vielmehr stammten sie auffallend oft aus den Federn junger Senior-Postdocs oder Nachwuchsgruppenleiter.

Gefragt, ob X dafür irgendeine Erklärung habe, antwortete er: „Ich glaube, es kommt von der Unerfahrenheit und Unsicherheit. Die Leute kriegen teilweise ihr erstes Manuskript auf den Tisch — und haben vorher nirgendwo lernen können, wie man einen Review eigentlich macht. Da wollen sie natürlich keinen Fehler machen, um Himmels willen nichts Wichtiges übersehen oder vergessen. Ebenso möchten sie natürlich nicht als „zu sanft“ oder unkritisch erscheinen. Und in dem Zwang, all dies vor allem sich selbst beweisen zu müssen, verlieren sie irgendwann das rechte Maß — und schießen am Ende über das Ziel hinaus…“

Also eher junge aufgeregte Kläffer als bärbeißige graue Platzhirsche.

Paper-Einbruch

10. Juni 2013 von Laborjournal

Oft heißt es, heutzutage würden immer weniger Originalartikel tatsächlich gelesen. Wer dies jedoch noch halbwegs regelmäßig tut, dem dürfte es beim Paperlesen ziemlich sicher schon mal folgendermaßen gegangen sein:

Ein Paper fängt richtig stark an. In der Einleitung führt es ganz verschiedene Befunde äußerst eingängig zusammen und entwickelt dabei eine derart neue und originelle Perspektive, dass sich am Ende die zentrale Frage des Artikels überraschend klar und logisch herausschält. Dann der Ergebnisteil: Saubere Experimente mit allen denkbaren Kontrollen bringen mehr als genug Daten, um eine wasserdichte Statistik durchzuziehen. Drei, vier absolut überzeugende Abbildungen entstehen auf diese Weise. Die Schneise ist damit ins Dickicht geschlagen, der weitere Pfad liegt klar und hell vor einem. Gespannt wartet man als Leser nur noch auf den entscheidenden Clou…

… Doch völlig unvermittelt bricht das Paper ein. Die letzten zwei, drei Datensätze passen zwar irgendwie, lassen die Story aber auf der Stelle treten Diesen Beitrag weiterlesen »

„Da soll noch einer die Forschungsförderung verstehen…“

11. Dezember 2012 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. K. Eingeld, Applikatiologisches Institut Universität Unvollstädt.

LJ: Hallo, Herr Eingeld, schlechte Laune?

Eingeld: Allerdings.

LJ: Was ist passiert?

Eingeld: Antrag abgelehnt. Zum zweiten Mal.

LJ: Zweimal dasselbe Projekt?

Eingeld: Exakt.

LJ: Was lief schief?

Eingeld: Ach, beim ersten Mal waren alle Gutachter eigentlich begeistert. Jedenfalls von der Wissenschaft. Diesen Beitrag weiterlesen »

AutorenEditoren am Rande des Nervenzusammenbruchs (15)

17. Juli 2012 von Laborjournal

Veröffentlichungen sind das Brot des Forschers. Doch vor solch eine ordentliche Brotzeit hat die Community bekanntlich das Peer Review gesetzt. Und das verdirbt einem so manchen eingeplanten Schmaus.

„Rejected“ heißt das Wort, mit dem Gutachter den Forschern immer öfter den Appetit verderben. Und damit der Hunger nicht allzu groß wird, lassen letztere sich inzwischen zunehmend unlautere Mittel einfallen, um „was auf den Tisch“ zu bekommen.

Dazu gehören bekanntlich manipulierte Resultate, frisierte Bilder, abgekupferte Manuskripte und ähnliches mehr. Hin und wieder versucht aber jemand etwas völlig anderes — wie etwa in folgendem Fall, den ein Co-Editor jüngst dem Committee On Publication Ethics (COPE) meldete. Diesen Beitrag weiterlesen »

Von der Schadensbegrenzung bei Plagiaten

12. Mai 2011 von Laborjournal

Man könnte gerade denken, Plagiate gibt es hauptsächlich in den juristischen Doktorarbeiten irgendwelcher Politiker, die meinen, Ego und Rang dadurch aufpolieren zu müssen, indem sie wissenschaftliche Prinzipien mit Füßen treten. Doch nein, auch in der Biomedizin ist das „Spicken“ durchaus verbreitet. Man erinnere sich nur an den besonders dreisten Fall des „Publikators“ Bernhard Schaller (Laborjournal 9 (2005), S. 16-20 sowie hier und hier) oder diese fast schon witzige Geschichte.

Einen weiteren Fall beschreibt jetzt das US-amerikanische Committee on Publication Ethics (COPE) aus der Perspektive der Editoren eines Journals. Diesen Beitrag weiterlesen »