x
(Zeichnung entnommen aus „Forscher Ernst“ von Rafael Florés)
x
Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.
Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.
Denn was Peer Review leisten soll, ist doch vielmehr folgendes:
Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.
Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:
Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.
Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?
Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:
Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“
Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.
Während einer Recherche zum Thema Peer Review folgende nette Geschichte gehört:
Professor X erinnerte sich, wie er seinerzeit als Doktorand sein allererstes Manuskript abgeschickt hatte und nun aufgeregt auf den Bescheid des Journals wartete. Er kam schließlich mit drei Reviews. Zwei waren positiv, wenn auch mit einigen Änderungswünschen — Review No. 3 dagegen war ein Schlag in die Magengrube. Dass der Gutachter das Paper inhaltlich in tausend Fetzen zerriss, war das eine. Dazu kam das Wie. Reviewer No. 3 präsentierte seine Kritik in einem derart herablassend-aggressiven Ton, dass Jung-X zunächst einmal förmlich die Luft wegblieb. Es wimmelte darin geradezu vor Vokabeln wie „naiv“, „trivial“, „unangemessen“, „unvollständig“, „verirrt“, „Fehlschluss“, „schlampig“, „lächerlich“,…
Als er sich schließlich halbwegs von dem Schock erholt hatte, stieg Zorn in ihm hoch — und er begann, sich „das Arschloch“ vorzustellen. „Sicher so ein frustrierter alter Sack, kurz vor der Pensionierung“, dachte X. „Ein ergrautes, faltiges Alphatier, das Spaß daran hat, den Jungen nochmal so richtig zu zeigen, wo der Hammer hängt. Der ansonsten aber gerade darüber verbittert, dass seine Zeit nun endgültig bald vorbei ist. Da kommt ihm ein Manuskript von so einem kleinen Würstchen wie mir natürlich gerade recht, um all den Frust und die Verbitterung unerkannt, aber wirksam rauszulassen.“
X fand nie heraus, wer tatsächlich dieser „Reviewer No. 3“ war. Allerdings wurde er später selbst Editor und Chief Editor bei mehreren Zeitschriften. Und da gingen natürlich jede Menge weiterer solcher „Reviewer No. 3“-Gutachten über seinen Tisch. Nicht dass er gezielt danach geschaut hatte, aber irgendwann fiel ihm dabei auf, dass die meisten dieser „Reviewer No. 3“-Gutachten eben nicht von bärbeißigen alten Platzhirschen verfasst waren. Ganz im Gegenteil, vielmehr stammten sie auffallend oft aus den Federn junger Senior-Postdocs oder Nachwuchsgruppenleiter.
Gefragt, ob X dafür irgendeine Erklärung habe, antwortete er: „Ich glaube, es kommt von der Unerfahrenheit und Unsicherheit. Die Leute kriegen teilweise ihr erstes Manuskript auf den Tisch — und haben vorher nirgendwo lernen können, wie man einen Review eigentlich macht. Da wollen sie natürlich keinen Fehler machen, um Himmels willen nichts Wichtiges übersehen oder vergessen. Ebenso möchten sie natürlich nicht als „zu sanft“ oder unkritisch erscheinen. Und in dem Zwang, all dies vor allem sich selbst beweisen zu müssen, verlieren sie irgendwann das rechte Maß — und schießen am Ende über das Ziel hinaus…“
Also eher junge aufgeregte Kläffer als bärbeißige graue Platzhirsche.
Oft heißt es, heutzutage würden immer weniger Originalartikel tatsächlich gelesen. Wer dies jedoch noch halbwegs regelmäßig tut, dem dürfte es beim Paperlesen ziemlich sicher schon mal folgendermaßen gegangen sein:
Ein Paper fängt richtig stark an. In der Einleitung führt es ganz verschiedene Befunde äußerst eingängig zusammen und entwickelt dabei eine derart neue und originelle Perspektive, dass sich am Ende die zentrale Frage des Artikels überraschend klar und logisch herausschält. Dann der Ergebnisteil: Saubere Experimente mit allen denkbaren Kontrollen bringen mehr als genug Daten, um eine wasserdichte Statistik durchzuziehen. Drei, vier absolut überzeugende Abbildungen entstehen auf diese Weise. Die Schneise ist damit ins Dickicht geschlagen, der weitere Pfad liegt klar und hell vor einem. Gespannt wartet man als Leser nur noch auf den entscheidenden Clou…
… Doch völlig unvermittelt bricht das Paper ein. Die letzten zwei, drei Datensätze passen zwar irgendwie, lassen die Story aber auf der Stelle treten Diesen Beitrag weiterlesen »
Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. K. Eingeld, Applikatiologisches Institut Universität Unvollstädt.
LJ: Hallo, Herr Eingeld, schlechte Laune?
Eingeld: Allerdings.
LJ: Was ist passiert?
Eingeld: Antrag abgelehnt. Zum zweiten Mal.
LJ: Zweimal dasselbe Projekt?
Eingeld: Exakt.
LJ: Was lief schief?
Eingeld: Ach, beim ersten Mal waren alle Gutachter eigentlich begeistert. Jedenfalls von der Wissenschaft. Diesen Beitrag weiterlesen »
Veröffentlichungen sind das Brot des Forschers. Doch vor solch eine ordentliche Brotzeit hat die Community bekanntlich das Peer Review gesetzt. Und das verdirbt einem so manchen eingeplanten Schmaus.
„Rejected“ heißt das Wort, mit dem Gutachter den Forschern immer öfter den Appetit verderben. Und damit der Hunger nicht allzu groß wird, lassen letztere sich inzwischen zunehmend unlautere Mittel einfallen, um „was auf den Tisch“ zu bekommen.
Dazu gehören bekanntlich manipulierte Resultate, frisierte Bilder, abgekupferte Manuskripte und ähnliches mehr. Hin und wieder versucht aber jemand etwas völlig anderes — wie etwa in folgendem Fall, den ein Co-Editor jüngst dem Committee On Publication Ethics (COPE) meldete. Diesen Beitrag weiterlesen »
Man könnte gerade denken, Plagiate gibt es hauptsächlich in den juristischen Doktorarbeiten irgendwelcher Politiker, die meinen, Ego und Rang dadurch aufpolieren zu müssen, indem sie wissenschaftliche Prinzipien mit Füßen treten. Doch nein, auch in der Biomedizin ist das „Spicken“ durchaus verbreitet. Man erinnere sich nur an den besonders dreisten Fall des „Publikators“ Bernhard Schaller (Laborjournal 9 (2005), S. 16-20 sowie hier und hier) oder diese fast schon witzige Geschichte.
Einen weiteren Fall beschreibt jetzt das US-amerikanische Committee on Publication Ethics (COPE) aus der Perspektive der Editoren eines Journals. Diesen Beitrag weiterlesen »