Soll Peer Review Fälschung aufdecken?

July 17th, 2015 von Ralf Neumann

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit “sehenden Augen” die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen “Unterstützen die Daten tatsächlich die Schlussfolgerungen?” oder “Sind womöglich noch andere Interpretationen der Daten möglich?”;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich “alter Wein in neuen Schläuchen” präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese “Vor-Einstellung” ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‘Do the data support the conclusions?’ comes more naturally than ‘Did this guy simply make this up?’ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.”

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Institutionen mit auf die Anklagebank

July 22nd, 2014 von Kommentar per Email

(Unser Autor Leonid Schneider plädiert in folgendem Text für härtere Bestrafung bei vorsätzlicher Forschungsfälschung.)

Die Wissenschaft hat ein zunehmendes Glaubwürdigkeitsproblem. Immer mehr, zum Teil sehr hochkarätige Publikationen werden zurückgezogen oder von Kollegen öffentlich angezweifelt. Man siehe etwa nur die Retractions der beiden Nature-Paper über die märchenhaften STAP-Zellen

Die Gründe sind leider eher selten, wie oft von Autoren behauptet, „ehrliche Fehler“, sondern gravierende Datenmanipulationen, die nur mit Vorsatz zu erklären sind. Damit gerät die Glaubwürdigkeit der Wissenschaft in Gefahr — folglich muss etwas getan werden, um den Pfuschern in der Forschung das Handwerk zu legen.

Gewisse Lösungsvorschläge gehen bereits in die richtige Richtung. Read the rest of this entry »

Bandenspuren

July 2nd, 2014 von Ralf Neumann

Eine der “beliebtesten” Methoden der Datenfälschung in Forschungsartikeln ist das mehrfache Kopieren und Einsetzen derselben Gelbanden. Man nimmt eine besonders schöne Bande, kopiert sie — und fügt sie in weiteren Gelpuren dort ein, wo im Original entweder keine oder wenigstens keine besonders eindrucksvollen Banden waren. Um die ganze Betrügerei zu tarnen, werden die kopierten Banden oftmals zuvor in Photoshop noch leicht verzerrt, im Kontrast verändert, vertikal und horizontal gespiegelt oder anders manipuliert.

Womit man den Kopierern jedoch weiterhin auf die Spur kommen kann, sind die spezifischen Gel- oder Scanfehler, die sich in den jeweiligen Banden geradezu diagnostisch widerspiegeln. Die inzwischen weithin berüchtigte Fälschungsjägerin (oder -jäger), die sich hinter dem Pseudonym Clare Francis verbirgt, machte uns beispielsweise kürzlich auf diesen Gelausschnitt aufmerksam (auf das Bild klicken für eine vergrößerte Version):

Sofort fällt auf, dass die Banden 1, 3 , 5 und 7, wie auch die Banden 2, 4 und 6 formgleich sind. Solche nahezu deckungsgleichen Formen können bis zu einer gewissen Grenze natürlich dadurch entstehen, dass ähnliche Proben unter identischen Laufbedingungen im gleichen Gel liefen. Jetzt schauen wir uns aber die Banden 2, 4 und 6 mal genauer an. Vor allem in der vergrößerten Version erkennt man, dass jede einzelne am rechten oberen Rand einen auffälligen weißen Punkt an exakt der gleichen Stelle enthält (es gibt noch mindestens einen weiteren, nicht ganz so auffälligen rechts von der Mitte). Solche “Punkte” haben nun rein gar nichts mit den physikalischen Laufbedingungen des Gels zu tun, sondern resultieren entweder aus lokalen “Gelfehlern” (etwa eingeschlossenen Partikeln oder Luftblasen) oder aus wiederum lokalen Störungen im Gelscan. Dass solche streng lokalen Ereignisse zufälligerweise und völlig unabhängig voneinander dreimal ein und denselben “weißen Punkt” in drei sowieso schon formidentischen Banden verursachen — dafür dürfte die Wahrscheinlichkeit praktisch Null sein.

Clare Francis’ Urteil ist klar: Diese Abbildung wurde durch multiple Bandenduplikation manipuliert. Und wir finden dafür ehrlich gesagt auch keine andere Erklärung. Vielleicht jemand anders?

(Übrigens geben wir hier bewusst nicht preis, aus welcher Veröffentlichung der gezeigte Gelausschnitt stammt. Wir werden zunächst die Autoren und das betreffende Journal um Stellungnahmen zu den “Befunden” ersuchen.)

Und auch auf die Gefahr hin, Fälschungswillige weiter zu motivieren: Leider lassen sich mit ein bisschen mehr Photoshop-Arbeit auch die Formähnlichkeit der Banden und solche verräterischen Störungsmuster leicht beseitigen. Traurig, aber wahr. Wer weiß, in wie vielen Publikationen auf diese Weise bereits effektiv “alle Spuren verwischt” wurden.

“Da war doch mal was…?”

June 5th, 2014 von Ralf Neumann

Als Laborjournalist hat man immer wieder seinen Spaß mit Pressemitteilungen.

Zum Beispiel die Meldung “Professur in Adipositas-Chirurgie wieder besetzt”, die die Universität Leipzig am 20. Mai 2014 veröffentlichte. Darin liest man:

Im Mai hat die Universität Leipzig Prof. Dr. Arne Dietrich die Professur für Bariatrische Chirurgie am Integrierten Forschungs- und Behandlungszentrum (IFB) AdipositasErkrankungen […das schreiben die tatsächlich ohne Leerzeichen zusammen…] übertragen. Der 48-jährige Sachse leitet bereits die Sektion für Bariatrische Chirurgie am Universitätsklinikum Leipzig. Zusammen mit der im Januar 2014 verliehenen Zertifizierung als Kompetenzzentrum für Adipositaschirurgie ist die Neubesetzung eine weitere Profilierung der Adipositas-Chirurgie in der Universitätsmedizin Leipzig. Die Professur für bariatrische Chirurgie am IFB wurde bereits 2010 als die deutschlandweit erste geschaffen.

Beim letzten Satz mussten wir endgültig schmunzeln. Die Uni Leipzig vergisst also nicht, die Einrichtung einer Professur für bariatrische Chirurgie als eigene Pioniertat zu rühmen und sich somit gleichsam mit der Aura des weitsichtigen Vorreiters zu umgeben. Was sie jedoch geflissentlich weglässt, ist, dass sie damals jemanden auf die “Pionier-Professur” berief, der sich kurze Zeit später als schamloser Betrüger entpuppte: Edward Shang.

In nahezu allen Pressemeldungen vergleichbaren Inhalts folgt irgendwann der Standardsatz: “Er tritt damit die Nachfolge von Professor XY an, der…” Hier jedoch nichts dergleichen. Holen wir es also nach:

“Dietrich tritt damit die Nachfolge von Edward Shang an, der 2012 überführt wurde, dass er bereits während seiner Anstellung am Universitätsklinikum Mannheim der Uni Heidelberg etliche Studiendaten frei erfunden hatte. Konsequenterweise wurden einige von Shangs Artikeln zurückgezogen, die Universität Leipzig trennte sich bereits im Mai 2012 wieder von ihm, und die Universität Heidelberg entzog ihm die Lehrbefugnis.”

(Shang arbeitet heute übrigens an der Chirurgischen Klinik Dr. Rinecker in München.)

Die Uni Leipzig hat damals nichts falsch gemacht und in der “Shang-Panne” auch ungewohnt zügig gehandelt. Umso weniger sollte sie den Fall heute derart selektiv verschweigen müssen und gleichsam darauf hoffen, dass sich keiner mehr richtig an Shang erinnert — den Mann, den dieselbe Pressestelle bei Amtsantritt 2010 noch augenzwinkernd als “Professor der dicken Bäuche” vorstellte.

Forscher-Netzwerke als Frühwarnsystem

March 26th, 2013 von Ralf Neumann

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. O. Dor, Sentiologisches Institut Forschungszentrum Witterberg.

LJ: Ah, Herr Professor Dor — gut, dass ich Sie treffe. Die jüngsten Datenfälschungen von ihrem Kollegen R.A. Dier betreffen doch direkt Ihre eigene Forschung. Wie groß ist der Schaden?

Dor: Schaden? Wir haben keinen Schaden.

LJ: Ja, aber Diers Daten waren doch getürkt. Sind die nicht irgendwie in ihre eigenen Projekte eingeflossen? Schließlich bildeten sie die Grundlage für einen ganzen Teil ihres eigenen Feldes.

Dor: Kann sein. Aber für uns waren sie nicht relevant.

LJ: Entschuldigung, aber das verstehe ich nicht wirklich. Das müssen Sie mir erklären?

Dor: Ganz einfach — wir haben es einfach vermieden, auf Diers Daten aufzubauen. Und wenn es doch Berührungspunkte gab, haben wir die Sachen erst einmal bei uns im Labor selbst verifiziert.

LJ: Das haben andere aber sicher nicht getan?

Dor: Doch. Die meisten, die ich kenne, haben genau das getan.

LJ: Das klingt ja, als hätten sie Diers Daten schon vorher nicht getraut.

Dor: Exakt. Read the rest of this entry »

Ein Springschwanz von Photoshops Gnaden

December 29th, 2012 von Ralf Neumann

Erfundene Banden oder Kurven, fabrizierte Signale in Gewebeschnitten — alles schon erlebt in wissenschaftlichen Veröffentlichungen. Aber ein komplett “konstruiertes” Bild von einem Tier?

Der Autor des Blogs Neuroskeptic beschreibt jedenfalls solch einen mutmaßlichen Fall. Demnach präsentierten amerikanische und rumänische Forscher um Erstautorin Deborah Altschuler im Jahr 2004 Bilder, die angeblich erstmals zeigten, dass Springschwänze (Collembola) tatsächlich parasitisch unter der menschlichen Haut leben können. Zusätzliche Brisanz erhielt der entsprechende Bericht dadurch, dass die Hautproben allesamt von Menschen stammten, bei denen zuvor ein psychotischer Dermatozoenwahn diagnostiziert worden war. War es demnach schließlich doch keine krankhafte Einbildung, dass unter ihrer Haut massenweise juckendes Ungeziefer krabbelt?

Das Paper war schon damals wegen methodischer Unzulänglichkeiten höchst umstritten und basierte vor allem auf folgender Abbildung:

 

Wie darin beschrieben, konnten die Autoren den Springschwanz offenbar erst nach selektiver Kontrastbearbeitung des Mikroskopiebildes richtig sichtbar machen.  Read the rest of this entry »

Silvia Bulfone-Paus und die wilde 13

December 13th, 2011 von Ralf Neumann

Zwölf Publikationen der Immunologin Silvia Bulfone-Paus vom Forschungszentrum Borstel sind wegen manipulierter Daten bereits zurückgezogen (siehe auch Laborjournal 7-8/2011, S. 16 ff. und 21). Jetzt kam mit dem 2000er-Paper “An Interleukin-2-IgG-Fas Ligand Fusion Protein Suppresses Delayed-Type Hypersensitivity in Mice by Triggering Apoptosis in Activated T Cells as a Novel Strategy for Immunosuppression” in Transplantation (vol. 69: 1386-91) nochmals eine hinzu.

In der Retraction Note heißt es etwas spärlich:

The Editors and Publisher retract the article by Bulfone-Paus et al. published in Transplantation (Vol. 69, pp. 1386–1391, April 15, 2000) because of the inaccurate information provided for Figures 4 and 5.

Jörg Zwirner wies bereits im Juni in seinem Abnormal Science Blog darauf hin, dass Teile der Fig. 5 offenbar 1:1 aus einer früheren Erstautor-Publikation von Silvia Bulfone-Paus in Nature Medicine (Nat Med. 1997; 3: 1124-8) übernommen wurden — obwohl die betreffenden Experimente angeblich in verschiedenen Mäusestämmen durchgeführt wurden. Über Fig. 4 schrieb er damals nicht.

Diese “Nummer 13” ist allerdings noch aus einem ganz anderen Grund “wild”. Read the rest of this entry »

Photoshopping Papers

September 23rd, 2011 von Ralf Neumann

Es kann einem schon angst und bange werden, wenn man sich anschaut, was die japanische Seite http://blog.m3.com/Retraction derzeit an offensichtlich manipulierten Paper-Abbildungen aufdeckt. Beinahe täglich (ja, wirklich!) stöbern deren Autoren “dubiose Machenschaften” wie diese auf:

Auch ohne japanische Schrift lesen zu können, müsste klar sein, wie die Autoren hier ihre Abbildung frisiert haben — oder?

Anderes Beispiel: Read the rest of this entry »

“Bulfone-Paus-Fall” wächst und wächst…

June 13th, 2011 von Ralf Neumann

(Update vom 15.6.2011: Zum Paper Blood. 2010; 116: 2665-75 wurde eine “Correction” veröffentlicht. Die Editoren kamen offenbar zu dem Schluss, dass die duplizierte Abbildung keine Fälschung darstellt, sondern vielmehr durch ein Versehen zustande kam. Mehr am Ende des Beitrags.)

Zwölf Publikationen musste Silvia Bulfone-Paus vom Forschungszentrum Borstel bislang wegen offensichtlicher Datenmanipulation zurückziehen. Nun distanzieren sich auch externe Ko-Autoren von Bulfone-Paus Artikeln, die bisher noch nicht zurückgezogen sind.

Nachdem bereits ein weiteres 99er-Paper in Blood (Band 93 (10):  3531-9) von den Editoren auf Manipulationen untersucht wird, sind nun nochmal drei Artikel der Bosteler Immunologin unter Verdacht geraten: Transplantation. 2000; 69: 1386-91 (mehr siehe hier), J. Immunol. 2009; 183: 3004-13 (mehr siehe hier) und zuletzt Blood. 2010; 116: 2665-75 (mehr siehe hier).

Dass die erneuten Vorwürfe durchaus Substanz enthalten, illustriert die Mail eines Ko-Autors des letztgenannten Papers, die unserer Redaktion vorliegt. Read the rest of this entry »

Selbst ist die Frau!

June 3rd, 2011 von Ralf Neumann

Milena Penkowa: Spitzenwert bei Selbstzitierungen

So langsam sprießen die Fälle bzw. Neuigkeiten zu wissenschaftlichem Fehlverhalten schneller aus dem Morast als wir sie pflücken können. Gerade noch Silvia Bulfone-Paus und Carsten Carlberg, gestern Peter Zabel — und jetzt gibt’s schon wieder Neues zur Dänin Milena Penkowa.

Die 37-jährige Neurowissenschaftlerin gehörte zu den Shooting Stars der dänischen Forschung. Bis im Januar Nature titelte: Fraud investigation rocks Danish university. Bereits im Monat zuvor war Penkowa von ihrer Stelle an der Universität zurückgetreten, da sie unter dem dringendem Verdacht der Datenfälschung wie auch der Veruntreuung von Forschungsgeldern stand.

Mehr dazu stand damals in Lab Times. Deutlich detaillierter (und auch zynischer) brachte UniversityPost, die Zeitschrift der Universität Kopenhagen, die ganze Geschichte — Titel: Penkowa for dummies.

Wie so viele Fälle von Fälschungsverdacht wartet jedoch nun auch dieser zähflüssig auf seine endgültige Aufklärung. Doch während man noch wartet, hat sich der Kopenhagener Geophysiker Peter Riisager mal Frau Penkowas Publikationen näher angeschaut — beziehungsweise, wer sie denn so alles zitiert. Read the rest of this entry »

a_lj_wp_4_5


a_lj_wp_5_5


a_lj_wp_6_5


a_lj_wp_7_5