Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Laborjournal

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Bild unter Verdacht (1)

5. Mai 2015 von Laborjournal

Seit jeher erhält Laborjournal Hinweise auf mögliche Manipulationen in Paper-Abbildungen. In den letzten Monaten haben diese jedoch auffällig zugenommen. Grund genug, ab jetzt einige der verdächtigen Abbildungen anonymisiert hier im Blog zu präsentieren — und zu fragen, ob an dem Manipulationsverdacht tatsächlich etwas dran sein könnte. Oder eben nicht.

Den Anfang machen wir mit folgendem Ausschnitt aus der Abbildung eines gewissen 2007er-Papers:

Der Verdacht:

(1) Das unterste Western-Blot-Panel scheint eine vertikal gespiegelte Kopie des obersten zu sein, obwohl beide natürlich zwei verschiedene Experimente darstellen sollen. Neben der Ähnlichkeit der Bandenformen besonders starkes Indiz für eine unzulässige Duplikation: Der helle, vertikale „Störungsstreifen“ (roter Pfeil) durch die zweite Bande von rechts (oben) beziehungsweise die zweite Bande von links (unten).

(2) Zudem scheint das zweite Panel von unten eine Kopie des zweiten Panels von oben zu sein – allerdings wurden hier offenbar die Banden des oberen Panels zusätzlich noch in der Breite gestreckt sowie in der Höhe gestaucht. Besonders „entlarvend“ für die mutmaßliche Kopie scheinen auch hier wiederum die unspezifischen Störungen zu sein — konkret die Dreckpunkte (blaue Pfeile), die sich relativ zu den Banden jeweils an denselben Stellen befinden.

Die Frage:

Sind die Panels womöglich wirklich in der beschriebenen Weise dupliziert worden? Oder gibt es stattdessen andere, „angenehmere“ Erklärungen für die Auffälligkeiten?

x

Komische Kommentarauswahl bei PubPeer

30. April 2015 von Laborjournal

Nicht nur unser Autor Leonid Schneider macht gerade so seine Erfahrungen mit der Paper-Diskussionsplattform PubPeer (siehe hier und hier). Meine eigenen letzten Erlebnisse dort fand ich allerdings gar nicht prickelnd. Und das kam so:

In den letzten Wochen postete ich insgesamt drei Kommentare als „Unregistered Submission“ auf PubPeer. (Als „Peer“ kann ich mich dort nicht anmelden, da hierfür eine Instituts-Emailadresse verlangt wird, die ich als Laborjournalist nun mal nicht habe.) Laut eigener Aussage prüfen die PubPeer-Betreiber zunächst alle Beiträge, die als „Unregistered Submission“ hereinkommen — und versprechen deren baldige Publikation, sofern sie keine persönlichen Beleidigungen enthalten.

Von meinen drei eingereichten Kommentaren erschien genau einer — und dies sehr schnell. Die anderen beiden erschienen bis heute nicht. Jetzt ist ein Schelm, wer Böses dabei denkt, dass es ausgerechnet der „negative“ Beitrag war, den PubPeer publizierte. In diesem hatte ich mögliche Duplikationen von Gelbanden, die zudem noch durch Spiegeln, Zerren und Stauchen der Banden-Bilder getarnt wurden, zur Diskussion gestellt. (Wer es genauer wissen will, siehe hier. Leider hat dann niemand weiter mitdiskutiert, obwohl es sich für mich um einen klaren Fall von Manipulation handelt.)

Die anderen beiden Kommentare waren dagegen „positive“ Beiträge, in denen ich Argumente vorstellte, warum gewisse, von anderen der Manipulation verdächtigten Abbildungen meiner Meinung nach falschen Alarm darstellten. Diesen Beitrag weiterlesen »

Vertrauen ist gut, Kontrollen sind uncool

28. April 2015 von Laborjournal

(Auf der Paper-Debattier-Plattform PubPeer entwickeln sich bisweilen besorgniserregende Diskussionen. In eine davon war unlängst unser Autor Leonid Schneider verwickelt. Hier sein Bericht.)

————————-

Kürzlich konnte ich bei einer Diskussion auf dem Publikations-Debattier-Portal PubPeer wieder einmal Erstaunliches lernen. Im Rahmen der Manipulationsverdächtigungen gegen den Zürcher Pflanzenforscher Olivier Voinnet wurde dort unter anderem auch diese Abbildung aus der Publikation Gibbings et al. in Nature Cell Biology 14:1314-21 diskutiert:

 

Der „Kritiker“ schrieb dazu:

TUBA and EF1A are not from the same gel; same molecular weight but different „curving/tilitng“ of the bands.

Was nichts anderes heißt, als dass die Banden der Ladungskontrolle einen ganz anderen Verlauf haben als diejenigen eines anderen gezeigten Proteins, obwohl beide Proteine ungefähr das gleiche Molekulargewicht haben. Und dies deutet wiederum klar darauf hin, dass die Ladungskontrolle von einem ganz anderen Gel oder einer anderen Membran kommt als das Protein, dessen gleiche Beladung sie bescheinigen sollte.

Tatsächlich hat diesen Befund auch niemand auf PubPeer bestritten. Stattdessen jedoch fragten manche, wo denn hier bitte überhaupt das Problem sei. Diesen Beitrag weiterlesen »

Plötzlich stand ich in PubPeer

21. April 2015 von Laborjournal

(Unser Autor Leonid Schneider berichtet bevorzugt über Fälle wissenschaftlichen Fehlverhaltens — zuletzt etwa über den „Fall“ des Zürcher Pflanzenforschers Olivier Voinnet. Jetzt wurden plötzlich zwei Erstautor-Publikationen aus dessen Doktorandenzeit selbst der unsauberen Datenpräsentation verdächtigt. Hier seine Erfahrungen und Lehren aus dem eigenen Fall.)  

——————————–

Leonid Schneider hat in seinen wissenschaftlichen Publikationen betrogen und Daten manipuliert. Das müssen sich viele gedacht haben, die neulich auf dem Internetportal PubPeer die aktuellsten Kommentare abriefen.  Plötzlich stand dort in anonymen Kommentaren, dass ich damals als Doktorand in Düsseldorf womöglich Western-Blot-Banden unzulässig gespleißt oder gar wegretuschiert hätte (siehe Abbildungen am Ende des Texts).

Als ich das sah, habe ich mich natürlich erschrocken. Nein, nicht weil ich erwischt wurde. Als Erstautor habe ich bei diesen beiden Publikationen (J Biol Chem; 282(40):29273-83 und Oncogene; 27(1):116-25) und auch in fast allen anderen Werken die meisten oder gar alle Daten selbst produziert und kann jederzeit dafür gerade stehen. Erschrocken habe ich mich, weil ich inzwischen die Originaldaten nicht mehr besitze, um hier noch etwas beweisen zu können. Das heißt, mein damaliger Chef müsste sie zwar noch haben, aber beruhigt hat es mich nicht unbedingt. Damit hatte ich also dieselbe faule Ausrede anzuführen wie die vielen anderen, denen man, zum Teil auch zu Recht, Datenmanipulation vorwirft: die Originaldaten seien leider nicht mehr auffindbar.

Ich hatte aber Glück. Diesen Beitrag weiterlesen »

„Darum trauen wir deutschen Veröffentlichungen nicht“

16. März 2015 von Laborjournal

Eigentlich wollte unser Autor Leonid Schneider im Rahmen einer Artikel-Recherche nur ein paar spezifische Informationen. Doch sein Adressat, immerhin Direktor an einem Edel-Institut der amerikanischen Westküste, holte nebenbei gleich mal zu folgendem Rundumschlag gegen deutsche Postdocs aus:

In general, since you are journalist: I admire your investigative efforts. But you have to know that it was widely known that German postdocs did everything they could to get as many papers as possible published because of the pathological promotion system in Germany that puts so much insane pressure on scientists to have large numbers of papers. This led sadly to sacrificing the truth. That is why we do not trust German papers from authors with suspiciously large numbers of papers. This is an open secret.

Wir haben erstmal geschluckt. Ist der Ruf deutscher Postdocs und Paper im Ausland tatsächlich so schlecht?

Ist doch egal, wer — die Sache zählt!

20. Februar 2015 von Laborjournal

(In dieser Antwort auf den Beitrag „Leidige Praxisprobleme“ vom 13. Februar verteidigt unser Autor Leonid Schneider das Prinzip der anonymen Kommentare auf der Post-Publikation-Review-Plattform PubPeer.)

————-

Früher hieß es: Es ist publiziert, also stimmt es! Oft beendete man noch jegliche kritische Diskussion mit den Argumenten des Peer-Review und des Journal-Impaktfaktors. Den Grund dafür, dass publizierte Versuchsergebnisse im eigenen Labor nicht zu reproduzieren waren, suchte man dann ausschließlich bei sich selbst.

Nun kann sich jeder Jungwissenschaftler sofort über die Webseite PubPeer eine darüber hinausgehende Meinung bilden. Denn auch was in Nature, Cell und Science steht, muss man nicht unbedingt treudoof glauben. Unbeantwortete, aber plausible öffentliche Anschuldigungen der Daten-Unzulänglichkeit in einem Paper können schon an dessen Glaubwürdigkeit und Verlässlichkeit rütteln. Endlich geht es dann um Evidenz statt Eminenz — und das ist auch gut so.

Trotz diverser Kinderkrankheiten hat das junge Internetportal PubPeer bereits jetzt einen enormen Beitrag zur Richtigstellung der wissenschaftlichen Literatur geleistet. Sie beherbergt inzwischen doch einige Beispiele, wo Fehler oder auch potenzielle Manipulationen in der Fachliteratur öffentlich und mit Bildbelegen aufgedeckt wurden. Ständig kommen neue dazu. Die Bild-Duplikationen in Shoukhrat Mitalipovs Cell-Paper (Vol. 153(6): 1228-38), das übrigens ohne Peer-Review erschien, wurden in PubPeer erstmals angeprangert — was später zu einer umfassenden und peinlichen Korrektur führte. Die Manipulationen in einem der größten Forschungsskandale der letzten Zeit um die sogenannten STAP-Stammzellen wurden vor allem durch PubPeer bekannt.

Die Bedeutung von PubPeer wird daher immer mehr Wissenschaftlern bewusst. Immer mehr nehmen sie zu den sie selbst betreffenden Kommentaren und Vorwürfen Stellung — dies im Übrigen mal mehr, mal weniger überzeugend. Diesen Beitrag weiterlesen »

So viel Schlamperei?

6. Februar 2015 von Laborjournal

Auszug aus dem Corrigendum eines Nature-Artikels:

We introduced two errors (by inadvertently removing five data points, two from the wild type and three from Ripk2-/-) into this figure when we were asked to provide a higher-resolution version at the production stage.

Auszug aus dem Corrigendum eines Nucleic Acid Research-Artikels:

The LSD1 panels were inadvertently duplicated on the construction of Figure 4D.

Auszug aus dem Corrigendum eines Froniers in Human Neuroscience-Artikels:

A small part of the data on five of the 43 patients was accidentally displaced in the data file, which affected two of the results presented in the original manuscript.

Auszug aus dem Erratum eines Cell-Papers:

[…] the panel for DMSO control (0.1% apoptosis) was misplaced in the next panel for Y-27632-treated control (0.3% apoptosis).

Auszug aus dem Erratum eines Nature Communications-Artikels:

This Article contains errors in Figs 4 and 6 that were introduced during the production process. In Fig. 4d, the lane labels ‘HA-JMJD2B mut’ and ‘HA-JMJD2B’ on the western blot were inadvertently switched. In Fig. 6b,c, labels for the red and green lines were also accidentally swapped.

Ohne Probleme ließen sich dieser Liste der „inadvertent and accidental errors, duplications and misplacements“ jede Menge weitere Beispiele anfügen. Insbesondere in den letzten Jahren haben Corrections und Errata massiv zugenommen — und auffallend oft bezichtigen sich die Forscher darin selbst solcher versehentlicher Schlampereien. Diesen Beitrag weiterlesen »

Institutionen mit auf die Anklagebank

22. Juli 2014 von Kommentar per Email

(Unser Autor Leonid Schneider plädiert in folgendem Text für härtere Bestrafung bei vorsätzlicher Forschungsfälschung.)

Die Wissenschaft hat ein zunehmendes Glaubwürdigkeitsproblem. Immer mehr, zum Teil sehr hochkarätige Publikationen werden zurückgezogen oder von Kollegen öffentlich angezweifelt. Man siehe etwa nur die Retractions der beiden Nature-Paper über die märchenhaften STAP-Zellen

Die Gründe sind leider eher selten, wie oft von Autoren behauptet, „ehrliche Fehler“, sondern gravierende Datenmanipulationen, die nur mit Vorsatz zu erklären sind. Damit gerät die Glaubwürdigkeit der Wissenschaft in Gefahr — folglich muss etwas getan werden, um den Pfuschern in der Forschung das Handwerk zu legen.

Gewisse Lösungsvorschläge gehen bereits in die richtige Richtung. Diesen Beitrag weiterlesen »

Bandenspuren

2. Juli 2014 von Laborjournal

Eine der „beliebtesten“ Methoden der Datenfälschung in Forschungsartikeln ist das mehrfache Kopieren und Einsetzen derselben Gelbanden. Man nimmt eine besonders schöne Bande, kopiert sie — und fügt sie in weiteren Gelpuren dort ein, wo im Original entweder keine oder wenigstens keine besonders eindrucksvollen Banden waren. Um die ganze Betrügerei zu tarnen, werden die kopierten Banden oftmals zuvor in Photoshop noch leicht verzerrt, im Kontrast verändert, vertikal und horizontal gespiegelt oder anders manipuliert.

Womit man den Kopierern jedoch weiterhin auf die Spur kommen kann, sind die spezifischen Gel- oder Scanfehler, die sich in den jeweiligen Banden geradezu diagnostisch widerspiegeln. Die inzwischen weithin berüchtigte Fälschungsjägerin (oder -jäger), die sich hinter dem Pseudonym Clare Francis verbirgt, machte uns beispielsweise kürzlich auf diesen Gelausschnitt aufmerksam (auf das Bild klicken für eine vergrößerte Version):

Sofort fällt auf, dass die Banden 1, 3 , 5 und 7, wie auch die Banden 2, 4 und 6 formgleich sind. Solche nahezu deckungsgleichen Formen können bis zu einer gewissen Grenze natürlich dadurch entstehen, dass ähnliche Proben unter identischen Laufbedingungen im gleichen Gel liefen. Jetzt schauen wir uns aber die Banden 2, 4 und 6 mal genauer an. Vor allem in der vergrößerten Version erkennt man, dass jede einzelne am rechten oberen Rand einen auffälligen weißen Punkt an exakt der gleichen Stelle enthält (es gibt noch mindestens einen weiteren, nicht ganz so auffälligen rechts von der Mitte). Solche „Punkte“ haben nun rein gar nichts mit den physikalischen Laufbedingungen des Gels zu tun, sondern resultieren entweder aus lokalen „Gelfehlern“ (etwa eingeschlossenen Partikeln oder Luftblasen) oder aus wiederum lokalen Störungen im Gelscan. Dass solche streng lokalen Ereignisse zufälligerweise und völlig unabhängig voneinander dreimal ein und denselben „weißen Punkt“ in drei sowieso schon formidentischen Banden verursachen — dafür dürfte die Wahrscheinlichkeit praktisch Null sein.

Clare Francis‘ Urteil ist klar: Diese Abbildung wurde durch multiple Bandenduplikation manipuliert. Und wir finden dafür ehrlich gesagt auch keine andere Erklärung. Vielleicht jemand anders?

(Übrigens geben wir hier bewusst nicht preis, aus welcher Veröffentlichung der gezeigte Gelausschnitt stammt. Wir werden zunächst die Autoren und das betreffende Journal um Stellungnahmen zu den „Befunden“ ersuchen.)

Und auch auf die Gefahr hin, Fälschungswillige weiter zu motivieren: Leider lassen sich mit ein bisschen mehr Photoshop-Arbeit auch die Formähnlichkeit der Banden und solche verräterischen Störungsmuster leicht beseitigen. Traurig, aber wahr. Wer weiß, in wie vielen Publikationen auf diese Weise bereits effektiv „alle Spuren verwischt“ wurden.

Information 1


Information 2


Info

Info

Info

Neuer Mehrfachdispenser von BRAND: Das moderne Touch-Bedienkonzept macht die Arbeit einfach und effizient. mehr

Info

Info

Bestellen Sie noch heute Ihr kostenfreies Exemplar. mehr

Info

Info

Der Eppendorf Online Shop bietet für jedes Labor das passende Produkt, viele Aktionen inklusive. mehr

Info

Info

Gewinnen Sie einen VIAFILL Reagenziendispenser einschließlich einer Dispensierkassette Ihrer Wahl. mehr

Info

Info

Präsentieren Sie Ihre wissenschaftlichen Ergebnisse und treten Sie in den Austausch mit Forscherkollegen. mehr