Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Laborjournal

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Bei Betrugsverdacht: Bunt ist besser!

4. Februar 2014 von Laborjournal

Wir hatten ja bereits hier und hier über die Unsitte der „Flickschuster-Gele“ geschrieben — Gele also, die virtuell aus den Spuren verschiedener Gele zusammengeflickt werden, um auf diese Weise das Ergebnis ein und desselben Experiments vorzutäuschen.

Komplett skrupellose Subjekte nutzen bei solchen Machenschaften die ein oder andere „besonders schöne“ Spur gar mehrfach im gleichen Gel — und verkaufen sie gleichwohl als Laufergebnisse verschiedener Proben. Das ist Fälschung und Betrug, ganz klar. Allerdings ist dieser nicht leicht nachzuweisen, da ähnliche Proben durchaus nahezu identische Banden- und Laufmuster liefern können.

Einen schnellen und einfachen Weg, wie jeder einen entsprechenden Verdacht auf „wundersame Spurenvermehrung“ zumindest vortesten könne, beschrieb kürzlich ein Kommentator in diesem Beitrag auf der Post-Publication-Peer-Review-Plattform PubPeer. Dessen Verdacht erregte folgende Gel-Abbildung:

Der Kommentator, der in dem Beitrag schlicht als „Peer 2“ auftritt, hatte die Abbildung des Gels zuvor in seinen Photoshop geladen — und zunächst einfach mal den Kontrast verstärkt. Die rote Dachzeile nennt das Zwischenergebnis: Die „Spleißnähte“ der zusammengeschusterten Gelspuren treten deutlich hervor.

Aber es geht noch weiter! Anschließend brachte „Peer 2“ Farbe in den Ausschnitt mit den verdächtigen Banden 11-18 — und zwar mit Hilfe eines Photoshop-Tools namens „Gradient Map“. Das Ergebnis sieht so aus:

(Hier klicken für beide Bilder in größerer Auflösung!)

Behauptet noch jemand, dass die Banden 14 & 15 sowie 17 & 18 jeweils nicht zu 100% identisch sind?

Wie gesagt, ein relativ einfacher Test, um den Verdacht einer unzulässigen Gelspur-Duplikation entweder unmittelbar auszuräumen — oder erheblich zu erhärten. Und ganz nebenbei dürfte es damit noch einen Grund weniger geben, warum entsprechende Untersuchungen auf wissenschaftlichen Fehlverdacht bei Journals und Forschungsinstitutionen oft unglaublich schleppend anlaufen — wenn überhaupt.

(Das Gel stammt übrigens aus diesem Paper der Erstautorin Gizem Dönmez. Über weitere Verdachtsmomente für Fehlverhalten in ihren Veröffentlichungen wird unter anderem ausführlich hier, hierhier hier, und hier berichtet.)

 

Zitat des Monats (4)

9. August 2011 von Laborjournal

Während des Beitrags Wie die Pharmaindustrie die Forschung kauft im „Deutschlandradio Kultur“ vom 06.07.2011 beklagte der Politikpsychologe Thomas Kliche von der Hochschule Magdeburg-Stendal den „Verlust des inneren Kompass der Wissenschaft“:

Und tatsächlich gibt es konservative Schätzungen, die sagen: Ungefähr ein Viertel aller Veröffentlichungen in wissenschaftlichen Zeitschriften enthält mehr oder weniger fehlerhafte, manipulierte Daten. Selbst wenn wir hochrechnen, haben wir mindestens eine satte Fälschung in jeder Zeitschrift alle fünf Jahre. Also das sind inzwischen Phänomene von einer Größenordnung, die über einzelnes Abschreiben weit hinausgeht. Das Abschreiben selber ist eher ein Indiz für den Verlust des inneren Kompasses der Wissenschaft. Wissenschaft soll ja Wahrheit herstellen, Wahrheit finden, und wenn man die einfach mal ein bisschen klaut, dann ist von der Wahrheit nicht mehr viel übrig, und diese Haltung, die ist bedrückend.

(Grafik: © giz – Fotolia.com)

Resultate gefälscht — sauber zurückgezogen

6. Juli 2011 von Laborjournal

Offenbar können Kommissionen, die den Verdacht auf Forschungsfälschung untersuchen, durchaus schnell sein. Zumindest scheint jetzt ein entsprechendes Gremium an der Universität Marburg deutlich fixer gearbeitet zu haben, als dies in vielen anderen Fällen kritisiert wird.

Dabei geht es um folgenden Fall:

Im Januar 2009 erschien in Genes & Development der Artikel “PRMT1-mediated arginine methylation of PIAS1 regulates STAT1 signaling” (Band 23: 118-32). Erstautorin war Susanne Weber, damals Doktorandin am Institut für Molekularbiologie und Tumorforschung der Universität Marburg, als Seniorautorin zeichnete ihre damalige Chefin Uta-Maria Bauer, dazwischen reihten sich zwei weitere Marburger und zwei Berliner Forscher. Thema des Papers war die vermeintliche Entlarvung der Arginyl-Methyltransferase PRMT1 als negativer Regulator des Interferon-aktivierten STAT1-Signalwegs.

Nach einem Bericht unserer Freunde von Retraction Watch zogen sämtliche Autoren das Paper in der aktuellen Ausgabe von Genes & Development zurück. Diesen Beitrag weiterlesen »

Forschungsethik á la Hollywood?

22. Februar 2011 von Laborjournal

Apropos Forschungsfälschung: Das Office of Research Integrity (ORI), eine Art zentrale Prüfstelle für Fälschungsfälle des US-Departments of Health and Human Services (DHHS), hat zum Thema ein interaktives Video mit dem Titel „The Lab“ produziert. Sinn und Zweck beschreibt das ORI so:

In „The Lab: Avoiding Research Misconduct,“ you become the lead characters in an interactive movie and make decisions about integrity in research that can have long-term consequences. The simulation addresses Responsible Conduct of Research topics such as avoiding research misconduct, mentorship responsibilities, handling of data, responsible authorship, and questionable research practices.

Das Video selbst ist online auf der Website des ORI. Wir haben selbst noch nicht reingeschaut, werden dies aber sicher bald tun. Vielleicht können inzwischen aber auch unsere Leser „The Lab“ hier rezensieren.

Was Dioxin mit den Fälschungsskandalen an Deutschlands Forschungsinstituten gemeinsam hat…

13. Januar 2011 von Winfried Köppelle

… erfahren Sie hier:

Und wenn sie nicht gestorben sind, dann untersuchen auch gewisse Kommissionen an Deutschlands Forschungsinstitutionen immer weiter, und weiter, und weiter…

(an der Berliner Charité beispielsweise seit nunmehr 20 Monaten)

Information 4


Information 5


Information 6