Besorgniserregende Stichproben

20. September 2023 von Laborjournal

„Wissenschaftsbetrug ist selten. Stimmt das eigentlich?“ Diese Frage stellte unser „Wissenschaftsnarr“ Anfang des Jahres in seiner Laborjournal-Kolumne (LJ 1-2/2023: 22-24). Und fasste ein Ergebnis seiner Recherche folgendermaßen zusammen:

Beispielsweise können mittlerweile wissenschaftliche Abbildungen automatisiert auf Manipulationen untersucht werden. Und tatsächlich zeigt die Anwendung dieser Techniken, dass mehr als vier Prozent aller biomedizinischen Publikationen Graphen und Abbildungen enthalten, die hochgradig verdächtig auf maligne Manipulationen sind – etwa die Verschiebung von Banden, Duplikationen, nicht plausible Fehlerbalken und so weiter. Diese Zahlen werden auch durch Arbeiten bestätigt, in denen Menschen die Abbildungen untersuchten.

Vier Prozent ist nicht selten. Noch schlimmer aber ist, dass in der Zwischenzeit weitere „Stichproben“ auf höhere Quoten kommen. So untersuchte beispielsweise ein fünfköpfiges Team der Universität Birmingham in Alabama, USA, insgesamt 67 Publikationen aus der rhinologischen Forschung mit dem KI-basierten Software-Tool Imagetwin auf potenziell unlauter duplizierte Immunofluoreszenz-Abbildungen (Int. Forum Allergy Rhinol., doi.org/ks6m). Bei 18 Artikeln schlug Image­twin Alarm. In neun davon charakterisierten die Autoren die Duplikationen daraufhin als „definitiv“, hinsichtlich der übrigen neun blieben sie bei „möglich, aber nicht vollends bestätigt“. Nimmt man nur erstere, bleibt folglich eine Manipulations-Quote von 12 Prozent.  Diesen Beitrag weiterlesen »

Komische Kommentarauswahl bei PubPeer

30. April 2015 von Laborjournal

Nicht nur unser Autor Leonid Schneider macht gerade so seine Erfahrungen mit der Paper-Diskussionsplattform PubPeer (siehe hier und hier). Meine eigenen letzten Erlebnisse dort fand ich allerdings gar nicht prickelnd. Und das kam so:

In den letzten Wochen postete ich insgesamt drei Kommentare als „Unregistered Submission“ auf PubPeer. (Als „Peer“ kann ich mich dort nicht anmelden, da hierfür eine Instituts-Emailadresse verlangt wird, die ich als Laborjournalist nun mal nicht habe.) Laut eigener Aussage prüfen die PubPeer-Betreiber zunächst alle Beiträge, die als „Unregistered Submission“ hereinkommen — und versprechen deren baldige Publikation, sofern sie keine persönlichen Beleidigungen enthalten.

Von meinen drei eingereichten Kommentaren erschien genau einer — und dies sehr schnell. Die anderen beiden erschienen bis heute nicht. Jetzt ist ein Schelm, wer Böses dabei denkt, dass es ausgerechnet der „negative“ Beitrag war, den PubPeer publizierte. In diesem hatte ich mögliche Duplikationen von Gelbanden, die zudem noch durch Spiegeln, Zerren und Stauchen der Banden-Bilder getarnt wurden, zur Diskussion gestellt. (Wer es genauer wissen will, siehe hier. Leider hat dann niemand weiter mitdiskutiert, obwohl es sich für mich um einen klaren Fall von Manipulation handelt.)

Die anderen beiden Kommentare waren dagegen „positive“ Beiträge, in denen ich Argumente vorstellte, warum gewisse, von anderen der Manipulation verdächtigten Abbildungen meiner Meinung nach falschen Alarm darstellten. Diesen Beitrag weiterlesen »

Bandenspuren

2. Juli 2014 von Laborjournal

Eine der „beliebtesten“ Methoden der Datenfälschung in Forschungsartikeln ist das mehrfache Kopieren und Einsetzen derselben Gelbanden. Man nimmt eine besonders schöne Bande, kopiert sie — und fügt sie in weiteren Gelpuren dort ein, wo im Original entweder keine oder wenigstens keine besonders eindrucksvollen Banden waren. Um die ganze Betrügerei zu tarnen, werden die kopierten Banden oftmals zuvor in Photoshop noch leicht verzerrt, im Kontrast verändert, vertikal und horizontal gespiegelt oder anders manipuliert.

Womit man den Kopierern jedoch weiterhin auf die Spur kommen kann, sind die spezifischen Gel- oder Scanfehler, die sich in den jeweiligen Banden geradezu diagnostisch widerspiegeln. Die inzwischen weithin berüchtigte Fälschungsjägerin (oder -jäger), die sich hinter dem Pseudonym Clare Francis verbirgt, machte uns beispielsweise kürzlich auf diesen Gelausschnitt aufmerksam (auf das Bild klicken für eine vergrößerte Version):

Sofort fällt auf, dass die Banden 1, 3 , 5 und 7, wie auch die Banden 2, 4 und 6 formgleich sind. Solche nahezu deckungsgleichen Formen können bis zu einer gewissen Grenze natürlich dadurch entstehen, dass ähnliche Proben unter identischen Laufbedingungen im gleichen Gel liefen. Jetzt schauen wir uns aber die Banden 2, 4 und 6 mal genauer an. Vor allem in der vergrößerten Version erkennt man, dass jede einzelne am rechten oberen Rand einen auffälligen weißen Punkt an exakt der gleichen Stelle enthält (es gibt noch mindestens einen weiteren, nicht ganz so auffälligen rechts von der Mitte). Solche „Punkte“ haben nun rein gar nichts mit den physikalischen Laufbedingungen des Gels zu tun, sondern resultieren entweder aus lokalen „Gelfehlern“ (etwa eingeschlossenen Partikeln oder Luftblasen) oder aus wiederum lokalen Störungen im Gelscan. Dass solche streng lokalen Ereignisse zufälligerweise und völlig unabhängig voneinander dreimal ein und denselben „weißen Punkt“ in drei sowieso schon formidentischen Banden verursachen — dafür dürfte die Wahrscheinlichkeit praktisch Null sein.

Clare Francis‘ Urteil ist klar: Diese Abbildung wurde durch multiple Bandenduplikation manipuliert. Und wir finden dafür ehrlich gesagt auch keine andere Erklärung. Vielleicht jemand anders?

(Übrigens geben wir hier bewusst nicht preis, aus welcher Veröffentlichung der gezeigte Gelausschnitt stammt. Wir werden zunächst die Autoren und das betreffende Journal um Stellungnahmen zu den „Befunden“ ersuchen.)

Und auch auf die Gefahr hin, Fälschungswillige weiter zu motivieren: Leider lassen sich mit ein bisschen mehr Photoshop-Arbeit auch die Formähnlichkeit der Banden und solche verräterischen Störungsmuster leicht beseitigen. Traurig, aber wahr. Wer weiß, in wie vielen Publikationen auf diese Weise bereits effektiv „alle Spuren verwischt“ wurden.

Bei Betrugsverdacht: Bunt ist besser!

4. Februar 2014 von Laborjournal

Wir hatten ja bereits hier und hier über die Unsitte der „Flickschuster-Gele“ geschrieben — Gele also, die virtuell aus den Spuren verschiedener Gele zusammengeflickt werden, um auf diese Weise das Ergebnis ein und desselben Experiments vorzutäuschen.

Komplett skrupellose Subjekte nutzen bei solchen Machenschaften die ein oder andere „besonders schöne“ Spur gar mehrfach im gleichen Gel — und verkaufen sie gleichwohl als Laufergebnisse verschiedener Proben. Das ist Fälschung und Betrug, ganz klar. Allerdings ist dieser nicht leicht nachzuweisen, da ähnliche Proben durchaus nahezu identische Banden- und Laufmuster liefern können.

Einen schnellen und einfachen Weg, wie jeder einen entsprechenden Verdacht auf „wundersame Spurenvermehrung“ zumindest vortesten könne, beschrieb kürzlich ein Kommentator in diesem Beitrag auf der Post-Publication-Peer-Review-Plattform PubPeer. Dessen Verdacht erregte folgende Gel-Abbildung:

Der Kommentator, der in dem Beitrag schlicht als „Peer 2“ auftritt, hatte die Abbildung des Gels zuvor in seinen Photoshop geladen — und zunächst einfach mal den Kontrast verstärkt. Die rote Dachzeile nennt das Zwischenergebnis: Die „Spleißnähte“ der zusammengeschusterten Gelspuren treten deutlich hervor.

Aber es geht noch weiter! Anschließend brachte „Peer 2“ Farbe in den Ausschnitt mit den verdächtigen Banden 11-18 — und zwar mit Hilfe eines Photoshop-Tools namens „Gradient Map“. Das Ergebnis sieht so aus:

(Hier klicken für beide Bilder in größerer Auflösung!)

Behauptet noch jemand, dass die Banden 14 & 15 sowie 17 & 18 jeweils nicht zu 100% identisch sind?

Wie gesagt, ein relativ einfacher Test, um den Verdacht einer unzulässigen Gelspur-Duplikation entweder unmittelbar auszuräumen — oder erheblich zu erhärten. Und ganz nebenbei dürfte es damit noch einen Grund weniger geben, warum entsprechende Untersuchungen auf wissenschaftlichen Fehlverdacht bei Journals und Forschungsinstitutionen oft unglaublich schleppend anlaufen — wenn überhaupt.

(Das Gel stammt übrigens aus diesem Paper der Erstautorin Gizem Dönmez. Über weitere Verdachtsmomente für Fehlverhalten in ihren Veröffentlichungen wird unter anderem ausführlich hier, hierhier hier, und hier berichtet.)