„Wissenschaftsbetrug ist selten. Stimmt das eigentlich?“ Diese Frage stellte unser „Wissenschaftsnarr“ Anfang des Jahres in seiner Laborjournal-Kolumne (LJ 1-2/2023: 22-24). Und fasste ein Ergebnis seiner Recherche folgendermaßen zusammen:
Beispielsweise können mittlerweile wissenschaftliche Abbildungen automatisiert auf Manipulationen untersucht werden. Und tatsächlich zeigt die Anwendung dieser Techniken, dass mehr als vier Prozent aller biomedizinischen Publikationen Graphen und Abbildungen enthalten, die hochgradig verdächtig auf maligne Manipulationen sind – etwa die Verschiebung von Banden, Duplikationen, nicht plausible Fehlerbalken und so weiter. Diese Zahlen werden auch durch Arbeiten bestätigt, in denen Menschen die Abbildungen untersuchten.
Vier Prozent ist nicht selten. Noch schlimmer aber ist, dass in der Zwischenzeit weitere „Stichproben“ auf höhere Quoten kommen. So untersuchte beispielsweise ein fünfköpfiges Team der Universität Birmingham in Alabama, USA, insgesamt 67 Publikationen aus der rhinologischen Forschung mit dem KI-basierten Software-Tool Imagetwin auf potenziell unlauter duplizierte Immunofluoreszenz-Abbildungen (Int. Forum Allergy Rhinol., doi.org/ks6m). Bei 18 Artikeln schlug Imagetwin Alarm. In neun davon charakterisierten die Autoren die Duplikationen daraufhin als „definitiv“, hinsichtlich der übrigen neun blieben sie bei „möglich, aber nicht vollends bestätigt“. Nimmt man nur erstere, bleibt folglich eine Manipulations-Quote von 12 Prozent.
Auch der Waliser Sholto David bediente sich des in Wien entwickelten KI-Tools Imagetwin, um insgesamt 715 Publikationen der Zeitschrift Toxicology Reports ebenfalls auf unangemessene Abbildungs-Doppler zu prüfen (bioRxiv, doi.org/ks6n). Als Kernergebnis fasst er im Abstract zusammen:
115 dieser Artikel enthielten unangemessene Duplikate (16 Prozent). […] Wobei 41 der 115 bei der manuellen Überprüfung übersehen und erst anschließend mit Hilfe der Software entdeckt wurden.
Der Möglichkeit potenzieller Falschmeldungen durch die Software ist sich David bewusst, weswegen er explizit festhält:
Die tatsächliche Zahl der in Toxicology Reports publizierten unangemessenen Duplikate bleibt unbekannt. Falsch-negative Ergebnisse (Duplikate existieren, wurden aber nicht identifiziert) sind in diesem Datensatz wahrscheinlich, da Autor und Software nicht immer in der Lage sind, übereinstimmende Bereiche zu identifizieren. Falsch-positive Ergebnisse (ein Bild wurde als unlautere Duplikation eingestuft, obwohl dies nicht der Fall ist) können ebenfalls in diesem Datensatz vorkommen.
Trotz dieser Einschränkung kommt David am Ende nicht umhin, fast schon erschrocken festzustellen:
Die Rate an unangemessenen Duplikationen von Abbildungen in der Zeitschrift Toxicology Reports ist erstaunlich hoch.
Sind die 12 und 16 Prozent Duplikationsrate in den beiden Stichproben dennoch lediglich Einzelfälle? Schlimme Ausreißer nach oben? Zukünftige Studien werden es zeigen müssen. Jedenfalls verriet der Versuchstierforscher Otto Kalliokoski von der Universität Kopenhagen schon mal via X (ehemals Twitter) als Reaktion auf Davids 16-Prozent-Studie:
Das passt hinsichtlich der Häufigkeit unangemessener Duplikationen sehr gut zu einem Datensatz, den wir (bald) veröffentlichen wollen.
Und er als generelles Fazit nimmt er daher vorweg:
„Ich denke, wir müssen uns an den Gedanken gewöhnen, dass betrügerische Studien viel häufiger vorkommen als bisher angenommen.“
Ralf Neumann
(Illustr.: Julien Eichinger / AdobeStock)
Schlagworte: Biomedizin, Duplikation, Forschungsfälschung, KI, Manipulation, wissenschaftliche Integrität, Wissenschaftsbetrug
