Der Krebsforscher Morten Oksvold vom Universitätshospital Oslo, Norwegen, wollte wissen, wie zuverlässig die Abbildungen in der Fachliteratur seines Forschungsfeldes sind. Drei internationale Journale suchte er sich für seine Investigation aus: eins mit hohem Impactfaktor (Cancer Cell), eins im mittleren Bereich (Oncogene) und ein Journal mit einem relativ niedrigen Impactfaktor (International Journal of Oncology). Jeweils 40 Artikel dieser Journale durchsuchte er mit bloßem Auge nach Abbildungen, die mehr als einmal auftauchen. Verdachtsfälle überprüfte er mit Adobe Photoshop auf Stichhaltigkeit.
Doktoranden lernen, Duplikationen tunlichst zu vermeiden, wenn man seine Daten in einem Journal vorstellt. Denn der Leser könnte ein doppelt vorkommendes Bild beispielsweise als Hinweis werten, dass der entsprechende Versuch nur ein einziges Mal gemacht wurde – wenn der Leser nicht gar einen schlimmerern Verdacht hegt. Zumindest erweckt eine Dopplung vielleicht den Eindruck, dass die Autoren zum Beispiel die einzig verfügbare (oder halbwegs herzeigbare) Mikroskopie-Aufnahme recyceln.
Überraschung in jedem vierten Paper
Insofern ist es erstaunlich, dass Oksvold Bild-Dopplungen bei 25 % der von ihm untersuchten Publikationen fand. Einen großen Unterschied zwischen den drei Zeitschriften stellte er dabei nicht fest. Der Norweger veröffentlichte seine Ergebnisse kürzlich im Journal Science and Engineering Ethics (doi: 10.1007/s11948-015-9668-7). Auf dem Internet-Portal PubPeer stellte Oksvold zudem die Liste sämtlicher untersuchter Studien ein und dokumentierte jeden einzelnen Fall. Die Bilddopplungen präsentierte er explizit nicht wertend, teilte sie aber für seine weitere Untersuchung in zwei Kategorien ein:
Kategorie 1: Identische Daten in zwei oder mehr Abbildungen, die auf Experimente unter identischen Versuchsbedingungen zurückgehen.
Kategorie 2: Verdoppelte Abbildungen, die laut Darstellung aus unterschiedlichen Versuchsbedingungen stammen sollen.
Vieles in Kategorie 1 hat wohl eine harmlose Erklärung. Etwa wenn Autoren ein Einzel-Experiment in zwei Abbildungen aufspalten (Beispiel: Durchflusszytometrie–Daten in Tatsuta et al, Int J Oncol. 43(6):1799-808). In anderen Fällen sahen Wissenschaftler womöglich keinen Bedarf, Kontrollen zu wiederholen, und fügten diese anscheinend an die Aufnahmen weiterer Gele an, wie die Autoren um Wilfried Roth vom Heidelberger DKFZ (Hristiva et al, Int J Oncol. 43(6):1967-75).
Die Problem-Kategorie
In die (deutlich problematischere) Kategorie 2 sortierte Oksvold immerhin im Schnitt jedes achte der untersuchten Paper. Aber auch hier ist die tatsächliche Faktenlage oft unklar. Manche Fälle könnten schon erste Hinweise auf möglicherweise absichtliche Datenmanipulation sein, beispielsweise die Aufnahmen in Tian et al (Int J Oncol. 43(6):2082-90), Okudaira et al, (Oncogene, 32(41):4903-12) und Rosanò et al, (Oncogene 32(42):5066-77). Bei anderen Abbildungen ist bei näherem Betrachten aber nicht klar, ob die duplizierten Abbildungen nicht doch die gleiche experimentelle Situation darstellen sollen, und die Autoren das einfach unzureichend erläutert hatten.
Oksvold selbst gibt an, sämtliche Autoren und auch die Journals kontaktiert zu haben. Allerdings sind wohl keine Rückmeldungen gekommen, mit einer einzigen Ausnahme, einer Studie aus Cancer Cell. Die israelische Autoren dieser Arbeit veröffentlichten auch ein Erratum (Pribluda et al, Cancer Cell, 24:242–256).
Korrekturen kommen, falls nötig
Wie stehen die betroffenen Autoren zu Oksvolds Beobachtungen? Laborjournal hat die zuständigen Autoren aller fünf im Paper erwähnten Studien aus unserem Magazin-Verbreitungsgebiet (hier also Deutschland und Österreich) kontaktiert. Veronika Sexl von der Veterinärmedizinischen Universität Wien nannte eine duplizierte Immunohistochemie-Aufnahme, die bei Kollmann et al (Cancer Cell, 24(2):167-81) zwei unterschiedlichen Patienten zugeordnet wurde, „einen dummen Fehler“. Sie kündigte an, bald zu korrigieren. Sexl machte aber klar: „Die Duplizierung ändert in unserem Fall nichts an der Aussage des Papers, oder am Inhalt“.
Auch Martin Eilers vom Theodor-Boveri-Institut für Biowissenschaften in Würzburg bestätigte nach Absprache mit der verantwortlichen Ko-Autorin ebenfalls eine von Oksvold aufgespürte Immunohistochemie-Duplikation (Brockmann et al, Cancer Cell 24: 75–89). Eilers versprach: „Wenn sich also herausstellt, dass Aussagen aus dieser Figur oder aus dem Paper erkennbar falsch sind (also die damalige Datenlage inkorrekt wiedergeben), würden wir sie natürlich korrigieren“. Nach Diskussionen unter den Autoren habe man sich entschlossen, das Journal um eine Korrektur zu bitten, so Eilers in einer weiteren Email.
Philipp Beckhove, damals am DKFZ in Heidelberg, nun Leiter am Regensburger Centrum für Interventionelle Immunologie, erklärte zu einer Duplikation in Klug et al (Cancer Cell 24: 589–602): „Bei der vermeintlichen Datenduplikation handelt es sich um eine separat (…) gezeigte Ergänzung (supplemental information) zu einem Ergebnis der Hauptuntersuchung. (…) Da es als repräsentatives Ergebnis (…) lediglich zur Veranschaulichung dient, haben wir das bereits in der Hauptuntersuchung als 'repräsentativ' ausgewählte Bild verwendet – es wäre ja seltsam, zwei unterschiedliche Abbildungen als 'repräsentativ' für dieselbe Untersuchung zu zeigen“.
Aus dem Paper selbst lässt sich zwar nicht so ohne weiteres entnehmen, dass es sich tatsächlich um die genau gleichen Versuchsbedingungen handelt. Becklove verweist aber auf den Journal-Editor, der die erklärenden Ausführungen aufgrund interner Richtlinien entfernt habe.
"Voreilig und unverantwortlich"
Was also ist von Oksvolds Untersuchung zu halten, alles in allem? Immerhin wurde sie in einem wissenschaftlichen Journal veröffentlicht, da erwartet man einen gewissen Standard. Allerdings hatte Oksvald zuerst vergeblich versucht, seine Studie im Open Access Journal PeerJ zu veröffentlichen, bevor er sie schließlich in Science and Engineering Ethics unterbrachte. Bei PeerJ war die Arbeit aber offenbar auf heftige Kritik gestoßen. Der Misconduct-Forscher Daniele Fanelli vom Meta-Research and Innovation Center der Universität Stanford (USA) teilte Laborjournal sein Urteil über die Oksvold-Studie mit: „Dieses Paper hätte seine Behauptungen erst anbringen sollen, nachdem alle Fälle untersucht und verlässliche Beweise für die Unregelmäßigkeiten gesammelt wurden."
Er fügt hinzu: „Es war ein Fehler des Journals [Science and Engineering Ethics – Red.], ein auf unverifizierten Daten basiertes Paper zu publizieren“. Fanelli bewertet Oksvolds Studie folglich als „voreilig und ziemlich unverantwortlich". Die Duplikationen der Kategorie 1 sieht Fanelli grundsätzlich als wenig problematisch an. Deren Häufung gebe eher die gängigen Standards in der Krebsforschung wieder – die allerdings gegebenenfalls revidiert werden müssten.
Fanelli lobte dennoch, dass Oksvold sämtliche Methodologie und Falldarstellungen auf PubPeer der Öffentlichkeit präsentiert hat. Er merkte aber auch an, wohl augenzwinkernd: „Wissenschaftler, die die Wissenschaft kritisieren wollen, sollten in ihrer eigenen Arbeit maximal rigoros sein“.
Tatsächlich gibt es da einen kleinen Nachholbedarf: Denn Oksvold selbst hat in seinen eigenen Publikationen offenbar einige Fälle der Bildduplikation zu verantworten (siehe z. B. Oksvold et al; J Histochem Cytochem. 48(1):21-33 und Mol Immunol., 45(4):925-36). Dazu erklärte Oksvold gegenüber Laborjournal und auch bei PubPeer: „Dies veranschaulicht, dass Duplikationen weit verbreitet sind und dass wir bessere Werkzeuge brauchen, um diese schon während des Peer Review zu stoppen. Ich habe nie behauptet, perfekt zu sein und mache Fehler wie die meisten anderen Wissenschaftler!“
Von dieser Pointe abgesehen ist die Oksvold-Studie wissenschaftlich und handwerklich problematisch. Sie stellt voreilig schwerwiegende Anschuldigungen auf. Dennoch verdeutlicht die Untersuchung womöglich verbreitete Probleme in der Krebsforschung, zum Beispiel im Umgang mit "repräsentativen" Abbildungen und Kontrollen. Und vielleicht ist es letztlich auch eine Sache der Definition, was eine zulässige Duplikation ist. Da scheinen sich die Geister zu scheiden.
Leonid Schneider
Illustration: (c) iricat / fotolia