Nach Fake kommt Deepfake

8. Juni 2022 von Laborjournal

Schon seit einiger Zeit hat die Produktion gefälschter Bilder in Forschungsartikeln rapide zugenommen. Sogenannte Deepfakes könnten das Problem jedoch noch erheblich verschärfen. Dabei werden Bilder nicht mehr manuell im Computer manipuliert, sondern von Grund auf mithilfe Künstlicher Intelligenz (KI) erzeugt.

Deepfake-Blots (aus Wang L. et al., Patterns 3; doi: 10.1016/j.patter.2022.100509).

Vier Forscher der chinesischen Universität Xiamen machten jetzt die Probe aufs Exempel: Sie erstellten via KI Fälschungen von Abbildungen, wie sie typischerweise in wissenschaftlichen Zeitschriften vorkommen, und legten diese einer Reihe von Experten vor. Das ernüchternde Ergebnis: Die Fälschungen waren leicht zu erstellen und praktisch nicht als solche zu erkennen (Patterns 3; doi: 10.1016/j.patter.2022.100509) .

Wie bei Deepfakes oftmals üblich, erzeugten die Chinesen einige ihrer Bilder mit Hilfe eines generativen adversen Netzwerks (GAN). Diesen Beitrag weiterlesen »

Hilft Training gegen unethische Forschungspraxis?

16. März 2022 von Laborjournal

Letzte Woche ist unser neues Heft 3/2022 erschienen – und darin ab Seite 21 der Artikel „Gute wissenschaftliche Praxis – ein alter Hut, oder!?“ von Henrik Müller.

Im Vorspann des Artikels heißt es:

Wissenschaftsskandale entstammen häufig den Lebenswissenschaften. Mangelt es Biologen und Medizinern an Integrität? Oder existieren einfach nur keine guten wissenschaftsethischen Fortbildungsver­an­stal­tun­gen?

Es geht also um folgendes:

Nachdem inzwischen schon lange Richtlinien, Regeln und Verhaltenskodizes für Integrität in der Forschung formuliert und ausgegeben sind, könnte man doch meinen, dass man der Forscherzunft die entsprechenden Inhalte nur eindringlich beibringen müsste – und schon wären Forschungsfälschung und Reproduzierbarkeitskrise samt zugehörigem Vertrauensverlust weitgehend Geschichte. Und so wurden für den wissenschaftlichen Nachwuchs an vielen Orten verpflichtende Lehrveranstaltungen über Integrität in der Forschung aus dem Boden gestampft.

Soweit also die Theorie! Aber wie sieht die Praxis aus? Wie kann wissenschaftliche Integrität erfolgreich gelehrt werden? Genau das hat sich unser Autor Henrik Müller für seinen Artikel anhand konkreter Beispiele einmal genauer angeschaut …

Doch kaum war das Heft mit dem Artikel in der Druckerei, stieß unser Chefredakteur in Times Higher Education auf einen Artikel mit dem Titel „Around one in 12 postgraduate researchers would publish fraudulent results if it helped them get ahead, says study“. Darin wurde eine internationale Studie zusammengefasst, die gerade in Frontiers of Psychology (doi: 10.3389/fpsyg.2021.621547) erschienen war – und in deren Abstract die Autoren sinngemäß schreiben:

Betrügerische oder unethische Forschungspraktiken haben über die wissenschaftliche Welt hinaus für viel Aufsehen gesorgt. Will man die Wissenschaft indes verbessern, muss man in der Ausbildung von der Doktoranden damit beginnen. Schließlich sind sie die Wissenschaftler von morgen.

In vier Studien mit 765 Doktoranden untersuchten wir daher, ob Doktoranden zwischen ethischen und unethischen oder sogar betrügerischen Forschungspraktiken unterscheiden können. Überdies prüften wir die Bereitschaft der Doktoranden, Forschungsergebnisse aus zweifelhaften Praktiken zu veröffentlichen – und testeten, ob die Entscheidung durch Druck von Vorgesetzten oder Kollegen beeinflusst wird. Parallel befragten wir 36 akademische Führungskräfte (Dekane, Prodekane und AG-Leiter) und baten sie vorherzusagen, wie sich die Doktoranden in den hypothetischen Szenarien verhalten würden.

Unsere Ergebnisse zeigen, dass einige Doktoranden relativ schnell bereit sind, Ergebnisse zu veröffentlichen, die durch offenkundigen Betrug und Datenfälschung zustandekommen. Alarmierend dabei ist, dass einige Hochschullehrer dieses Verhalten unterschätzen. Offenbar müssen diese stärker im Blick haben, dass Doktoranden unter größerem Druck stehen können, als ihnen bewusst ist – und dass sie daher besonders anfällig für die Anwendung von fragwürdigen Forschungspraktiken sein können.

In konkreten Zahlen kam bei der Umfrage heraus, dass etwa jede zwölfte Doktorandin oder Doktorand bereit wären, unsaubere Daten zu veröffentlichen, wenn dies für die weitere akademische Karriere von Nutzen wäre.

Die Frage ist nun, ob man diesen Anteil durch besseres Research Integrity Training noch weiter nach unten drücken könnte? Dazu bemerkte der belgische Erstautor Rens van de Schoot in dem Times-Higher-Education-Artikel mit Blick auf die eigenen Umfrageergebnisse ziemlich ernüchternd:

Sicher, man hätte erwarten können, dass eine Schulung oder Fortbildung in Forschungsethik einen Unterschied macht – aber das war nicht der Fall.

Auch in unserem Artikel berichtete ein Veranstalter von Research-Integrity-Kursen, dass die Teilnehmerinnen und Teilnehmer hinterher zwar besser über gute und schlechte Forschungspraxis bescheid wüssten. Ob damit auch deren eigene moralische Urteilskraft gereift sei, wagte er allerdings nicht zu beurteilen. Um dies zu ermöglichen, wäre es vor allem wünschenswert, wenn die Dozenten solcher Kurse sich öfter als bisher die Mühe machen würden, den Lehrerfolg ihrer Veranstaltungen zu evaluieren.

Ralf Neumann

 

Forschungsbetrug im eigenen Labor vermeiden? — Ein paar Daumenregeln.

26. Mai 2021 von Laborjournal

Kürzlich fragte der Zürcher Neuropathologe und Prionen-Spezialist Adriano Aguzzi auf seiner Facebook-Seite:

Können wir bitte eine aufgeschlossene, ehrliche und tabufreie Diskussion über wissenschaftlichen Betrug führen? Wie man ihn verhindern kann, und wie man damit umgehen sollte?

Und er startete gleich selbst:

Ich fange mal selber an und behaupte, dass jeder, der denkt, so etwas könne in seinem Labor nicht passieren, sich besser auf böse Überraschungen gefasst machen soll. In meinem Labor ist es jedenfalls passiert.

Insgesamt kamen unter dem Posting noch 50 weitere Kommentare zusammen, die wir hier natürlich weder alle referieren noch zusammenfassen wollen. Einer allerdings gefiel uns besonders gut. Giovanni Giuliano, Forschungsdirektor an der Nationalen Agentur für neue Technologien, Energie und nachhaltige wirtschaftliche Entwicklung (ENEA) in Rom, gab folgendes zu bedenken:

Ein paar Daumenregeln, die in meinem Fall funktioniert haben:

a) Datenmanipulation ist üblich (das Löschen „fehlgeschlagener Proben“ oder gänzlich „gescheiterter Experimente“ aus einem Datensatz ist die Norm, und keineswegs die Ausnahme).

b) Ein veröffentlichter Datensatz kann definitionsgemäß nicht das Universum aller möglichen Variationen repräsentieren, sondern nur diejenigen der Replikationen, die von einer bestimmten Person in einem bestimmten Labor durchgeführt werden.

c) Diese Variation sollte zumindest von einer anderen Person im selben Labor reproduzierbar sein, idealerweise jedoch von einer anderen Person in einem anderen Labor.

d) Wenn die Daten nicht zu deiner Hypothese passen, sei klug: Finde eine bessere Hypothese!

e) Sichere dir Kopien der Primärdaten und lasse sie von neuen Mitarbeitern in deinem Labor bei deren Projektstart erneut analysieren. Dies wirkt eine starke Abschreckung gegen Manipulation.

f) Biologie ist komplex. Egal wie klug du bist, keine biologische Hypothese passt zu all deinen Daten. Versuche demnach unabhängig davon das zu veröffentlichen, was du für gute Daten hältst – auch wenn sie nicht zu deiner Hypothese passen. Jemand anders wird dann entweder zeigen, dass deine Methodik falsch ist, oder eine bessere Erklärung für die Daten finden.

g) Wir sind alle Sünder: Wenn du jemanden dabei erwischst, wie er das Datenpolieren übertreibt, lasse sie oder ihn wissen, dass es um mehr geht als nur um eine Frage der Moral – es geht um Intelligenz! Wie es auf dem Apollo-Tempel in Delphi geschrieben steht: Μηδὲν ἄγαν (Nichts im Übermaß!).

Das lassen wir jetzt mal so stehen. Aber vielleicht weiß ja jemand noch die eine oder andere weitere „Daumenregel“…

Ralf Neumann

 

„Bitte publik machen, aber ohne meinen Namen!“

13. März 2019 von Laborjournal

In schöner Regelmäßigkeit bekommen wir anonyme Zuschriften. Mehr noch aber solche, in denen die Schreiber sich zwar zu erkennen geben, aber darum bitten, unbedingt ihre Anonymität zu wahren, falls wir über das von ihnen angeprangerte Thema berichten würden.

In all diesen Fällen brennt den Schreibern „ihr“ Thema so fürchterlich auf den Nägeln, dass sie der Meinung sind, man müsse die entsprechenden Missstände (oder gar ihre eigenen „schlimmen, aber durchaus typischen“ Fälle) unbedingt in der gesamten Forschungsszene bekannt machen. Klar, deswegen schreiben sie uns ja. Aber ihren Namen — nein, den wollen sie dann um Himmels willen nicht in dem Artikel stehen sehen.

Beispielsweise kam vor einiger Zeit im DIN A4-Kouvert ein ganzer Packen vermeintliches „Beweismaterial“, mit dem der anonyme Absender Datenmanipulationen in gleich mehreren Veröffentlichungen als klar belegt ansah. Im Begleitbrief drängte der „Whistleblower“ geradezu, dass wir „diese wichtige Sache“ unbedingt verfolgen und öffentlich machen sollten. Und am Schluss dann der typische Absatz:

Wie Sie sehen werden, sitzen die betreffenden Kollegen in politisch wichtigen Positionen und sind sehr einflussreich. Ich dagegen bin nur ein unerfahrener Doktorand […] und arbeite selbst noch am Ort des Geschehens. Aus diesem Grund muss ich schlimme Konsequenzen befürchten, wenn ich „den Mund aufmache“ — und möchte deswegen unbedingt anonym bleiben.

Viele werden jetzt sicher zustimmend nicken und denken: „Nur zu verständlich, dass dieser Doktorand unter solchen Umständen unerkannt bleiben möchte.“ Und wir? Wir prüften natürlich das „Beweismaterial“. Diesen Beitrag weiterlesen »

Ist doch egal, wer — die Sache zählt!

20. Februar 2015 von Laborjournal

(In dieser Antwort auf den Beitrag „Leidige Praxisprobleme“ vom 13. Februar verteidigt unser Autor Leonid Schneider das Prinzip der anonymen Kommentare auf der Post-Publikation-Review-Plattform PubPeer.)

————-

Früher hieß es: Es ist publiziert, also stimmt es! Oft beendete man noch jegliche kritische Diskussion mit den Argumenten des Peer-Review und des Journal-Impaktfaktors. Den Grund dafür, dass publizierte Versuchsergebnisse im eigenen Labor nicht zu reproduzieren waren, suchte man dann ausschließlich bei sich selbst.

Nun kann sich jeder Jungwissenschaftler sofort über die Webseite PubPeer eine darüber hinausgehende Meinung bilden. Denn auch was in Nature, Cell und Science steht, muss man nicht unbedingt treudoof glauben. Unbeantwortete, aber plausible öffentliche Anschuldigungen der Daten-Unzulänglichkeit in einem Paper können schon an dessen Glaubwürdigkeit und Verlässlichkeit rütteln. Endlich geht es dann um Evidenz statt Eminenz — und das ist auch gut so.

Trotz diverser Kinderkrankheiten hat das junge Internetportal PubPeer bereits jetzt einen enormen Beitrag zur Richtigstellung der wissenschaftlichen Literatur geleistet. Sie beherbergt inzwischen doch einige Beispiele, wo Fehler oder auch potenzielle Manipulationen in der Fachliteratur öffentlich und mit Bildbelegen aufgedeckt wurden. Ständig kommen neue dazu. Die Bild-Duplikationen in Shoukhrat Mitalipovs Cell-Paper (Vol. 153(6): 1228-38), das übrigens ohne Peer-Review erschien, wurden in PubPeer erstmals angeprangert — was später zu einer umfassenden und peinlichen Korrektur führte. Die Manipulationen in einem der größten Forschungsskandale der letzten Zeit um die sogenannten STAP-Stammzellen wurden vor allem durch PubPeer bekannt.

Die Bedeutung von PubPeer wird daher immer mehr Wissenschaftlern bewusst. Immer mehr nehmen sie zu den sie selbst betreffenden Kommentaren und Vorwürfen Stellung — dies im Übrigen mal mehr, mal weniger überzeugend. Diesen Beitrag weiterlesen »

Zitat des Monats (17)

2. Januar 2014 von Laborjournal

What a let down for the running dogs of citationalism!

… schrieb ein Kommentator im Blog Retraction Watch. Dieser hatte über die Zurückziehung eines Cell-Papers wegen Datenmanipulationen berichtet, die ziemlich sicher noch weitere Retraktionen in Nature und anderen „hochrangigen“ Journals nach sich ziehen wird. Die Ironie an der Geschichte, auf die sich auch das Zitat bezieht: Das betroffene Flanders Institute for Biotechnology (VIB) in Ghent vergibt Prämien an Forscher, die regelmäßig „besonders hoch“ publizieren.