Soll Peer Review Fälschung aufdecken? – 2.0

22. November 2023 von Laborjournal

Im Wall Street Journal erschien unlängst ein Artikel mit dem Titel „What’s Wrong With Peer Review?“ Darin stellt die Autorin die Frage, ob angesichts vieler aufsehenerregender Retractions in der jüngsten Vergangenheit der Peer-Review-Prozess seine Funktion überhaupt noch erfüllt – nämlich zu entscheiden, welche Studien tatsächlich zur Veröffentlichung taugen.

In dem Artikel erregte ein Zitat der Chief-Editorin von Nature, Magdalena Skipper, besondere Aufmerksamkeit. Hinsichtlich des Aufdeckens gezielter Fälschungen in Forschungsartikeln hält sie fest, dass dies keineswegs Job der Reviewer ist – und fügt hinzu:

Ich möchte meine Peer-Reviewer eigentlich nicht als eine Art Polizeikommando ansehen, das solches Fehlverhalten aufspürt.

Schon im Artikel werden Editoren-Kollegen mit anderer Meinung zitiert. Für noch mehr Diskussionen sorgte Skippers Aussage indes in den Sozialen Medien. So wunderte sich etwa die australische Psychologie-Professorin Simine Vazire auf X (ehemals Twitter):

Die Zitate der Nature-Chief-Editorin Magdalena Skipper zur Frage, ob Zeitschriften im Rahmen des Peer-Review auch auf Fehler und Datenqualität prüfen sollten, überraschen mich doch sehr.

Und mit dieser Überraschung war sie bei weitem nicht allein. Diesen Beitrag weiterlesen »

Vorarbeiten oder schon Fehlverhalten?

6. Juli 2022 von Laborjournal

Ende letzter Woche erreichte uns eine Pressemitteilung der Deutschen Forschungsgemeinschaft (DFG), in der sie wieder einmal über die Verhängung von sanktionierenden Maßnahmen wegen wissenschaftlichen Fehlverhaltens informierte. Es ging um drei verhandelte Fälle, bei denen sie – wie immer – die Namen der „Schuldigen“ nicht nennt. So heißt es etwa zu „Fall Nummer 2“ im Wortlaut:

Im zweiten Fall war einem Wissenschaftler vorgeworfen worden, er habe in einem Förderantrag zahlreiche relevante und bereits erzielte Forschungsergebnisse nicht als solche benannt, sondern als Forschungsziele und Teile des Arbeitsprogramms formuliert. Dadurch habe er zu einem bedeutenden Anteil Fördermittel für Arbeitsschritte beantragt, die bereits im Vorfeld durchgeführt worden seien. Der Untersuchungsausschuss stellte hier den Tatbestand der unrichtigen wissenschaftsbezogenen Angaben in einem Förderantrag und damit ebenfalls wissenschaftliches Fehlverhalten fest. Er würdigte dabei zwar, dass der Wissenschaftler umfassend und frühzeitig Fehler eingeräumt habe, hielt mit Blick auf den Anteil der betroffenen Passagen dennoch eine Sanktion für notwendig. Auf seinen Vorschlag sprach der Hauptausschuss auch in diesem Fall eine schriftliche Rüge und, da das Kernstück der wissenschaftlichen Arbeit vom Fehlverhalten betroffen sei, zudem einen einjährigen Ausschluss von der Antragsberechtigung aus.

Es ergab sich, dass ich am Rande eines Meetings einem gestandenen Bioforscher kurz diesen Fall referierte. Und dessen spontane Reaktion war genau diejenige, die ich insgeheim erwartet hatte: Er lachte kurz auf und rief aus: „Das macht doch jeder!“

Eben! Bereits vor elf Jahren beschrieben wir dieses „Antrags-Timing“ in unserer Heft-Kolumne „Inkubiert“ (LJ 7-8/2011: 8) folgendermaßen:  Diesen Beitrag weiterlesen »

Nach Fake kommt Deepfake

8. Juni 2022 von Laborjournal

Schon seit einiger Zeit hat die Produktion gefälschter Bilder in Forschungsartikeln rapide zugenommen. Sogenannte Deepfakes könnten das Problem jedoch noch erheblich verschärfen. Dabei werden Bilder nicht mehr manuell im Computer manipuliert, sondern von Grund auf mithilfe Künstlicher Intelligenz (KI) erzeugt.

Deepfake-Blots (aus Wang L. et al., Patterns 3; doi: 10.1016/j.patter.2022.100509).

Vier Forscher der chinesischen Universität Xiamen machten jetzt die Probe aufs Exempel: Sie erstellten via KI Fälschungen von Abbildungen, wie sie typischerweise in wissenschaftlichen Zeitschriften vorkommen, und legten diese einer Reihe von Experten vor. Das ernüchternde Ergebnis: Die Fälschungen waren leicht zu erstellen und praktisch nicht als solche zu erkennen (Patterns 3; doi: 10.1016/j.patter.2022.100509) .

Wie bei Deepfakes oftmals üblich, erzeugten die Chinesen einige ihrer Bilder mit Hilfe eines generativen adversen Netzwerks (GAN). Diesen Beitrag weiterlesen »

Alte Dampflok „Wissenschaft“

22. September 2021 von Laborjournal

Ursachen für die wachsenden Verstöße gegen die wissen­schaftliche Integrität sind eine eklatante Ungleich­verteilung von Macht, systemische Fehlanreize durch die Bevorzugung quantitativer Indizes bei der Leistungsevaluation sowie zu schwache Kontrollmechanismen und Sanktionsmöglichkeiten. Dieses Fazit referierte Bettina Dupont in unserem Online-Artikel „Kein Platz für Opportunisten und Narzissten“, in dem sie ein Positionspapier aus dem Umfeld der Deutschen Psychologischen Gesellschaft zum Thema „Unethisches Verhalten in der Wissenschaft“ vorstellte.

Zu diesem Artikel beziehungsweise zu diesem Thema erhielten wir die folgende Zuschrift, die wir unserer Leserschaft nicht vorenthalten wollen:

Sehr geehrte Redaktion, sehr geehrte Frau Bettina Dupont,

danke für den Artikel. Beim Lesen kam mir ein Bild in den Sinn, das die Situation in der Wissenschaft oder vielmehr deren Wesen für mich recht gut beschreibt. Ich stelle mir die Wissenschaft – in meinem Fall die „Life Sciences“ – als eine alte Dampflok vor, die viel Getöse und viel Qualm macht. Sie kommt voran, wenn auch nur sehr schwerfällig und steif. Ihr Kesselfeuer ernährt sich von Karriere-Träumen, eine schier unerschöpfliche Energiereserve. Ihre Energiebilanz ist aber mehr als ungünstig. Die Heizer haben viel zu tun. Wenn sie fleißig sind, dann dürfen sie den feinen Herrschaften in ihren wohligen Pullman-Salonwagen kurzeitig Gesellschaft leisten. Vielleicht wird ihnen ja auch irgendwann einmal ein dauerhafter Platz zugeteilt und ein junger Traum schafft es in den Führerstand.

Lohnt es sich, diesem alten Stahlmonster ein „Upgrade „zu geben, oder ist es nicht sinniger, gleich einen modernen Triebwagen mit vielen Sitzmöglichkeiten und besserer Energiebilanz zu besorgen?

Ich kann sie gerade ganz deutlich durch all den Qualm und Dreck sehen, die alte Dampflok. (Ich stecke gerade in einer SFB-Begutachtung und mein Vertrag endet zum x-ten Mal).

Beste Grüße

(Der Autor der Zuschrift ist der Redaktion bekannt.)

(Foto: National Heritage Memorial Fund UK)

 

Forschungsbetrug im eigenen Labor vermeiden? — Ein paar Daumenregeln.

26. Mai 2021 von Laborjournal

Kürzlich fragte der Zürcher Neuropathologe und Prionen-Spezialist Adriano Aguzzi auf seiner Facebook-Seite:

Können wir bitte eine aufgeschlossene, ehrliche und tabufreie Diskussion über wissenschaftlichen Betrug führen? Wie man ihn verhindern kann, und wie man damit umgehen sollte?

Und er startete gleich selbst:

Ich fange mal selber an und behaupte, dass jeder, der denkt, so etwas könne in seinem Labor nicht passieren, sich besser auf böse Überraschungen gefasst machen soll. In meinem Labor ist es jedenfalls passiert.

Insgesamt kamen unter dem Posting noch 50 weitere Kommentare zusammen, die wir hier natürlich weder alle referieren noch zusammenfassen wollen. Einer allerdings gefiel uns besonders gut. Giovanni Giuliano, Forschungsdirektor an der Nationalen Agentur für neue Technologien, Energie und nachhaltige wirtschaftliche Entwicklung (ENEA) in Rom, gab folgendes zu bedenken:

Ein paar Daumenregeln, die in meinem Fall funktioniert haben:

a) Datenmanipulation ist üblich (das Löschen „fehlgeschlagener Proben“ oder gänzlich „gescheiterter Experimente“ aus einem Datensatz ist die Norm, und keineswegs die Ausnahme).

b) Ein veröffentlichter Datensatz kann definitionsgemäß nicht das Universum aller möglichen Variationen repräsentieren, sondern nur diejenigen der Replikationen, die von einer bestimmten Person in einem bestimmten Labor durchgeführt werden.

c) Diese Variation sollte zumindest von einer anderen Person im selben Labor reproduzierbar sein, idealerweise jedoch von einer anderen Person in einem anderen Labor.

d) Wenn die Daten nicht zu deiner Hypothese passen, sei klug: Finde eine bessere Hypothese!

e) Sichere dir Kopien der Primärdaten und lasse sie von neuen Mitarbeitern in deinem Labor bei deren Projektstart erneut analysieren. Dies wirkt eine starke Abschreckung gegen Manipulation.

f) Biologie ist komplex. Egal wie klug du bist, keine biologische Hypothese passt zu all deinen Daten. Versuche demnach unabhängig davon das zu veröffentlichen, was du für gute Daten hältst – auch wenn sie nicht zu deiner Hypothese passen. Jemand anders wird dann entweder zeigen, dass deine Methodik falsch ist, oder eine bessere Erklärung für die Daten finden.

g) Wir sind alle Sünder: Wenn du jemanden dabei erwischst, wie er das Datenpolieren übertreibt, lasse sie oder ihn wissen, dass es um mehr geht als nur um eine Frage der Moral – es geht um Intelligenz! Wie es auf dem Apollo-Tempel in Delphi geschrieben steht: Μηδὲν ἄγαν (Nichts im Übermaß!).

Das lassen wir jetzt mal so stehen. Aber vielleicht weiß ja jemand noch die eine oder andere weitere „Daumenregel“…

Ralf Neumann

 

Regel-Mogeleien

5. Februar 2020 von Laborjournal

Bevor die Gelder eines bewilligten Förderantrags fließen, muss man einen gewissen Regelkatalog unterschreiben — unter anderem mit dem Ziel, dass man ja kein Schindluder mit den Fördermitteln treibe. Einige dieser Regeln können in der Praxis jedoch leicht zu gewissen Absurditäten führen…

Ein Beispiel hierfür liefert wiederum die Umfragestudie „Normal Misbehavior: Scientists Talk About the Ethics of Research“, aus der wir uns schon für den letzten Beitrag be­dien­ten (J. Empir. Res. Hum. Res. Ethics 1(1): 43-50). Diese zitiert einen Befragten — sinngemäß übersetzt — folgender­ma­ßen:

Sagen wir, ich habe zwei verschiedene Grants. Jetzt muss ich zwei Flaschen der gleichen Chemikalie kaufen, weil ich etwas, das ich mit Geldern des einen Grants angeschafft habe, nicht für Projekte verwenden darf, die von einem anderen Geldgeber gefördert werden. Wenn ich also Grants von fünf ver­schie­de­nen Förderern habe, muss ich theoretisch auch fünf Flaschen der gleichen Chemikalie kaufen. Und ich muss jedes Mal unterschreiben, dass der aufgewendete Betrag aus dem Topf mit denjenigen Mitteln stammt, die genau für dieses Projekt bewilligt wurden. Womit ich zugleich umgekehrt bestätige, dass ich das Zeug auch ausschließlich für dieses eine Projekt kaufe und einsetze… Aber natürlich mache ich das nicht so, sondern benutze ein und dieselbe Flasche in allen Projekten.

Wäre ja auch völlig verrückt, für jedes einzelne Projekt jeweils ein eigenes Set an Standard-Chemikalien wie etwa NaCl oder Agarose anzuschaffen.

Natürlich steht diese Regel irgendwo unter vielen, die allesamt dazu dienen sollen, potenziel-­lem Grant-Missbrauch vorzubeugen. Was ja tatsächlich ein gerechtfertigtes Ziel ist. Wenn die Einhaltung dieser Regeln allerdings in der Praxis wiederholt zu derart abstrusen Situationen führt, wie hier geschildert, dann dürfte man wohl eher etwas anderes erreichen: Dass die Betroffenen sich stets überlegen, wie sie sich um solche Regeln herummogeln können.

Entsprechend schlussfolgern auch die Autoren der Umfrage aus dem geschilderten und weiteren Beispielen:

Es gibt zu viele solcher Regeln. Und viele versuchen, sie zu umgehen, ohne dabei eine gewisse Grenze zu überschreiten. […] Dennoch hielten unsere Befragten fest, dass diese Fülle von Regeln — von denen sie viele als unnötig und zu weit gehend empfinden — am Ende leicht zu tatsächlichem Fehlverhalten führen kann.

Ralf Neumann

 

Vom Goldkind zum Gelackmeierten (2)

23. Mai 2017 von Laborjournal

Dass Doktoranden und Masterstudenten während ihrer Laborarbeit in ihren Arbeitsgruppen nicht immer fair behandelt werden, ist ein offenes Geheimnis. Entsprechend porträtierten wir in unserer aktuellen Heftausgabe 5/2017 unter dem Titel „Vom Goldkind zum Gelackmeierten“ die vier exemplarischen Fälle von Carsten, Juliane, Katrin und Florian [Namen geändert]. Die Moral aus den vier „Geschichten“ fasste unsere Autorin Juliet Merz in dem Artikel folgendermaßen zusammen:

Publikationen als Lockmittel und lapidare Verteilung von Autorenschaften: Was Carsten, Juliane, Katrin und Florian erlebt haben, ist nicht die Regel – aber auch keine Seltenheit. Carstens Idee wurde geklaut, Julianes Mitarbeit vertuscht und von Florian dreist abgeschrieben. Dahingegen musste sich Katrin die Lorbeeren mit einer anderen Doktorandin teilen, obwohl eigentlich nur sie die Arbeit erledigt hat. Wenn es um Autorschaften auf Papern in deutschen Laboren geht, wird die Gemeinschaftlichkeit gerne mal ad acta gelegt. Der Druck ist groß: Jeder möchte so viel publizieren wie möglich, um die wissenschaftliche Karriereleiter weiter nach oben zu klettern oder schlicht am Ball zu bleiben.

Wahrlich schreiben nicht alle Labore solche Geschichten. Im Zuge unserer Recherche stießen wir vielmehr immer wieder auf die Aussage: „Zu Autorenstreitigkeiten kann ich Ihnen nichts erzählen, da lief bei mir immer alles gut.“ Gut, dass es folglich doch noch viele ehrliche und rücksichtsvolle Arbeitsgruppen mit gerechten und aufmerksamen Professoren gibt. Dummerweise stehen heutzutage jedoch gerade Doktoranden, Postdocs und auch jüngere Professoren unter höllischem Zugzwang, viel und gut zu publizieren. Dass jeder auf Biegen und Brechen versucht, hierbei nicht auf der Strecke zu bleiben, ist geradezu nachvollziehbar. Eine Kultur des „Jeder ist sich selbst der Nächste“ kann dabei offenbar nicht immer vermieden werden.   

Umgehend bekamen wir zwei Rückmeldungen zu dem Artikel, in denen die Verfasserinnen uns ihre eigene, zum Thema passende Geschichte mitteilten. Diesen Beitrag weiterlesen »

„Darum trauen wir deutschen Veröffentlichungen nicht“

16. März 2015 von Laborjournal

Eigentlich wollte unser Autor Leonid Schneider im Rahmen einer Artikel-Recherche nur ein paar spezifische Informationen. Doch sein Adressat, immerhin Direktor an einem Edel-Institut der amerikanischen Westküste, holte nebenbei gleich mal zu folgendem Rundumschlag gegen deutsche Postdocs aus:

In general, since you are journalist: I admire your investigative efforts. But you have to know that it was widely known that German postdocs did everything they could to get as many papers as possible published because of the pathological promotion system in Germany that puts so much insane pressure on scientists to have large numbers of papers. This led sadly to sacrificing the truth. That is why we do not trust German papers from authors with suspiciously large numbers of papers. This is an open secret.

Wir haben erstmal geschluckt. Ist der Ruf deutscher Postdocs und Paper im Ausland tatsächlich so schlecht?