Soll Peer Review Fälschung aufdecken? – 2.0

22. November 2023 von Laborjournal

Im Wall Street Journal erschien unlängst ein Artikel mit dem Titel „What’s Wrong With Peer Review?“ Darin stellt die Autorin die Frage, ob angesichts vieler aufsehenerregender Retractions in der jüngsten Vergangenheit der Peer-Review-Prozess seine Funktion überhaupt noch erfüllt – nämlich zu entscheiden, welche Studien tatsächlich zur Veröffentlichung taugen.

In dem Artikel erregte ein Zitat der Chief-Editorin von Nature, Magdalena Skipper, besondere Aufmerksamkeit. Hinsichtlich des Aufdeckens gezielter Fälschungen in Forschungsartikeln hält sie fest, dass dies keineswegs Job der Reviewer ist – und fügt hinzu:

Ich möchte meine Peer-Reviewer eigentlich nicht als eine Art Polizeikommando ansehen, das solches Fehlverhalten aufspürt.

Schon im Artikel werden Editoren-Kollegen mit anderer Meinung zitiert. Für noch mehr Diskussionen sorgte Skippers Aussage indes in den Sozialen Medien. So wunderte sich etwa die australische Psychologie-Professorin Simine Vazire auf X (ehemals Twitter):

Die Zitate der Nature-Chief-Editorin Magdalena Skipper zur Frage, ob Zeitschriften im Rahmen des Peer-Review auch auf Fehler und Datenqualität prüfen sollten, überraschen mich doch sehr.

Und mit dieser Überraschung war sie bei weitem nicht allein. Diesen Beitrag weiterlesen »

Besorgniserregende Stichproben

20. September 2023 von Laborjournal

„Wissenschaftsbetrug ist selten. Stimmt das eigentlich?“ Diese Frage stellte unser „Wissenschaftsnarr“ Anfang des Jahres in seiner Laborjournal-Kolumne (LJ 1-2/2023: 22-24). Und fasste ein Ergebnis seiner Recherche folgendermaßen zusammen:

Beispielsweise können mittlerweile wissenschaftliche Abbildungen automatisiert auf Manipulationen untersucht werden. Und tatsächlich zeigt die Anwendung dieser Techniken, dass mehr als vier Prozent aller biomedizinischen Publikationen Graphen und Abbildungen enthalten, die hochgradig verdächtig auf maligne Manipulationen sind – etwa die Verschiebung von Banden, Duplikationen, nicht plausible Fehlerbalken und so weiter. Diese Zahlen werden auch durch Arbeiten bestätigt, in denen Menschen die Abbildungen untersuchten.

Vier Prozent ist nicht selten. Noch schlimmer aber ist, dass in der Zwischenzeit weitere „Stichproben“ auf höhere Quoten kommen. So untersuchte beispielsweise ein fünfköpfiges Team der Universität Birmingham in Alabama, USA, insgesamt 67 Publikationen aus der rhinologischen Forschung mit dem KI-basierten Software-Tool Imagetwin auf potenziell unlauter duplizierte Immunofluoreszenz-Abbildungen (Int. Forum Allergy Rhinol., doi.org/ks6m). Bei 18 Artikeln schlug Image­twin Alarm. In neun davon charakterisierten die Autoren die Duplikationen daraufhin als „definitiv“, hinsichtlich der übrigen neun blieben sie bei „möglich, aber nicht vollends bestätigt“. Nimmt man nur erstere, bleibt folglich eine Manipulations-Quote von 12 Prozent.  Diesen Beitrag weiterlesen »

Neues von den Zombies

12. Juli 2023 von Laborjournal

Öfter schon haben wir über „Zombie-Paper“ gemeckert. Artikel also, die trotz erfolgter Retraction munter weiter zitiert werden. Beispielsweise hier, hier und hier.

Um das Problem klarzumachen, schrieben wir etwa:

Eigentlich ist man sich grundsätzlich einig in der Wissenschaft: Wird ein publiziertes Paper zurückgezogen („retracted“) – egal, ob aus ehrenhaften oder unehrenhaften Gründen –, dann gilt es augenblicklich als aus dem Scientific Record entfernt. Mit all seinen Daten und Schlussfolgerungen. Als hätte es nie existiert, als wären die Experimente nie gemacht worden.

Doch leider sieht die Realität gar nicht selten anders aus. Hartnäckig geistern zurückgezogene Veröffentlichungen als putzmuntere Zombies weiter durch den Wissenschaftsbetrieb – und treiben ihr Unwesen vor allem in den Referenzlisten nachfolgender Publikationen. Meist werden sie noch Jahre später zitiert, manche nach der Retraction sogar noch häufiger als vorher.

Jetzt präsentiert ein Team von fünf Informationswissenschaftlerinnen und -wissenschaftlern wieder eine neue Studie zum Thema: „Evolution of retracted publications in the medical sciences: Citations analysis, bibliometrics, and altmetrics trends“ (Account. Res., doi.org/kjfk). Dazu identifizierten sie in der Datenbank Scopus 840 Publikationen, die in den medizinischen Wissenschaften zwischen 2016 bis 2020 zurückgezogen wurden. Diese wurden bis August 2021 insgesamt 5.659 Mal zitiert, 1.559 dieser Zitierungen datierten deutlich nach der Retraktion des zitierten Artikels. Die Rate der „Zombie-Referenzen“ beträgt damit satte 27,5 Prozent.  … Hier geht’s weiter »

Betrugsware Co-Autorschaft

28. Juni 2023 von Laborjournal

Mehrfach haben wir schon darüber berichtet, auf welch dreiste Weise das System wissenschaftlichen Publizierens für betrügerische Aktivitäten missbraucht wird – zuletzt etwa hier, hier und hier. Und anscheinend lassen windige Witzfiguren tatsächlich rein gar nichts unversucht, um gerade den besonders Bedürftigen und/oder Leichtgläubigen aus der Forscherzunft ordentlich Geld für Nix aus der Tasche zu ziehen.

Waren es vor etwa einem Jahr noch Zitierungen, die eine Agentur systematisch an Forscher verkaufte (siehe hier), so werden inzwischen auch Co-Autorschaften auf angeblich bereits akzeptierten Papern gegen Geld feilgeboten. Am 19. Juli twitterte jedenfalls die allseits bekannte Fälschungs- und Missbrauchs-Detektivin Elisabeth Bik (sinngemäß übersetzt):

Wow, das ist ziemlich krass. Der Verfasser präsentiert hier einen Acceptance Letter für sein Manuskript von der Zeitschrift „Molecular Biology and Evolution“ – und verkauft jetzt auf Facebook Autorpositionen darauf für 5.000 oder mehr.

… Und zeigte einen Screenshot des betreffenden Facebook-Posts:  Diesen Beitrag weiterlesen »

Schriftsteller-Bingo im Fake-Journal

4. Januar 2023 von Laborjournal

Auf den ersten Blick kann es scheinen, dass dem British Journal of Research Sensationelles gelungen ist. Jedenfalls wenn man erstmal nur die Autoren wahrnimmt, die in dessen Nummer 9 vom 28. September des letzten Jahres schrieben: Charlotte Brontë, Hermann Hesse, Rainer Maria Rilke, Walt Whitman und William Faulkner. Hat die Zeitschrift womöglich bis dato verschollene Manuskripte dieser Giganten der Weltliteratur veröffentlichen dürfen?

Mitnichten!

Gleich beim zweiten Blick wird klar: Wir haben ein ganz besonders skurriles Fake-Journal aufgeschlagen. Da schreibt etwa der Literatur-Nobelpreisträger Hermann Hesse ein „Opinion Piece“ mit dem Titel Execution of the Qa Instrument to Decide the Recurrence of Radiographic Mistakes on Sidelong Radiographs. Unter der Dienstadresse „Department of Basic Sciences, University of Cologne, Germany“. Und via Mail erreichbar sei Herr Hesse unter Herman46@gmail.com.

Ja, sicher!

 

Rainer Maria Rilke schrieb 1902 über den Panther,
aber 2022 über Boden-Mikroben …?

 

Ähnlich sieht es beim Lyriker Rainer Maria Rilke aus. Zwar lobte ihn vor 120 Jahren der große Zoologe Jakob Johann von Uexkül auch fachlich für sein berühmtes Gedicht „Der Panther“, doch dass man jetzt ein Werk aus seiner Feder mit dem Titel Watery Living Spaces and Carbon Inputs Shape the Microscale Topography and Communication Scopes of Soil Microorganisms ausgegraben haben will …? Und dieses dann mit angeblicher Dienstadresse „Department of Basic Sciences, Free University of Berlin, Germany, E-Mail: Rainer75@gmail.com“ von Rilke publiziert?    Diesen Beitrag weiterlesen »

Retractions: Bei Corona nichts Neues!

2. November 2022 von Laborjournal

Es ist traurige Tatsache: Viele zurückgezogenen Veröffentlichungen werden nach wie vor zitiert, als ob deren Inhalt weiterhin gültig wäre. Erst vor einem halben Jahr prangerten wir diese Unsitte folgendermaßen an:

Wird ein publiziertes Paper zurückgezogen („retracted“) – egal, ob aus ehrenhaften oder unehrenhaften Gründen –, dann gilt es augenblicklich als aus dem Scientific Record entfernt. Mit all seinen Daten und Schlussfolgerungen. Als hätte es nie existiert, als wären die Experimente nie gemacht worden.

Doch leider sieht die Realität gar nicht mal so selten anders aus. Hartnäckig geistern zurückgezogene Veröffentlichungen als putzmuntere Zombies weiter durch den Wissenschaftsbetrieb – und treiben ihr Unwesen vor allem in den Referenzlisten nachfolgender Veröffentlichungen.

Weitere Auswüchse dieses Elends hatten wir kurz danach in diesem Beitrag thematisiert. Und jetzt kommt frisch der Bericht eines australischen Teams, nach dem die Corona-Pandemie das ganze Übel sogar nochmals extra befeuert: 212 Veröffentlichungen nahmen sich die Autoren vor, die aus dem Gesamtwerk von weit über 200.000 Artikeln zur Corona-Forschung seit Pandemiebeginn zurückgezogen wurden – 2.697 Mal wurden diese insgesamt bis zum Sommer zitiert, im Durchschnitt also sieben Mal pro Publikation.

Insbesondere interessierte das Autorenteam indes der Anteil klinischer Studien an den Retractions. Also nahm es 1.036 Zitierungen entsprechender Veröffentlichungen in eine genauere Analyse – und berichtet folgende Ergebnisse:  Diesen Beitrag weiterlesen »

Bekannter durch Retractions

20. Juli 2022 von Laborjournal

Eine Retraktion Ihres neuesten Artikels wäre das Beste, das Ihnen passieren kann – zumindest hinsichtlich Ihres Bekanntheitsgrades. Diese Aussage macht keinen Sinn, finden Sie? Schließlich kann eine widerrufene Publikation nicht mehr zitiert werden – schon allein weil sie Fehler enthält? Weit gefehlt.

Sicher ist es nicht Ihr Ziel, zu publizieren, um Ihre Publikation zurückgezogen zu sehen. Trotzdem geschah das – entweder infolge von Täuschungsversuchen oder infolge ehrlicher Fehler – laut der Datenbank von Retraction Watch im letzten Jahrzehnt jedes Jahr durchschnittlich 15 Prozent häufiger als noch im Jahr zuvor (siehe Tabelle).

Mit einer Retraktion sollte eine Publikation und ihr gesamter Inhalt sowohl aus dem Speicher der Wissenschaftsgemeinde als auch aus dem öffentlichen Bewusstsein getilgt sein – so als hätte sie nie existiert. Jedoch existiert kein Automatismus, jeden einzelnen Forschungstreibenden – geschweige denn die öffentliche Wahrnehmung – über widerrufene Artikel in Kenntnis zu setzen.

Zudem gibt es manchmal auch keine andere als die zurückgezogene Publikation, die zum Beispiel eine bestimmte Methode beschreibt. Überhaupt muss ja nicht alles an einem zurückgezogenen Artikel falsch sein.

Aus diesen und noch anderen Gründen werden widerrufene Artikel weiterhin zitiert – wenn auch weniger häufig. Also unterbinden Retraktionen demnach wenigstens halbwegs die Verbreitung falscher Information? Nein, nicht einmal das.

Selbst unter den zehn meistgeteilten Publikationen des Jahres 2020 finden sich zwei zurückgezogene Artikel. Und das sind keine Einzelfälle – ganz im Gegenteil. Eine Analyse US-amerikanischer Kommunikationswissenschaftler vom Juni 2022 (PNAS. doi: 10.1073/pnas. 2119086119) zeigt vielmehr, dass später widerrufene Publikationen im Durchschnitt häufiger erwähnt werden als korrekte Artikel. Sie quantifizierten, wie viel Aufmerksamkeit 3.985 widerrufene Artikel vor und nach ihrer Retraktion auf 14 Online-Plattformen erhielten. Im Vergleich zu nicht-zurückgezogenen Artikeln erfreuten sich die fehlerhaften Publikationen tatsächlich höherer Aufmerksamkeit – und zwar nicht nur in sozialen Medien wie Twitter, Facebook und Reddit, sondern vor allem auf kuratierten Plattformen wie Online-Nachrichtendiensten und Internet-Enzyklopädien.  Diesen Beitrag weiterlesen »

„Wissenschaftliches Fehlverhalten ist das auch!“

13. Juli 2022 von Laborjournal

Aus unserer Reihe „Gut gesagt!“ zum Thema „Sampling Bias“:

 

__________________________

 

[…] Selbstverständlich werden in der Exploration beim schrittweisen Einfokussieren auf das gewünschte Phänomen Ergebnisse produziert, die nicht den Erwartungen entsprechen. Was passiert mit diesen? Am ehesten liefern junge PhD-Studenten noch ehrliche Auskunft. Natürlich werden unerwünschte Ergebnisse gerne aussortiert, in die Schublade verbannt, weggeworfen. Oft mit fadenscheinigen Begründungen: „Das Kit war abgelaufen oder schlecht.“ Es werden also häufig Daten auf gewünschte Resultate selektiert. Sampling Bias nennt man das, und wissenschaftliches Fehlverhalten ist das auch. Manche Gruppenleiter bekommen sowas häufig gar nicht mit, weshalb man erstaunt-verärgerte Blicke erntet, wenn dieses Problem thematisiert wird. Andere wiederum benutzen ihre Seniorität um Daten basierend auf ihrer großen Erfahrung auszusortieren. Hier helfen nur Aufklärung, lückenlose Dokumentation und umfassende Supervision. Vertrauen ist falsch, Kontrolle die einzige Alternative. Denn Sampling Bias hat selbstverständlich verheerende Auswirkung auf die Repräsentativität der Ergebnisse – wofür sind schon subjektiv ausgewählte Daten stellvertretend? […]

 

__________________________

 

 

… Schrieb Tobias Straub, Leiter der Bioinformatik am Biomedizinischen Centrum der Universität München, in Laborjournal 7-8/2020 („Make Experimentation Great Again!“, S. 30-33).

 

Vorarbeiten oder schon Fehlverhalten?

6. Juli 2022 von Laborjournal

Ende letzter Woche erreichte uns eine Pressemitteilung der Deutschen Forschungsgemeinschaft (DFG), in der sie wieder einmal über die Verhängung von sanktionierenden Maßnahmen wegen wissenschaftlichen Fehlverhaltens informierte. Es ging um drei verhandelte Fälle, bei denen sie – wie immer – die Namen der „Schuldigen“ nicht nennt. So heißt es etwa zu „Fall Nummer 2“ im Wortlaut:

Im zweiten Fall war einem Wissenschaftler vorgeworfen worden, er habe in einem Förderantrag zahlreiche relevante und bereits erzielte Forschungsergebnisse nicht als solche benannt, sondern als Forschungsziele und Teile des Arbeitsprogramms formuliert. Dadurch habe er zu einem bedeutenden Anteil Fördermittel für Arbeitsschritte beantragt, die bereits im Vorfeld durchgeführt worden seien. Der Untersuchungsausschuss stellte hier den Tatbestand der unrichtigen wissenschaftsbezogenen Angaben in einem Förderantrag und damit ebenfalls wissenschaftliches Fehlverhalten fest. Er würdigte dabei zwar, dass der Wissenschaftler umfassend und frühzeitig Fehler eingeräumt habe, hielt mit Blick auf den Anteil der betroffenen Passagen dennoch eine Sanktion für notwendig. Auf seinen Vorschlag sprach der Hauptausschuss auch in diesem Fall eine schriftliche Rüge und, da das Kernstück der wissenschaftlichen Arbeit vom Fehlverhalten betroffen sei, zudem einen einjährigen Ausschluss von der Antragsberechtigung aus.

Es ergab sich, dass ich am Rande eines Meetings einem gestandenen Bioforscher kurz diesen Fall referierte. Und dessen spontane Reaktion war genau diejenige, die ich insgeheim erwartet hatte: Er lachte kurz auf und rief aus: „Das macht doch jeder!“

Eben! Bereits vor elf Jahren beschrieben wir dieses „Antrags-Timing“ in unserer Heft-Kolumne „Inkubiert“ (LJ 7-8/2011: 8) folgendermaßen:  Diesen Beitrag weiterlesen »

Nach Fake kommt Deepfake

8. Juni 2022 von Laborjournal

Schon seit einiger Zeit hat die Produktion gefälschter Bilder in Forschungsartikeln rapide zugenommen. Sogenannte Deepfakes könnten das Problem jedoch noch erheblich verschärfen. Dabei werden Bilder nicht mehr manuell im Computer manipuliert, sondern von Grund auf mithilfe Künstlicher Intelligenz (KI) erzeugt.

Deepfake-Blots (aus Wang L. et al., Patterns 3; doi: 10.1016/j.patter.2022.100509).

Vier Forscher der chinesischen Universität Xiamen machten jetzt die Probe aufs Exempel: Sie erstellten via KI Fälschungen von Abbildungen, wie sie typischerweise in wissenschaftlichen Zeitschriften vorkommen, und legten diese einer Reihe von Experten vor. Das ernüchternde Ergebnis: Die Fälschungen waren leicht zu erstellen und praktisch nicht als solche zu erkennen (Patterns 3; doi: 10.1016/j.patter.2022.100509) .

Wie bei Deepfakes oftmals üblich, erzeugten die Chinesen einige ihrer Bilder mit Hilfe eines generativen adversen Netzwerks (GAN). Diesen Beitrag weiterlesen »