Bekannter durch Retractions

20. Juli 2022 von Laborjournal

Eine Retraktion Ihres neuesten Artikels wäre das Beste, das Ihnen passieren kann – zumindest hinsichtlich Ihres Bekanntheitsgrades. Diese Aussage macht keinen Sinn, finden Sie? Schließlich kann eine widerrufene Publikation nicht mehr zitiert werden – schon allein weil sie Fehler enthält? Weit gefehlt.

Sicher ist es nicht Ihr Ziel, zu publizieren, um Ihre Publikation zurückgezogen zu sehen. Trotzdem geschah das – entweder infolge von Täuschungsversuchen oder infolge ehrlicher Fehler – laut der Datenbank von Retraction Watch im letzten Jahrzehnt jedes Jahr durchschnittlich 15 Prozent häufiger als noch im Jahr zuvor (siehe Tabelle).

Mit einer Retraktion sollte eine Publikation und ihr gesamter Inhalt sowohl aus dem Speicher der Wissenschaftsgemeinde als auch aus dem öffentlichen Bewusstsein getilgt sein – so als hätte sie nie existiert. Jedoch existiert kein Automatismus, jeden einzelnen Forschungstreibenden – geschweige denn die öffentliche Wahrnehmung – über widerrufene Artikel in Kenntnis zu setzen.

Zudem gibt es manchmal auch keine andere als die zurückgezogene Publikation, die zum Beispiel eine bestimmte Methode beschreibt. Überhaupt muss ja nicht alles an einem zurückgezogenen Artikel falsch sein.

Aus diesen und noch anderen Gründen werden widerrufene Artikel weiterhin zitiert – wenn auch weniger häufig. Also unterbinden Retraktionen demnach wenigstens halbwegs die Verbreitung falscher Information? Nein, nicht einmal das.

Selbst unter den zehn meistgeteilten Publikationen des Jahres 2020 finden sich zwei zurückgezogene Artikel. Und das sind keine Einzelfälle – ganz im Gegenteil. Eine Analyse US-amerikanischer Kommunikationswissenschaftler vom Juni 2022 (PNAS. doi: 10.1073/pnas. 2119086119) zeigt vielmehr, dass später widerrufene Publikationen im Durchschnitt häufiger erwähnt werden als korrekte Artikel. Sie quantifizierten, wie viel Aufmerksamkeit 3.985 widerrufene Artikel vor und nach ihrer Retraktion auf 14 Online-Plattformen erhielten. Im Vergleich zu nicht-zurückgezogenen Artikeln erfreuten sich die fehlerhaften Publikationen tatsächlich höherer Aufmerksamkeit – und zwar nicht nur in sozialen Medien wie Twitter, Facebook und Reddit, sondern vor allem auf kuratierten Plattformen wie Online-Nachrichtendiensten und Internet-Enzyklopädien.  Diesen Beitrag weiterlesen »

„Wissenschaftliches Fehlverhalten ist das auch!“

13. Juli 2022 von Laborjournal

Aus unserer Reihe „Gut gesagt!“ zum Thema „Sampling Bias“:

 

__________________________

 

[…] Selbstverständlich werden in der Exploration beim schrittweisen Einfokussieren auf das gewünschte Phänomen Ergebnisse produziert, die nicht den Erwartungen entsprechen. Was passiert mit diesen? Am ehesten liefern junge PhD-Studenten noch ehrliche Auskunft. Natürlich werden unerwünschte Ergebnisse gerne aussortiert, in die Schublade verbannt, weggeworfen. Oft mit fadenscheinigen Begründungen: „Das Kit war abgelaufen oder schlecht.“ Es werden also häufig Daten auf gewünschte Resultate selektiert. Sampling Bias nennt man das, und wissenschaftliches Fehlverhalten ist das auch. Manche Gruppenleiter bekommen sowas häufig gar nicht mit, weshalb man erstaunt-verärgerte Blicke erntet, wenn dieses Problem thematisiert wird. Andere wiederum benutzen ihre Seniorität um Daten basierend auf ihrer großen Erfahrung auszusortieren. Hier helfen nur Aufklärung, lückenlose Dokumentation und umfassende Supervision. Vertrauen ist falsch, Kontrolle die einzige Alternative. Denn Sampling Bias hat selbstverständlich verheerende Auswirkung auf die Repräsentativität der Ergebnisse – wofür sind schon subjektiv ausgewählte Daten stellvertretend? […]

 

__________________________

 

 

… Schrieb Tobias Straub, Leiter der Bioinformatik am Biomedizinischen Centrum der Universität München, in Laborjournal 7-8/2020 („Make Experimentation Great Again!“, S. 30-33).

 

Vorarbeiten oder schon Fehlverhalten?

6. Juli 2022 von Laborjournal

Ende letzter Woche erreichte uns eine Pressemitteilung der Deutschen Forschungsgemeinschaft (DFG), in der sie wieder einmal über die Verhängung von sanktionierenden Maßnahmen wegen wissenschaftlichen Fehlverhaltens informierte. Es ging um drei verhandelte Fälle, bei denen sie – wie immer – die Namen der „Schuldigen“ nicht nennt. So heißt es etwa zu „Fall Nummer 2“ im Wortlaut:

Im zweiten Fall war einem Wissenschaftler vorgeworfen worden, er habe in einem Förderantrag zahlreiche relevante und bereits erzielte Forschungsergebnisse nicht als solche benannt, sondern als Forschungsziele und Teile des Arbeitsprogramms formuliert. Dadurch habe er zu einem bedeutenden Anteil Fördermittel für Arbeitsschritte beantragt, die bereits im Vorfeld durchgeführt worden seien. Der Untersuchungsausschuss stellte hier den Tatbestand der unrichtigen wissenschaftsbezogenen Angaben in einem Förderantrag und damit ebenfalls wissenschaftliches Fehlverhalten fest. Er würdigte dabei zwar, dass der Wissenschaftler umfassend und frühzeitig Fehler eingeräumt habe, hielt mit Blick auf den Anteil der betroffenen Passagen dennoch eine Sanktion für notwendig. Auf seinen Vorschlag sprach der Hauptausschuss auch in diesem Fall eine schriftliche Rüge und, da das Kernstück der wissenschaftlichen Arbeit vom Fehlverhalten betroffen sei, zudem einen einjährigen Ausschluss von der Antragsberechtigung aus.

Es ergab sich, dass ich am Rande eines Meetings einem gestandenen Bioforscher kurz diesen Fall referierte. Und dessen spontane Reaktion war genau diejenige, die ich insgeheim erwartet hatte: Er lachte kurz auf und rief aus: „Das macht doch jeder!“

Eben! Bereits vor elf Jahren beschrieben wir dieses „Antrags-Timing“ in unserer Heft-Kolumne „Inkubiert“ (LJ 7-8/2011: 8) folgendermaßen:  Diesen Beitrag weiterlesen »

Nach Fake kommt Deepfake

8. Juni 2022 von Laborjournal

Schon seit einiger Zeit hat die Produktion gefälschter Bilder in Forschungsartikeln rapide zugenommen. Sogenannte Deepfakes könnten das Problem jedoch noch erheblich verschärfen. Dabei werden Bilder nicht mehr manuell im Computer manipuliert, sondern von Grund auf mithilfe Künstlicher Intelligenz (KI) erzeugt.

Deepfake-Blots (aus Wang L. et al., Patterns 3; doi: 10.1016/j.patter.2022.100509).

Vier Forscher der chinesischen Universität Xiamen machten jetzt die Probe aufs Exempel: Sie erstellten via KI Fälschungen von Abbildungen, wie sie typischerweise in wissenschaftlichen Zeitschriften vorkommen, und legten diese einer Reihe von Experten vor. Das ernüchternde Ergebnis: Die Fälschungen waren leicht zu erstellen und praktisch nicht als solche zu erkennen (Patterns 3; doi: 10.1016/j.patter.2022.100509) .

Wie bei Deepfakes oftmals üblich, erzeugten die Chinesen einige ihrer Bilder mit Hilfe eines generativen adversen Netzwerks (GAN). Diesen Beitrag weiterlesen »

Irgendwie ein Corona-Paper

13. April 2022 von Laborjournal

In unserer Reihe „Forscher Ernst und die Corona-Pandemie“:

 

(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

 

Schwaches Data Sharing

24. März 2022 von Laborjournal

Bisweilen zieht sich eine gewisse kollegiale Schlampigkeit durch die Forscherzunft. Zum Beispiel, wenn es darum geht, Kolleginnen und Kollegen auf Anfrage weitere Informationen zu den eigenen publizierten Studien mitzuteilen. Dazu berichten wir beispielsweise Folgendes unter „Inkubiert“  in unserem aktuellen Heft:

Dass gerade Letzteres es häufig nahezu unmöglich macht, publizierte Ergebnisse durch „Nachkochen“ zu bestätigen, illustriert eine frische Arbeit zur Replizierbarkeit von Studien aus der präklinischen Krebsforschung (eLife 10: e67995). Insgesamt wollten deren Autoren 193 Experimente aus 53 Arbeiten replizieren. Jedoch fehlten darin zu viele wichtige Informationen über Methodik und Ergebnisse – oder waren zumindest ungenügend. Am Ende konnten sie für kein einziges Experiment ein Protokoll zu dessen Wiederholung entwerfen, ohne die Originalautoren um klärende Details zu bitten. Allerdings antwortete jeder Dritte von ihnen daraufhin überhaupt nicht, und nur ein Viertel lieferte wirklich hilfreiche Unterstützung.

Und siehe da, gerade eben sind wir über eine weitere Studie gestolpert, die ganz frisch über ähnlich schwaches Verhalten hinsichtlich Data Sharing berichtet. Ihr Titel lautet „Frequency of receiving requested data for a systematic review and associated factors: A cross-sectional study“, verfasst hat sie ein brasilianisches Autorenteam (Account. Res. 29(3): 165-77). Sinngemäß übersetzt steht als Kernergebnis im Abstract:

Ziel dieser Studie war es abzuschätzen, wie häufig man Daten erhält, die für das Verfassen eines systematischen Reviews angefordert wurden. Dazu kontaktierten wir per E-Mail Autoren von Studien mit dem Anliegen, dass wir zusätzliche Daten von ihnen benötigten. […] Von den 164 angeschriebenen Studien antworteten 110 (67,1 %), 51 schickten angeforderte Daten (31,1 %). Die mittlere Zeit bis zum Erhalt einer Antwort […] betrug 36 Tage. […] Das Anfordern von Daten für einen systematischen Review kostete folglich viel Zeit und hatte überhaupt nur bei drei von zehn Studien Erfolg.

Könnte es sein, dass die ach so gerne beschworene Scientific Community in punkto kollegiales Verhalten doch deutlich mehr Luft nach oben hat, als viele von ihrer eigenen Zunft gerne wahrhaben wollen? Und dass man vom hehren Ideal des freien Datenaustauschs zugunsten einer Open Science weiter entfernt ist, als man dachte? Schließlich scheint dieser ja noch nicht einmal auf direkte Nachfrage gut zu klappen.

Ralf Neumann

(Illustr.: pngtree)

Hilft Training gegen unethische Forschungspraxis?

16. März 2022 von Laborjournal

Letzte Woche ist unser neues Heft 3/2022 erschienen – und darin ab Seite 21 der Artikel „Gute wissenschaftliche Praxis – ein alter Hut, oder!?“ von Henrik Müller.

Im Vorspann des Artikels heißt es:

Wissenschaftsskandale entstammen häufig den Lebenswissenschaften. Mangelt es Biologen und Medizinern an Integrität? Oder existieren einfach nur keine guten wissenschaftsethischen Fortbildungsver­an­stal­tun­gen?

Es geht also um folgendes:

Nachdem inzwischen schon lange Richtlinien, Regeln und Verhaltenskodizes für Integrität in der Forschung formuliert und ausgegeben sind, könnte man doch meinen, dass man der Forscherzunft die entsprechenden Inhalte nur eindringlich beibringen müsste – und schon wären Forschungsfälschung und Reproduzierbarkeitskrise samt zugehörigem Vertrauensverlust weitgehend Geschichte. Und so wurden für den wissenschaftlichen Nachwuchs an vielen Orten verpflichtende Lehrveranstaltungen über Integrität in der Forschung aus dem Boden gestampft.

Soweit also die Theorie! Aber wie sieht die Praxis aus? Wie kann wissenschaftliche Integrität erfolgreich gelehrt werden? Genau das hat sich unser Autor Henrik Müller für seinen Artikel anhand konkreter Beispiele einmal genauer angeschaut …

Doch kaum war das Heft mit dem Artikel in der Druckerei, stieß unser Chefredakteur in Times Higher Education auf einen Artikel mit dem Titel „Around one in 12 postgraduate researchers would publish fraudulent results if it helped them get ahead, says study“. Darin wurde eine internationale Studie zusammengefasst, die gerade in Frontiers of Psychology (doi: 10.3389/fpsyg.2021.621547) erschienen war – und in deren Abstract die Autoren sinngemäß schreiben:

Betrügerische oder unethische Forschungspraktiken haben über die wissenschaftliche Welt hinaus für viel Aufsehen gesorgt. Will man die Wissenschaft indes verbessern, muss man in der Ausbildung von der Doktoranden damit beginnen. Schließlich sind sie die Wissenschaftler von morgen.

In vier Studien mit 765 Doktoranden untersuchten wir daher, ob Doktoranden zwischen ethischen und unethischen oder sogar betrügerischen Forschungspraktiken unterscheiden können. Überdies prüften wir die Bereitschaft der Doktoranden, Forschungsergebnisse aus zweifelhaften Praktiken zu veröffentlichen – und testeten, ob die Entscheidung durch Druck von Vorgesetzten oder Kollegen beeinflusst wird. Parallel befragten wir 36 akademische Führungskräfte (Dekane, Prodekane und AG-Leiter) und baten sie vorherzusagen, wie sich die Doktoranden in den hypothetischen Szenarien verhalten würden.

Unsere Ergebnisse zeigen, dass einige Doktoranden relativ schnell bereit sind, Ergebnisse zu veröffentlichen, die durch offenkundigen Betrug und Datenfälschung zustandekommen. Alarmierend dabei ist, dass einige Hochschullehrer dieses Verhalten unterschätzen. Offenbar müssen diese stärker im Blick haben, dass Doktoranden unter größerem Druck stehen können, als ihnen bewusst ist – und dass sie daher besonders anfällig für die Anwendung von fragwürdigen Forschungspraktiken sein können.

In konkreten Zahlen kam bei der Umfrage heraus, dass etwa jede zwölfte Doktorandin oder Doktorand bereit wären, unsaubere Daten zu veröffentlichen, wenn dies für die weitere akademische Karriere von Nutzen wäre.

Die Frage ist nun, ob man diesen Anteil durch besseres Research Integrity Training noch weiter nach unten drücken könnte? Dazu bemerkte der belgische Erstautor Rens van de Schoot in dem Times-Higher-Education-Artikel mit Blick auf die eigenen Umfrageergebnisse ziemlich ernüchternd:

Sicher, man hätte erwarten können, dass eine Schulung oder Fortbildung in Forschungsethik einen Unterschied macht – aber das war nicht der Fall.

Auch in unserem Artikel berichtete ein Veranstalter von Research-Integrity-Kursen, dass die Teilnehmerinnen und Teilnehmer hinterher zwar besser über gute und schlechte Forschungspraxis bescheid wüssten. Ob damit auch deren eigene moralische Urteilskraft gereift sei, wagte er allerdings nicht zu beurteilen. Um dies zu ermöglichen, wäre es vor allem wünschenswert, wenn die Dozenten solcher Kurse sich öfter als bisher die Mühe machen würden, den Lehrerfolg ihrer Veranstaltungen zu evaluieren.

Ralf Neumann

 

Forschungsbetrug im eigenen Labor vermeiden? — Ein paar Daumenregeln.

26. Mai 2021 von Laborjournal

Kürzlich fragte der Zürcher Neuropathologe und Prionen-Spezialist Adriano Aguzzi auf seiner Facebook-Seite:

Können wir bitte eine aufgeschlossene, ehrliche und tabufreie Diskussion über wissenschaftlichen Betrug führen? Wie man ihn verhindern kann, und wie man damit umgehen sollte?

Und er startete gleich selbst:

Ich fange mal selber an und behaupte, dass jeder, der denkt, so etwas könne in seinem Labor nicht passieren, sich besser auf böse Überraschungen gefasst machen soll. In meinem Labor ist es jedenfalls passiert.

Insgesamt kamen unter dem Posting noch 50 weitere Kommentare zusammen, die wir hier natürlich weder alle referieren noch zusammenfassen wollen. Einer allerdings gefiel uns besonders gut. Giovanni Giuliano, Forschungsdirektor an der Nationalen Agentur für neue Technologien, Energie und nachhaltige wirtschaftliche Entwicklung (ENEA) in Rom, gab folgendes zu bedenken:

Ein paar Daumenregeln, die in meinem Fall funktioniert haben:

a) Datenmanipulation ist üblich (das Löschen „fehlgeschlagener Proben“ oder gänzlich „gescheiterter Experimente“ aus einem Datensatz ist die Norm, und keineswegs die Ausnahme).

b) Ein veröffentlichter Datensatz kann definitionsgemäß nicht das Universum aller möglichen Variationen repräsentieren, sondern nur diejenigen der Replikationen, die von einer bestimmten Person in einem bestimmten Labor durchgeführt werden.

c) Diese Variation sollte zumindest von einer anderen Person im selben Labor reproduzierbar sein, idealerweise jedoch von einer anderen Person in einem anderen Labor.

d) Wenn die Daten nicht zu deiner Hypothese passen, sei klug: Finde eine bessere Hypothese!

e) Sichere dir Kopien der Primärdaten und lasse sie von neuen Mitarbeitern in deinem Labor bei deren Projektstart erneut analysieren. Dies wirkt eine starke Abschreckung gegen Manipulation.

f) Biologie ist komplex. Egal wie klug du bist, keine biologische Hypothese passt zu all deinen Daten. Versuche demnach unabhängig davon das zu veröffentlichen, was du für gute Daten hältst – auch wenn sie nicht zu deiner Hypothese passen. Jemand anders wird dann entweder zeigen, dass deine Methodik falsch ist, oder eine bessere Erklärung für die Daten finden.

g) Wir sind alle Sünder: Wenn du jemanden dabei erwischst, wie er das Datenpolieren übertreibt, lasse sie oder ihn wissen, dass es um mehr geht als nur um eine Frage der Moral – es geht um Intelligenz! Wie es auf dem Apollo-Tempel in Delphi geschrieben steht: Μηδὲν ἄγαν (Nichts im Übermaß!).

Das lassen wir jetzt mal so stehen. Aber vielleicht weiß ja jemand noch die eine oder andere weitere „Daumenregel“…

Ralf Neumann

 

Gezwitscherte Paper-Probleme

28. April 2021 von Laborjournal

Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers – so lautet der Titel eines frischen Scientometrics-Papers von Robin Haunschild und Lutz Bornmann, beide Forschungsevaluations- und Bibliometrie-Spezialisten bei der Max-Planck-Gesellschaft. Ob man methodische Fehler, Daten-Irrtümer, falsche Interpretationen oder gar gezielte Manipulationen in Forschungsartikeln aufgrund entsprechender Hinweise auf Twitter womöglich frühzeitig erkennen könne, wollten sie also wissen.

Übersetzt fassen sie im Abstract als Ergebnis zusammen:

[…] In dieser Fallstudie analysierten wir Tweet-Texte von drei zurückgezogenen Publikationen über COVID-19 […] und deren Retraction Notices. Hinsichtlich einer dieser Publikationen fanden wir keine Frühwarnzeichen in Tweet-Texten, dagegen fanden wir aber Tweets, die bereits kurz nach dem jeweiligen Veröffentlichungsdatum Zweifel an der Gültigkeit der beiden anderen Publikationen aufkommen ließen.

Und sie schlagen daher vor:

Eine Erweiterung unserer aktuellen Arbeit könnte zu einem Frühwarnsystem führen, das die wissenschaftliche Gemeinschaft auf Probleme mit bestimmten Publikationen aufmerksam macht. Andere Quellen, wie beispielsweise Blogs oder Post-Publication-Peer-Review-Seiten könnten in ein solches Frühwarnsystem einbezogen werden. Die in dieser Fallstudie vorgeschlagene Methodik sollte daher anhand größerer Publikationsmengen validiert werden – und zudem Publikationen als Kontrollgruppe enthalten, die nicht zurückgezogen wurden.

Damit unterfüttern die beiden Autoren das, was unser „Wissenschaftsnarr“ in seiner Laborjournal-Kolumne vor einem halben Jahr folgendermaßen als Beobachtung preisgab:

[…] Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt.

Gerade in der Forschung finden ja nicht wenige Twitter und Co. „eher nervig“. Von solcher Art „Gezwitscher“ könnten wir uns aber dennoch alle sicherlich mehr wünschen.

Weitere Beobachtungen oder Meinungen dazu?

Ralf Neumann

 

Lobet und preiset saubere Retractions!

20. Januar 2021 von Laborjournal

Stellen Sie sich vor: Sie stoßen auf einen Artikel, der laut Titel für Ihr Forschungsprojekt interessant sein könnte – aber sehen sogleich, dass er zurückgezogen wurde. Einen Klick weiter landen Sie bei der Retraction Notice – und lesen lediglich die dünnen Worte: „This article has been withdrawn.“

„Kryptischer geht’s nicht mehr“, denken Sie. Und zurück bleiben Fragen. Wer hat den Artikel zurückgezogen? Waren es die Autoren, der Editor – oder alle zusammen? Und warum wurde das Paper zurückgezogen? Gab es Messfehler? War etwas nicht reproduzierbar – und wenn ja, was genau? Traten Inkonsistenzen in den Daten zutage, sodass die Schlussfolgerungen nicht mehr haltbar waren? Oder schlimmer: Hat da jemand schlampig gearbeitet? Womöglich sogar bewusst Daten gefälscht?

„Wenn die so wenig dazu schreiben, wird es wohl Fälschung sein“, denken Sie. „Die wollen die Autoren halt nicht an den Pranger stellen.“ Und schon haben Sie den Autoren womöglich Unrecht getan.

Wundern muss das bei derart „zurückhaltender“ Informationspolitik allerdings nicht. Zumal das Beispiel keinen Einzelfall darstellt. Kürzlich erst präsentierte etwa ein vietnamesischer Autor eine Analyse von zweitausend Retraction Notices aus den Jahren 1975 bis 2019 (Learn. Publ. 33: 119-130). Eines seiner Ergebnisse: Über die Hälfte spezifizierte nicht, wer die Retraction initiiert hatte, fast jede zehnte war gar ohne jegliche Notice erschienen. Und wenn die Gründe für die Rücknahme erklärt wurden, dann oft nur ansatzweise und kaum nachvollziehbar.

Diese fehlende Transparenz ist sicher ein Hauptgrund dafür, dass Retractions einen derart schlechten Ruf haben. Mit der Folge, dass Journals sie am liebsten vermeiden oder wenigstens ganz weit hinten verstecken möchten.

Schlimmer aber ist, dass die vielen ehrlichen Forscher, die redliche Mängel in ihren eigenen Artikeln aufspüren und sie via Retraction den Kollegen anzeigen wollen, daher Angst vor Stigmatisierung haben müssen. Weil es ihnen vorkommen muss, als schlüge ihnen ein zurückgezogenes Paper eine hässliche Narbe in die Publikationsliste. Und dass sie sich daher womöglich lieber still verhalten.

Dabei würden sie doch im anderen Fall einen der höchsten Werte unserer Wissenschaftskultur hochhalten: die Selbstkorrektur. Wofür sie – ganz im Gegenteil – eigentlich gelobt und gepreist gehörten.

Ralf Neumann