In unserer Reihe „Forscher Ernst und die Corona-Pandemie“:
(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)
In unserer Reihe „Forscher Ernst und die Corona-Pandemie“:
(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)
Bisweilen zieht sich eine gewisse kollegiale Schlampigkeit durch die Forscherzunft. Zum Beispiel, wenn es darum geht, Kolleginnen und Kollegen auf Anfrage weitere Informationen zu den eigenen publizierten Studien mitzuteilen. Dazu berichten wir beispielsweise Folgendes unter „Inkubiert“ in unserem aktuellen Heft:
Dass gerade Letzteres es häufig nahezu unmöglich macht, publizierte Ergebnisse durch „Nachkochen“ zu bestätigen, illustriert eine frische Arbeit zur Replizierbarkeit von Studien aus der präklinischen Krebsforschung (eLife 10: e67995). Insgesamt wollten deren Autoren 193 Experimente aus 53 Arbeiten replizieren. Jedoch fehlten darin zu viele wichtige Informationen über Methodik und Ergebnisse – oder waren zumindest ungenügend. Am Ende konnten sie für kein einziges Experiment ein Protokoll zu dessen Wiederholung entwerfen, ohne die Originalautoren um klärende Details zu bitten. Allerdings antwortete jeder Dritte von ihnen daraufhin überhaupt nicht, und nur ein Viertel lieferte wirklich hilfreiche Unterstützung.
Und siehe da, gerade eben sind wir über eine weitere Studie gestolpert, die ganz frisch über ähnlich schwaches Verhalten hinsichtlich Data Sharing berichtet. Ihr Titel lautet „Frequency of receiving requested data for a systematic review and associated factors: A cross-sectional study“, verfasst hat sie ein brasilianisches Autorenteam (Account. Res. 29(3): 165-77). Sinngemäß übersetzt steht als Kernergebnis im Abstract:
Ziel dieser Studie war es abzuschätzen, wie häufig man Daten erhält, die für das Verfassen eines systematischen Reviews angefordert wurden. Dazu kontaktierten wir per E-Mail Autoren von Studien mit dem Anliegen, dass wir zusätzliche Daten von ihnen benötigten. […] Von den 164 angeschriebenen Studien antworteten 110 (67,1 %), 51 schickten angeforderte Daten (31,1 %). Die mittlere Zeit bis zum Erhalt einer Antwort […] betrug 36 Tage. […] Das Anfordern von Daten für einen systematischen Review kostete folglich viel Zeit und hatte überhaupt nur bei drei von zehn Studien Erfolg.
Könnte es sein, dass die ach so gerne beschworene Scientific Community in punkto kollegiales Verhalten doch deutlich mehr Luft nach oben hat, als viele von ihrer eigenen Zunft gerne wahrhaben wollen? Und dass man vom hehren Ideal des freien Datenaustauschs zugunsten einer Open Science weiter entfernt ist, als man dachte? Schließlich scheint dieser ja noch nicht einmal auf direkte Nachfrage gut zu klappen.
Ralf Neumann
(Illustr.: pngtree)
Kürzlich fragte der Zürcher Neuropathologe und Prionen-Spezialist Adriano Aguzzi auf seiner Facebook-Seite:
Können wir bitte eine aufgeschlossene, ehrliche und tabufreie Diskussion über wissenschaftlichen Betrug führen? Wie man ihn verhindern kann, und wie man damit umgehen sollte?
Und er startete gleich selbst:
Ich fange mal selber an und behaupte, dass jeder, der denkt, so etwas könne in seinem Labor nicht passieren, sich besser auf böse Überraschungen gefasst machen soll. In meinem Labor ist es jedenfalls passiert.
Insgesamt kamen unter dem Posting noch 50 weitere Kommentare zusammen, die wir hier natürlich weder alle referieren noch zusammenfassen wollen. Einer allerdings gefiel uns besonders gut. Giovanni Giuliano, Forschungsdirektor an der Nationalen Agentur für neue Technologien, Energie und nachhaltige wirtschaftliche Entwicklung (ENEA) in Rom, gab folgendes zu bedenken:
Ein paar Daumenregeln, die in meinem Fall funktioniert haben:
a) Datenmanipulation ist üblich (das Löschen „fehlgeschlagener Proben“ oder gänzlich „gescheiterter Experimente“ aus einem Datensatz ist die Norm, und keineswegs die Ausnahme).
b) Ein veröffentlichter Datensatz kann definitionsgemäß nicht das Universum aller möglichen Variationen repräsentieren, sondern nur diejenigen der Replikationen, die von einer bestimmten Person in einem bestimmten Labor durchgeführt werden.
c) Diese Variation sollte zumindest von einer anderen Person im selben Labor reproduzierbar sein, idealerweise jedoch von einer anderen Person in einem anderen Labor.
d) Wenn die Daten nicht zu deiner Hypothese passen, sei klug: Finde eine bessere Hypothese!
e) Sichere dir Kopien der Primärdaten und lasse sie von neuen Mitarbeitern in deinem Labor bei deren Projektstart erneut analysieren. Dies wirkt eine starke Abschreckung gegen Manipulation.
f) Biologie ist komplex. Egal wie klug du bist, keine biologische Hypothese passt zu all deinen Daten. Versuche demnach unabhängig davon das zu veröffentlichen, was du für gute Daten hältst – auch wenn sie nicht zu deiner Hypothese passen. Jemand anders wird dann entweder zeigen, dass deine Methodik falsch ist, oder eine bessere Erklärung für die Daten finden.
g) Wir sind alle Sünder: Wenn du jemanden dabei erwischst, wie er das Datenpolieren übertreibt, lasse sie oder ihn wissen, dass es um mehr geht als nur um eine Frage der Moral – es geht um Intelligenz! Wie es auf dem Apollo-Tempel in Delphi geschrieben steht: Μηδὲν ἄγαν (Nichts im Übermaß!).
Das lassen wir jetzt mal so stehen. Aber vielleicht weiß ja jemand noch die eine oder andere weitere „Daumenregel“…
Ralf Neumann
Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers – so lautet der Titel eines frischen Scientometrics-Papers von Robin Haunschild und Lutz Bornmann, beide Forschungsevaluations- und Bibliometrie-Spezialisten bei der Max-Planck-Gesellschaft. Ob man methodische Fehler, Daten-Irrtümer, falsche Interpretationen oder gar gezielte Manipulationen in Forschungsartikeln aufgrund entsprechender Hinweise auf Twitter womöglich frühzeitig erkennen könne, wollten sie also wissen.
Übersetzt fassen sie im Abstract als Ergebnis zusammen:
[…] In dieser Fallstudie analysierten wir Tweet-Texte von drei zurückgezogenen Publikationen über COVID-19 […] und deren Retraction Notices. Hinsichtlich einer dieser Publikationen fanden wir keine Frühwarnzeichen in Tweet-Texten, dagegen fanden wir aber Tweets, die bereits kurz nach dem jeweiligen Veröffentlichungsdatum Zweifel an der Gültigkeit der beiden anderen Publikationen aufkommen ließen.
Und sie schlagen daher vor:
Eine Erweiterung unserer aktuellen Arbeit könnte zu einem Frühwarnsystem führen, das die wissenschaftliche Gemeinschaft auf Probleme mit bestimmten Publikationen aufmerksam macht. Andere Quellen, wie beispielsweise Blogs oder Post-Publication-Peer-Review-Seiten könnten in ein solches Frühwarnsystem einbezogen werden. Die in dieser Fallstudie vorgeschlagene Methodik sollte daher anhand größerer Publikationsmengen validiert werden – und zudem Publikationen als Kontrollgruppe enthalten, die nicht zurückgezogen wurden.
Damit unterfüttern die beiden Autoren das, was unser „Wissenschaftsnarr“ in seiner Laborjournal-Kolumne vor einem halben Jahr folgendermaßen als Beobachtung preisgab:
[…] Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt.
Gerade in der Forschung finden ja nicht wenige Twitter und Co. „eher nervig“. Von solcher Art „Gezwitscher“ könnten wir uns aber dennoch alle sicherlich mehr wünschen.
Weitere Beobachtungen oder Meinungen dazu?
Ralf Neumann
Bevor die Gelder eines bewilligten Förderantrags fließen, muss man einen gewissen Regelkatalog unterschreiben — unter anderem mit dem Ziel, dass man ja kein Schindluder mit den Fördermitteln treibe. Einige dieser Regeln können in der Praxis jedoch leicht zu gewissen Absurditäten führen…
Ein Beispiel hierfür liefert wiederum die Umfragestudie „Normal Misbehavior: Scientists Talk About the Ethics of Research“, aus der wir uns schon für den letzten Beitrag bedienten (J. Empir. Res. Hum. Res. Ethics 1(1): 43-50). Diese zitiert einen Befragten — sinngemäß übersetzt — folgendermaßen:
Sagen wir, ich habe zwei verschiedene Grants. Jetzt muss ich zwei Flaschen der gleichen Chemikalie kaufen, weil ich etwas, das ich mit Geldern des einen Grants angeschafft habe, nicht für Projekte verwenden darf, die von einem anderen Geldgeber gefördert werden. Wenn ich also Grants von fünf verschiedenen Förderern habe, muss ich theoretisch auch fünf Flaschen der gleichen Chemikalie kaufen. Und ich muss jedes Mal unterschreiben, dass der aufgewendete Betrag aus dem Topf mit denjenigen Mitteln stammt, die genau für dieses Projekt bewilligt wurden. Womit ich zugleich umgekehrt bestätige, dass ich das Zeug auch ausschließlich für dieses eine Projekt kaufe und einsetze… Aber natürlich mache ich das nicht so, sondern benutze ein und dieselbe Flasche in allen Projekten.
Wäre ja auch völlig verrückt, für jedes einzelne Projekt jeweils ein eigenes Set an Standard-Chemikalien wie etwa NaCl oder Agarose anzuschaffen.
Natürlich steht diese Regel irgendwo unter vielen, die allesamt dazu dienen sollen, potenziel-lem Grant-Missbrauch vorzubeugen. Was ja tatsächlich ein gerechtfertigtes Ziel ist. Wenn die Einhaltung dieser Regeln allerdings in der Praxis wiederholt zu derart abstrusen Situationen führt, wie hier geschildert, dann dürfte man wohl eher etwas anderes erreichen: Dass die Betroffenen sich stets überlegen, wie sie sich um solche Regeln herummogeln können.
Entsprechend schlussfolgern auch die Autoren der Umfrage aus dem geschilderten und weiteren Beispielen:
Es gibt zu viele solcher Regeln. Und viele versuchen, sie zu umgehen, ohne dabei eine gewisse Grenze zu überschreiten. […] Dennoch hielten unsere Befragten fest, dass diese Fülle von Regeln — von denen sie viele als unnötig und zu weit gehend empfinden — am Ende leicht zu tatsächlichem Fehlverhalten führen kann.
Ralf Neumann
Es war einmal ein Editor. Dies war er noch nicht lange, denn er war noch ein sehr junger Forscher. Umso stolzer machte ihn seine erste Berufung in ein Editorial Board. Schließlich durfte er das durchaus als unmittelbare Wertschätzung seiner Forschungsarbeiten deuten. Und als Aufnahme in einen gewissen, wie auch immer gearteten „Club“.
Jetzt stand sein erstes Treffen mit dem gesamten Board an, bei dem wie in jedem Jahr die Editorial Policy kritisch geprüft sowie die Schwerpunkte neu fokussiert wurden. Unser junger Mann war beeindruckt von der Routine, mit der die erfahrenen Forscher und langjährigen Editoren die Dinge auf den Punkt brachten. Alles war so, wie er es sich vorgestellt hatte.
Vor allem publikationsethisch schien unserem jungen Editor alles einwandfrei. Das war ihm besonders wichtig in diesen Tagen des „Publish or perish“ und der immer aggressiveren Konkurrenz zwischen den Journalen. „Nein, alles auf einem guten Weg hier“, dachte er. „Und ich bin dabei.“
Blieb nur noch das Abschluss-Bankett. Bei diesem nahm ihn plötzlich der Chief Editor persönlich beiseite. Diesen Beitrag weiterlesen »
Schau mal an! Wieder eine E-Mail eines… — nun ja, verärgerten Nachwuchsforschers. Beschwert sich, dass er nicht als Co-Autor mit auf das jüngste Paper seiner Gruppe genommen wurde. Totaler Skandal, weil er das natürlich klar verdient gehabt hätte — mehr noch als der konkrete Zweitautor. Ob wir das nicht öffentlich machen könnten. Solches Unrecht gehöre schließlich mal an den Pranger gestellt. Und nein — ihm selbst könne nix mehr passieren, da er inzwischen die Gruppe gewechselt habe. Aber sauer sei er natürlich immer noch…
Etwa ein Dutzend solcher E-Mails bekommen wir im Jahr. Einige Male haben wir tatsächlich nachgefragt. Und stets war „der Fall“ kaum objektiv darstellbar. Bisweilen schien es sogar ziemlich plausibel, warum der „Kläger“ letztlich nicht mit auf dem besagten Paper stand.
Dabei werden offenbar tatsächlich die Nachwuchsforscher vom Postdoc bis zum Master-Studenten mit am ehesten aus den Autorenlisten draußen gelassen. Zumindest war dies eines der Ergebnisse einer Umfrage der beiden US-Soziologen John Walsh und Sahra Jabbehdari aus dem Jahr 2017. Und die hatten dazu in den USA einige Leute mehr befragt als wir hier: Am Ende konnten sie die Angaben von 2.300 Forschern zu deren eigenen Publikationen auswerten (Sci. Technol. Human Values 42(5): 872-900).
Machen wir’s kurz:
» Nach Walsh und Jabbehdari listete ein Drittel der Artikel aus Biologie, Physik und Sozialwissenschaften mindestens einen „Gastautor“ mit auf, dessen Beitrag die Anforderungen für eine Co-Autorenschaft eigentlich nicht erfüllte. Angesichts von Ehren- und Gefälligkeits-Autorschaften wie auch ganzen Co-Autor-Kartellen war ein solch hoher Anteil womöglich zu erwarten.
» Viel erstaunlicher dagegen mutet jedoch der noch höhere Anteil an Artikeln an, auf denen ein oder mehrere Co-Autoren verschwiegen wurden, die wegen ihres Beitrags zur Studie eigentlich mit aufgelistet gehört hätten. Die befragten Forscher gaben an, dass hinter ganzen 55 Prozent ihrer Artikel noch mindestens ein weiterer „Geister-Autor“ gestanden hätte. Biologie und Medizin lagen genau in diesem Schnitt, während Ingenieurs-, Umwelt- und Agrarwissenschaften noch deutlich höher lagen. Den niedrigsten Anteil an „Geister-Autoren“ ermittelten die Verfasser mit 40 Prozent für die Mathematik und Computerwissenschaften.
» Und wer wurde hierbei bevorzugt „verschwiegen“? Neben Technischen Angestellten interessanterweise eher Postdocs als „Graduate Students“, also Doktoranden und Master-Studenten. In der Medizin lag der Anteil der Postdocs unter den „Verschwiegenen“ etwa bei 28 Prozent gegenüber 16 Prozent „Graduate Students“; in der Biologie betrug dasselbe Verhältnis 21 gegenüber 15 Prozent.
In der Summe heißt das also, dass in den Autorenzeilen jeder fünften Veröffentlichung aus den Medizin- und Biowissenschaften mindestens ein Nachwuchsforscher fehlt, der die Nennung eigentlich verdient gehabt hätte. Sicher lässt sich einwerfen, dass die gleiche Befragung in Europa womöglich andere Zahlen liefern würde. Aber würden Sie, liebe Leser, eine Voraussage wagen, in welche Richtung sich die geschilderten US-Verhältnisse dann verschieben könnten?
Wir meinen, angesichts der Bedeutung, die Co-Autorenschaften heutzutage für wissenschaftliche Karrieren haben, liefern bereits die US-Zahlen alleine ziemlich verstörende Erkenntnisse. Und für uns daher ein Grund mehr, um E-Mails wie der oben erwähnten tatsächlich nachzugehen.
Ralf Neumann