Soll Peer Review Fälschung aufdecken? – 2.0

22. November 2023 von Laborjournal

Im Wall Street Journal erschien unlängst ein Artikel mit dem Titel „What’s Wrong With Peer Review?“ Darin stellt die Autorin die Frage, ob angesichts vieler aufsehenerregender Retractions in der jüngsten Vergangenheit der Peer-Review-Prozess seine Funktion überhaupt noch erfüllt – nämlich zu entscheiden, welche Studien tatsächlich zur Veröffentlichung taugen.

In dem Artikel erregte ein Zitat der Chief-Editorin von Nature, Magdalena Skipper, besondere Aufmerksamkeit. Hinsichtlich des Aufdeckens gezielter Fälschungen in Forschungsartikeln hält sie fest, dass dies keineswegs Job der Reviewer ist – und fügt hinzu:

Ich möchte meine Peer-Reviewer eigentlich nicht als eine Art Polizeikommando ansehen, das solches Fehlverhalten aufspürt.

Schon im Artikel werden Editoren-Kollegen mit anderer Meinung zitiert. Für noch mehr Diskussionen sorgte Skippers Aussage indes in den Sozialen Medien. So wunderte sich etwa die australische Psychologie-Professorin Simine Vazire auf X (ehemals Twitter):

Die Zitate der Nature-Chief-Editorin Magdalena Skipper zur Frage, ob Zeitschriften im Rahmen des Peer-Review auch auf Fehler und Datenqualität prüfen sollten, überraschen mich doch sehr.

Und mit dieser Überraschung war sie bei weitem nicht allein. Diesen Beitrag weiterlesen »

Neues von den Zombies

12. Juli 2023 von Laborjournal

Öfter schon haben wir über „Zombie-Paper“ gemeckert. Artikel also, die trotz erfolgter Retraction munter weiter zitiert werden. Beispielsweise hier, hier und hier.

Um das Problem klarzumachen, schrieben wir etwa:

Eigentlich ist man sich grundsätzlich einig in der Wissenschaft: Wird ein publiziertes Paper zurückgezogen („retracted“) – egal, ob aus ehrenhaften oder unehrenhaften Gründen –, dann gilt es augenblicklich als aus dem Scientific Record entfernt. Mit all seinen Daten und Schlussfolgerungen. Als hätte es nie existiert, als wären die Experimente nie gemacht worden.

Doch leider sieht die Realität gar nicht selten anders aus. Hartnäckig geistern zurückgezogene Veröffentlichungen als putzmuntere Zombies weiter durch den Wissenschaftsbetrieb – und treiben ihr Unwesen vor allem in den Referenzlisten nachfolgender Publikationen. Meist werden sie noch Jahre später zitiert, manche nach der Retraction sogar noch häufiger als vorher.

Jetzt präsentiert ein Team von fünf Informationswissenschaftlerinnen und -wissenschaftlern wieder eine neue Studie zum Thema: „Evolution of retracted publications in the medical sciences: Citations analysis, bibliometrics, and altmetrics trends“ (Account. Res., doi.org/kjfk). Dazu identifizierten sie in der Datenbank Scopus 840 Publikationen, die in den medizinischen Wissenschaften zwischen 2016 bis 2020 zurückgezogen wurden. Diese wurden bis August 2021 insgesamt 5.659 Mal zitiert, 1.559 dieser Zitierungen datierten deutlich nach der Retraktion des zitierten Artikels. Die Rate der „Zombie-Referenzen“ beträgt damit satte 27,5 Prozent.  … Hier geht’s weiter »

Retractions: Bei Corona nichts Neues!

2. November 2022 von Laborjournal

Es ist traurige Tatsache: Viele zurückgezogenen Veröffentlichungen werden nach wie vor zitiert, als ob deren Inhalt weiterhin gültig wäre. Erst vor einem halben Jahr prangerten wir diese Unsitte folgendermaßen an:

Wird ein publiziertes Paper zurückgezogen („retracted“) – egal, ob aus ehrenhaften oder unehrenhaften Gründen –, dann gilt es augenblicklich als aus dem Scientific Record entfernt. Mit all seinen Daten und Schlussfolgerungen. Als hätte es nie existiert, als wären die Experimente nie gemacht worden.

Doch leider sieht die Realität gar nicht mal so selten anders aus. Hartnäckig geistern zurückgezogene Veröffentlichungen als putzmuntere Zombies weiter durch den Wissenschaftsbetrieb – und treiben ihr Unwesen vor allem in den Referenzlisten nachfolgender Veröffentlichungen.

Weitere Auswüchse dieses Elends hatten wir kurz danach in diesem Beitrag thematisiert. Und jetzt kommt frisch der Bericht eines australischen Teams, nach dem die Corona-Pandemie das ganze Übel sogar nochmals extra befeuert: 212 Veröffentlichungen nahmen sich die Autoren vor, die aus dem Gesamtwerk von weit über 200.000 Artikeln zur Corona-Forschung seit Pandemiebeginn zurückgezogen wurden – 2.697 Mal wurden diese insgesamt bis zum Sommer zitiert, im Durchschnitt also sieben Mal pro Publikation.

Insbesondere interessierte das Autorenteam indes der Anteil klinischer Studien an den Retractions. Also nahm es 1.036 Zitierungen entsprechender Veröffentlichungen in eine genauere Analyse – und berichtet folgende Ergebnisse:  Diesen Beitrag weiterlesen »

Bekannter durch Retractions

20. Juli 2022 von Laborjournal

Eine Retraktion Ihres neuesten Artikels wäre das Beste, das Ihnen passieren kann – zumindest hinsichtlich Ihres Bekanntheitsgrades. Diese Aussage macht keinen Sinn, finden Sie? Schließlich kann eine widerrufene Publikation nicht mehr zitiert werden – schon allein weil sie Fehler enthält? Weit gefehlt.

Sicher ist es nicht Ihr Ziel, zu publizieren, um Ihre Publikation zurückgezogen zu sehen. Trotzdem geschah das – entweder infolge von Täuschungsversuchen oder infolge ehrlicher Fehler – laut der Datenbank von Retraction Watch im letzten Jahrzehnt jedes Jahr durchschnittlich 15 Prozent häufiger als noch im Jahr zuvor (siehe Tabelle).

Mit einer Retraktion sollte eine Publikation und ihr gesamter Inhalt sowohl aus dem Speicher der Wissenschaftsgemeinde als auch aus dem öffentlichen Bewusstsein getilgt sein – so als hätte sie nie existiert. Jedoch existiert kein Automatismus, jeden einzelnen Forschungstreibenden – geschweige denn die öffentliche Wahrnehmung – über widerrufene Artikel in Kenntnis zu setzen.

Zudem gibt es manchmal auch keine andere als die zurückgezogene Publikation, die zum Beispiel eine bestimmte Methode beschreibt. Überhaupt muss ja nicht alles an einem zurückgezogenen Artikel falsch sein.

Aus diesen und noch anderen Gründen werden widerrufene Artikel weiterhin zitiert – wenn auch weniger häufig. Also unterbinden Retraktionen demnach wenigstens halbwegs die Verbreitung falscher Information? Nein, nicht einmal das.

Selbst unter den zehn meistgeteilten Publikationen des Jahres 2020 finden sich zwei zurückgezogene Artikel. Und das sind keine Einzelfälle – ganz im Gegenteil. Eine Analyse US-amerikanischer Kommunikationswissenschaftler vom Juni 2022 (PNAS. doi: 10.1073/pnas. 2119086119) zeigt vielmehr, dass später widerrufene Publikationen im Durchschnitt häufiger erwähnt werden als korrekte Artikel. Sie quantifizierten, wie viel Aufmerksamkeit 3.985 widerrufene Artikel vor und nach ihrer Retraktion auf 14 Online-Plattformen erhielten. Im Vergleich zu nicht-zurückgezogenen Artikeln erfreuten sich die fehlerhaften Publikationen tatsächlich höherer Aufmerksamkeit – und zwar nicht nur in sozialen Medien wie Twitter, Facebook und Reddit, sondern vor allem auf kuratierten Plattformen wie Online-Nachrichtendiensten und Internet-Enzyklopädien.  Diesen Beitrag weiterlesen »

Werden Corona-Artikel schlampiger begutachtet?

8. September 2021 von Laborjournal

 

Vor einem Jahr schrieben wir in unserem Heft 10/2020 auf Seite 10:

Die Qualität wissenschaftlicher Veröffentlichungen sinkt zu Zeiten der SARS-CoV­2-Pandemie. Das legt eine Metastudie aller COVID19-Publikationen des ersten Halbjahres 2020 nahe (Scientometrics 126831-42). Von 23.594 in Web of Science oder Scopus gelisteten Publikationen mussten 1,3 Prozent korrigiert oder binnen kurzer Zeit zurückgezogen werden, trotz vorherigem Peer Review. Vor 2020 traf dieses Schicksal im Durchschnitt nur vier von zehntausend Publikationen, also 0,04 Prozent. Infiziert SARS-CoV-2 zu allem Überfluss auch noch unsere wissenschaftliche Integrität?

In Heft 6/2021 legten wir dann auf Seite 8 unter „Inkubiert“ folgendermaßen nach:

Leider steht es mit [der Qualität] der Corona-Forschung bekanntlich nicht zum Allerbesten – auch wegen der enormen Dringlichkeit, Ergebnisse zu liefern. So sagen Experten, dass von der enormen Flut an Corona-Preprints rund siebzig Prozent deutliche Mängel aufweisen. Folgerichtig hielt schon vor einiger Zeit eine Metastudie fest, dass von tausend weltweit duchgeführten Studien zur Infection Fatality Rate von COVID-19 nur eine „sehr geringe Zahl“ den normalen methodischen Standards entsprach. Und selbst nach Peer Review und „ordentlicher“ Publikation in einem „richtigen“ Journal bleibt es oft zumindest schwammig. Nicht umsonst wurden innerhalb des letzten Jahres bereits über hundert Originalartikel rund um Corona wieder zurückgezogen.

Der Peer Review war also unter Verdacht. Diesen Beitrag weiterlesen »

Lobet und preiset saubere Retractions!

20. Januar 2021 von Laborjournal

Stellen Sie sich vor: Sie stoßen auf einen Artikel, der laut Titel für Ihr Forschungsprojekt interessant sein könnte – aber sehen sogleich, dass er zurückgezogen wurde. Einen Klick weiter landen Sie bei der Retraction Notice – und lesen lediglich die dünnen Worte: „This article has been withdrawn.“

„Kryptischer geht’s nicht mehr“, denken Sie. Und zurück bleiben Fragen. Wer hat den Artikel zurückgezogen? Waren es die Autoren, der Editor – oder alle zusammen? Und warum wurde das Paper zurückgezogen? Gab es Messfehler? War etwas nicht reproduzierbar – und wenn ja, was genau? Traten Inkonsistenzen in den Daten zutage, sodass die Schlussfolgerungen nicht mehr haltbar waren? Oder schlimmer: Hat da jemand schlampig gearbeitet? Womöglich sogar bewusst Daten gefälscht?

„Wenn die so wenig dazu schreiben, wird es wohl Fälschung sein“, denken Sie. „Die wollen die Autoren halt nicht an den Pranger stellen.“ Und schon haben Sie den Autoren womöglich Unrecht getan.

Wundern muss das bei derart „zurückhaltender“ Informationspolitik allerdings nicht. Zumal das Beispiel keinen Einzelfall darstellt. Kürzlich erst präsentierte etwa ein vietnamesischer Autor eine Analyse von zweitausend Retraction Notices aus den Jahren 1975 bis 2019 (Learn. Publ. 33: 119-130). Eines seiner Ergebnisse: Über die Hälfte spezifizierte nicht, wer die Retraction initiiert hatte, fast jede zehnte war gar ohne jegliche Notice erschienen. Und wenn die Gründe für die Rücknahme erklärt wurden, dann oft nur ansatzweise und kaum nachvollziehbar.

Diese fehlende Transparenz ist sicher ein Hauptgrund dafür, dass Retractions einen derart schlechten Ruf haben. Mit der Folge, dass Journals sie am liebsten vermeiden oder wenigstens ganz weit hinten verstecken möchten.

Schlimmer aber ist, dass die vielen ehrlichen Forscher, die redliche Mängel in ihren eigenen Artikeln aufspüren und sie via Retraction den Kollegen anzeigen wollen, daher Angst vor Stigmatisierung haben müssen. Weil es ihnen vorkommen muss, als schlüge ihnen ein zurückgezogenes Paper eine hässliche Narbe in die Publikationsliste. Und dass sie sich daher womöglich lieber still verhalten.

Dabei würden sie doch im anderen Fall einen der höchsten Werte unserer Wissenschaftskultur hochhalten: die Selbstkorrektur. Wofür sie – ganz im Gegenteil – eigentlich gelobt und gepreist gehörten.

Ralf Neumann

Von Wissenschaft und Pfannen

21. Juli 2016 von Laborjournal

nonstickypanWorin unterscheidet sich die Wissenschaft von Pfannen? Zugegeben, der Kalauer mag an den Haaren herbeigezogen sein — aber sei‘s drum: Pfannen reinigen sich immer besser selbst, in der Wissenschaft dagegen…

Seit Jahrzehnten beschwören Forscher sie fast schon gebetsmühlenartig, die Selbstreinigungskraft der Wissenschaft — vor allem wenn es gilt, die Forschungsfreiheit als ihr höchstes Gut vor ungebetenem Regulierungseifer zu schützen. Schließlich habe man schon lange ein dreifaches Sicherheitsnetz gesponnen, um schlampige, schlechte oder gar unehrenhafte Forschung frühzeitig auszusortieren:

Netz Nummer eins bilden die Gutachter, die entscheiden, welche Forschung überhaupt Geld erhält. Ziemlich grobmaschig, zugegeben — aber allzu tumbes Zeug dürfte trotzdem darin hängenbleiben.

Netz Nummer zwei ist das Peer Review-System der Journale. Fachkundige Kollegen prüfen hierbei vor — und neuerdings auch immer öfter nach — einer Veröffentlichung peinlich genau, ob die im Manuskript beschriebene Forschung überhaupt wissenschaftlichen Standards genügt. So wenigstens das Ideal.

Wer nicht bereits in einem dieser beiden Netze zappelt, der sieht sich bald dem dritten gegenüber: der Replikation der Ergebnisse. Taugen diese was, so säen und ernten Kollegen nachfolgend weitere Resultate auf ihnen. Will auf deren Basis jedoch partout nichts mehr sprießen, so werden sie im Nachgriff oftmals selbst als fauliges Fundament enttarnt. Und stinkt dieses gar zu arg, zieht man die entsprechenden Paper zurück — und entsorgt deren Inhalt damit offiziell aus dem wissenschaftlichen Bewusstsein.

Immer öfter ist solches zuletzt geschehen. Irgendwer entdeckte plötzlich Widersprüche in den publizierten Daten, oder aber nachfolgende wollten einfach nicht dazu passen. Und da man den mitgeteilten Ergebnissen daher nicht mehr trauen konnte, zog man das betreffende Paper zurück.

Na also, funktioniert doch — könnte man meinen. Allerdings sind solche Arbeiten nicht selten bis zu ihrem Rückzug schon viele, viele Male zitiert worden, offenbar ohne dass jemand Verdacht geschöpft hatte. In einem solchen Fall versuchte ein Kollege kürzlich, diese Unstimmigkeit folgendermaßen zu begründen: „Frage und Techniken waren viel zu komplex, als dass bis dahin irgendjemand sonst die Ergebnisse in vollem Umfang hätte replizieren können.“

Nun ja, so weit kann es mit Pfannen nicht kommen — noch ein Unterschied.

Paper zurückgezogen — und wen soll ich jetzt zitieren?

11. Dezember 2015 von Laborjournal

Schon seit einiger Zeit muss der Zürcher Pflanzenforscher Olivier Voinnet ein Paper nach dem anderen wegen inkorrekter Abbildungen zurückziehen oder zumindest großflächig korrigieren. Zwischenstand sind momentan zwölf „Corrections“ und sieben „Retractions“.

Dennoch sticht die letzte Retraction heraus. Mitte November zog The Plant Journal den Artikel „An enhanced transient expression system in plants based on suppression of gene silencing by the p19 protein of tomato bushy stunt virus“ in Übereinkunft mit den Autoren Olivier Voinnet, Susana Rivas, Pere Mestre und David Baulcombe vollends zurück, nachdem sie ihn bereits im Juni erstmals korrigiert hatten. Das jedoch ist nicht wirklich der Punkt. Viel erstaunlicher ist die Tatsache, dass der Artikel bis dahin bereits über 900-mal zitiert worden war.

Was heißt das?

Der Artikel beschreibt erstmals eine neue und einfache Methode zur effektiven Steigerung der transienten Expression von eingebrachten Fremdgenen in Pflanzen. Basis dafür ist die Ko-Transfektion mit dem Gen für das Virusprotein P19, welches allgemein das posttranslationale Gene Silencing in Pflanzenzellen hemmt. Das P19-System steigert also die Expression des Fremdgens, indem es die natürliche Expressionsbremse der Pflanzenzelle blockiert.

Über 900 Zitierungen, wie gesagt. Die muss es doch großteils dafür gegeben haben, dass trotz der unzulässig manipulierten Abbildungen die Methode funktioniert. Und tatsächlich twitterte Sophien Kamoun, Laborleiter am Sainsbury Lab in Norwich/UK:

Das scheint also tatsächlich nicht die Frage. Allerdings ergibt sich daraus ein ganz anderes Problem, das Dmitri Nusinow vom Donald Danforth Plant Science Center in Creve Coer, Missouri/USA, via Twitter folgendermaßen ausdrückt:

 

Berechtigte Frage — denn schließlich gilt ein zurückgezogenes Paper per definitionem als augenblicklich aus dem Scientific Record gelöscht. Wen sollen die zahlreichen P19-Anwender also künftig zitieren? Die Erstbeschreibung der Methode gilt — aus guten Gründen! — als gelöscht. Woanders steht sie offensichtlich nicht in ausreichendem Detail beschrieben, da alle nachfolgenden Anwender — zu Recht — auf die Erstbeschreibung verwiesen.

Soll man sich jetzt also darauf einigen, stattdessen einen der ersten Anwender zu zitieren? Wohl kaum — denn zum einen stünde die Methode dort auch nicht vollständig drin, und zum anderen bekäme der betreffende Artikel auf diese Art sicher viel mehr Zitierungen als er tatsächlich verdient. Oder erklärt man die Methode einfach zum allgemeinen Wissen, das man nicht mehr zu zitieren braucht — und muss wegen der Details trotzdem weiter in das zurückgezogene Paper schielen, weil sie ja nirgendwo sonst aufgeschrieben stehen.

Eigentlich müsste jemand die Methode nochmals „neu“ mit allen Details veröffentlichen — vielleicht ja sogar noch mit einigen neuen. Das wäre dann zwar ordnungsgemäß zitierbar, aber wie oben schon gesagt: Ordnungsgemäß verdiente Zitierungen wären das nicht.

Hmm — hat vielleicht jemand einen anderen Vorschlag?

Tausche Falsch gegen Neu

18. Juni 2015 von Laborjournal

Wenn in einer Publikation nach Jahren eine Abbildung als „falsch“ erkannt wird — ist es dann in Ordnung, diese im Rahmen einer „Correction“ durch analoge Daten aus der frischen Wiederholung des beschriebenen Experiments zu ersetzen?

Hintergrund dieser Frage ist eine aktuelle „Correction“, die als Folge der Kritik an rund vierzig Veröffentlichungen des Zürcher Pflanzenforscher Olivier Voinnet publiziert wurde. Auf der Diskussions-Plattform PubPeer wird Voinnet und seinen Ko-Autoren seit Monaten vorgeworfen, dass sie allesamt zweifelhafte Abbildungen enthielten (siehe auch unsere Berichte hier und hier). Zu sechs dieser Publikationen sind seither „Corrections“ erschienen (1, 2, 3, 4, 5, 6), ein Paper wurde komplett zurückgezogen.

Die aktuelle Correction des Papers Olivier Voinnet et al. in The Plant Journal (Vol. 33(5): 949-56) aus dem Jahr 2003 beginnt folgendermaßen:

In the article by Voinnet et al. (2003), it has recently been noted that the original Figure 3b in this paper was assembled incorrectly and included image duplications. As the original data are no longer available for assembly of a corrected figure, the experiment was repeated, in agreement with the editors, by co-author S. Rivas. The data from the repeated experiment, presented below together with the original figure legend, lead to the same interpretation and conclusions as in the original paper.

Die Originaldaten waren folglich zwölf Jahre später nicht mehr vorhanden, also wiederholte einer der Autoren das beschriebene Experiment. Die resultierenden 2015er-Ergebnisse korrigierten die Autoren schließlich mit der damaligen (!) Original-Bildlegende  in das 2003er-Paper hinein — und proklamierten am Ende, dass die frischen Daten ja genauso prima zu der alten Interpretation und Schlussfolgerung führen würden wie damals diejenigen aus dem „falsch zusammengestellten“ Bild.

Klingt komisch, oder? Ist das überhaupt in Ordnung?     Diesen Beitrag weiterlesen »