Werden Corona-Artikel schlampiger begutachtet?

8. September 2021 von Laborjournal

 

Vor einem Jahr schrieben wir in unserem Heft 10/2020 auf Seite 10:

Die Qualität wissenschaftlicher Veröffentlichungen sinkt zu Zeiten der SARS-CoV­2-Pandemie. Das legt eine Metastudie aller COVID19-Publikationen des ersten Halbjahres 2020 nahe (Scientometrics 126831-42). Von 23.594 in Web of Science oder Scopus gelisteten Publikationen mussten 1,3 Prozent korrigiert oder binnen kurzer Zeit zurückgezogen werden, trotz vorherigem Peer Review. Vor 2020 traf dieses Schicksal im Durchschnitt nur vier von zehntausend Publikationen, also 0,04 Prozent. Infiziert SARS-CoV-2 zu allem Überfluss auch noch unsere wissenschaftliche Integrität?

In Heft 6/2021 legten wir dann auf Seite 8 unter „Inkubiert“ folgendermaßen nach:

Leider steht es mit [der Qualität] der Corona-Forschung bekanntlich nicht zum Allerbesten – auch wegen der enormen Dringlichkeit, Ergebnisse zu liefern. So sagen Experten, dass von der enormen Flut an Corona-Preprints rund siebzig Prozent deutliche Mängel aufweisen. Folgerichtig hielt schon vor einiger Zeit eine Metastudie fest, dass von tausend weltweit duchgeführten Studien zur Infection Fatality Rate von COVID-19 nur eine „sehr geringe Zahl“ den normalen methodischen Standards entsprach. Und selbst nach Peer Review und „ordentlicher“ Publikation in einem „richtigen“ Journal bleibt es oft zumindest schwammig. Nicht umsonst wurden innerhalb des letzten Jahres bereits über hundert Originalartikel rund um Corona wieder zurückgezogen.

Der Peer Review war also unter Verdacht. Diesen Beitrag weiterlesen »

Fehlermeldungen

29. Oktober 2018 von Laborjournal

(Im Zusammenhang mit den „Vertrackten Artefakten“ [siehe letzter Post unten] fiel uns ein, dass wir bereits vor knapp zwei Jahren das unten folgende Online-Editorial zu diesem Thema gebracht hatten. Allerdings ging es darin weniger um die beiden geschilderten Artefakte an sich, als vielmehr darum, wie unterschiedlich die Folgen für die Betroffenen sein können, wenn sie aus Unwissenheit darauf reinfallen…)

 

Aus Fehlern lernt man, heißt es. Doch gilt das auch in der Forschung? Hat der immer engere Wettbewerb um Stellen und Fördermittel nicht mittlerweile dafür gesorgt, dass das Forschungsgeschäft mit Fehlern ziemlich gnadenlos umgeht? Auch weil jede kleine Nachlässigkeit oder Schlamperei der wachsamen Kon­kurrenz potentielle und willkommene Angriffs­flä­chen bietet? Und wenn ja: Muss ein solcher „Geist“ nicht vor allem auf Kosten des wissenschaftlichen Nachwuchses gehen, der ja auch — vielleicht sogar gerade — durch Fehler lernen sollte?

Nehmen wir etwa den jungen Doktoranden M. Dieser versuchte vor einiger Zeit ein bestimmtes Membranprotein zu isolieren — und hatte offenbar Erfolg: Nach monatelanger „Putzerei“ präsentierte er in der entscheidenden Bahn des Proteingels eine Bande — und sonst keine. Chef und Doktorand zweifelten nicht: Das musste es sein. Zumal nach der heiligen Regel „n  3“ dieselbe Bande auch in den folgenden Wiederho­lun­gen zuverlässig übrig blieb.

Chef und Doktorand schrieben also ein Paper. Es wurde begutachtet und schließlich publiziert. Was dummerweise weder Doktorand noch Chef oder Gutachter wussten (letztere waren wohl schon zu lange „weg von der Bench“), fiel erfahrenen Proteinfärbern sofort auf: Die Bande entsprach exakt dem 68 kDa-Artefakt, das man oft nach Mercaptoethanol-Behandlung der Proteinprobe erhält.

Nur zwei Monate nach dessen Erscheinen zerpflückte Chefs Erzrivale das Paper in einer „Correspondence“ mit klarem Artefakt-Beweis. Frustriert und voller Scham schmiss M. seine Doktorarbeit hin.

Bei aller Härte am Ende doch gut für die Wissenschaft? Vielleicht.

Allerdings geht es auch ganz anders — wie das Beispiel der Doktorandin K. beweist, der einst ganz Ähnliches widerfuhr. Diese fiel auf ein Artefakt herein, das Ungeübten oft bei der Aufnahme neuronaler Signale mit Multielektrodenarrays droht. Und auch sie hatte ihre Ergebnisse frisch publiziert. Kurz darauf meldete sich einer der „Großkönige“ der neuronalen Ableitung telefonisch bei K.: „Gratuliere zum Paper. Allerdings scheint mir ein Schlüsselbefund nicht zu stimmen. Ich habe meinen Postdoc das Experiment nachmachen lassen — und er meint, Du hättest bei der Elektrodenmessung was vergessen…“

Sein Postdoc wiederum habe jedoch Wichtigeres zu tun, erklärte er weiter — weshalb es besser sei, wenn K. ihren Fehler selbst nachweisen würde. Anschließend weihte der Anrufer K. noch in einige weitere Geheimnisse und Fallstricke bei der Arbeit mit den entsprechenden Elektroden ein und skizzierte überdies noch, wie sie die „Richtigstellung“ seiner Meinung nach am geschicktesten angehen könne.

K. tat wie vorgeschlagen und veröffentlichte bald darauf die „Correction“ ihres eigenen Papers. Heute, über zwanzig Jahre später, gilt sie als herausragende Forscherin in ihrem Feld.

Wer weiß, so weit hätte M. womöglich auch kommen können…

Ralf Neumann

(Anmerkung: Die beiden Beispiele von K. und M. haben sich zwar nicht ganz genau so abgespielt, wie hier beschrieben — aber prinzipiell doch sehr ähnlich.)

x

Paper zurückgezogen — und wen soll ich jetzt zitieren?

11. Dezember 2015 von Laborjournal

Schon seit einiger Zeit muss der Zürcher Pflanzenforscher Olivier Voinnet ein Paper nach dem anderen wegen inkorrekter Abbildungen zurückziehen oder zumindest großflächig korrigieren. Zwischenstand sind momentan zwölf „Corrections“ und sieben „Retractions“.

Dennoch sticht die letzte Retraction heraus. Mitte November zog The Plant Journal den Artikel „An enhanced transient expression system in plants based on suppression of gene silencing by the p19 protein of tomato bushy stunt virus“ in Übereinkunft mit den Autoren Olivier Voinnet, Susana Rivas, Pere Mestre und David Baulcombe vollends zurück, nachdem sie ihn bereits im Juni erstmals korrigiert hatten. Das jedoch ist nicht wirklich der Punkt. Viel erstaunlicher ist die Tatsache, dass der Artikel bis dahin bereits über 900-mal zitiert worden war.

Was heißt das?

Der Artikel beschreibt erstmals eine neue und einfache Methode zur effektiven Steigerung der transienten Expression von eingebrachten Fremdgenen in Pflanzen. Basis dafür ist die Ko-Transfektion mit dem Gen für das Virusprotein P19, welches allgemein das posttranslationale Gene Silencing in Pflanzenzellen hemmt. Das P19-System steigert also die Expression des Fremdgens, indem es die natürliche Expressionsbremse der Pflanzenzelle blockiert.

Über 900 Zitierungen, wie gesagt. Die muss es doch großteils dafür gegeben haben, dass trotz der unzulässig manipulierten Abbildungen die Methode funktioniert. Und tatsächlich twitterte Sophien Kamoun, Laborleiter am Sainsbury Lab in Norwich/UK:

Das scheint also tatsächlich nicht die Frage. Allerdings ergibt sich daraus ein ganz anderes Problem, das Dmitri Nusinow vom Donald Danforth Plant Science Center in Creve Coer, Missouri/USA, via Twitter folgendermaßen ausdrückt:

 

Berechtigte Frage — denn schließlich gilt ein zurückgezogenes Paper per definitionem als augenblicklich aus dem Scientific Record gelöscht. Wen sollen die zahlreichen P19-Anwender also künftig zitieren? Die Erstbeschreibung der Methode gilt — aus guten Gründen! — als gelöscht. Woanders steht sie offensichtlich nicht in ausreichendem Detail beschrieben, da alle nachfolgenden Anwender — zu Recht — auf die Erstbeschreibung verwiesen.

Soll man sich jetzt also darauf einigen, stattdessen einen der ersten Anwender zu zitieren? Wohl kaum — denn zum einen stünde die Methode dort auch nicht vollständig drin, und zum anderen bekäme der betreffende Artikel auf diese Art sicher viel mehr Zitierungen als er tatsächlich verdient. Oder erklärt man die Methode einfach zum allgemeinen Wissen, das man nicht mehr zu zitieren braucht — und muss wegen der Details trotzdem weiter in das zurückgezogene Paper schielen, weil sie ja nirgendwo sonst aufgeschrieben stehen.

Eigentlich müsste jemand die Methode nochmals „neu“ mit allen Details veröffentlichen — vielleicht ja sogar noch mit einigen neuen. Das wäre dann zwar ordnungsgemäß zitierbar, aber wie oben schon gesagt: Ordnungsgemäß verdiente Zitierungen wären das nicht.

Hmm — hat vielleicht jemand einen anderen Vorschlag?

Tausche Falsch gegen Neu

18. Juni 2015 von Laborjournal

Wenn in einer Publikation nach Jahren eine Abbildung als „falsch“ erkannt wird — ist es dann in Ordnung, diese im Rahmen einer „Correction“ durch analoge Daten aus der frischen Wiederholung des beschriebenen Experiments zu ersetzen?

Hintergrund dieser Frage ist eine aktuelle „Correction“, die als Folge der Kritik an rund vierzig Veröffentlichungen des Zürcher Pflanzenforscher Olivier Voinnet publiziert wurde. Auf der Diskussions-Plattform PubPeer wird Voinnet und seinen Ko-Autoren seit Monaten vorgeworfen, dass sie allesamt zweifelhafte Abbildungen enthielten (siehe auch unsere Berichte hier und hier). Zu sechs dieser Publikationen sind seither „Corrections“ erschienen (1, 2, 3, 4, 5, 6), ein Paper wurde komplett zurückgezogen.

Die aktuelle Correction des Papers Olivier Voinnet et al. in The Plant Journal (Vol. 33(5): 949-56) aus dem Jahr 2003 beginnt folgendermaßen:

In the article by Voinnet et al. (2003), it has recently been noted that the original Figure 3b in this paper was assembled incorrectly and included image duplications. As the original data are no longer available for assembly of a corrected figure, the experiment was repeated, in agreement with the editors, by co-author S. Rivas. The data from the repeated experiment, presented below together with the original figure legend, lead to the same interpretation and conclusions as in the original paper.

Die Originaldaten waren folglich zwölf Jahre später nicht mehr vorhanden, also wiederholte einer der Autoren das beschriebene Experiment. Die resultierenden 2015er-Ergebnisse korrigierten die Autoren schließlich mit der damaligen (!) Original-Bildlegende  in das 2003er-Paper hinein — und proklamierten am Ende, dass die frischen Daten ja genauso prima zu der alten Interpretation und Schlussfolgerung führen würden wie damals diejenigen aus dem „falsch zusammengestellten“ Bild.

Klingt komisch, oder? Ist das überhaupt in Ordnung?     Diesen Beitrag weiterlesen »