Preprint- statt Journal-Clubs

8. November 2023 von Laborjournal

Die Zahl der Vorab-Ver­öf­fent­li­chungen von Forschungsergebnissen auf Preprint-Servern hat zuletzt rasant zugenommen – unter anderem auch stark befeuert durch die COVID-19-Pandemie. Zugleich betreiben die meisten akademischen Institutionen seit vielen Jahrzehnten die guten, alten „Journal Clubs“, in denen bereits begutachtete und publizierte Studienresultate kritisch besprochen werden. Warum angesichts dessen nicht zwei Fliegen mit einer Klappe schlagen, dachten sich offenbar vor drei Jahren eine Handvoll Jungforschende: Warum nicht gewisse Synergien erzeugen, indem man den „Journal Club“ in einen „Preprint Club“ umwandelt?

Ungefähr so entstand 2020 die Idee zu einem institutionsübergreifenden Preprint Club (preprintclub.com), um via Online-Treffen neue immunologische Studien zu bewerten, die auf den Preprint-Servern bioRxiv und medRxiv erschienen waren. Keimzelle waren junge Immunologinnen und Immunologen an der Icahn School of Medicine at Mount Sinai in New York City und der University of Oxford, später kamen weitere vom Stockholmer Karolinska-Institut und der University of Toronto hinzu.

Fünf von ihnen haben den Gründungsprozess und die Idee dahinter gerade in Nature (doi: 10.1038/d41586-023-01819-y) genauer beschrieben. Darin halten sie fest:   Diesen Beitrag weiterlesen »

Werden Corona-Artikel schlampiger begutachtet?

8. September 2021 von Laborjournal

 

Vor einem Jahr schrieben wir in unserem Heft 10/2020 auf Seite 10:

Die Qualität wissenschaftlicher Veröffentlichungen sinkt zu Zeiten der SARS-CoV­2-Pandemie. Das legt eine Metastudie aller COVID19-Publikationen des ersten Halbjahres 2020 nahe (Scientometrics 126831-42). Von 23.594 in Web of Science oder Scopus gelisteten Publikationen mussten 1,3 Prozent korrigiert oder binnen kurzer Zeit zurückgezogen werden, trotz vorherigem Peer Review. Vor 2020 traf dieses Schicksal im Durchschnitt nur vier von zehntausend Publikationen, also 0,04 Prozent. Infiziert SARS-CoV-2 zu allem Überfluss auch noch unsere wissenschaftliche Integrität?

In Heft 6/2021 legten wir dann auf Seite 8 unter „Inkubiert“ folgendermaßen nach:

Leider steht es mit [der Qualität] der Corona-Forschung bekanntlich nicht zum Allerbesten – auch wegen der enormen Dringlichkeit, Ergebnisse zu liefern. So sagen Experten, dass von der enormen Flut an Corona-Preprints rund siebzig Prozent deutliche Mängel aufweisen. Folgerichtig hielt schon vor einiger Zeit eine Metastudie fest, dass von tausend weltweit duchgeführten Studien zur Infection Fatality Rate von COVID-19 nur eine „sehr geringe Zahl“ den normalen methodischen Standards entsprach. Und selbst nach Peer Review und „ordentlicher“ Publikation in einem „richtigen“ Journal bleibt es oft zumindest schwammig. Nicht umsonst wurden innerhalb des letzten Jahres bereits über hundert Originalartikel rund um Corona wieder zurückgezogen.

Der Peer Review war also unter Verdacht. Diesen Beitrag weiterlesen »

Gezwitscherte Paper-Probleme

28. April 2021 von Laborjournal

Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers – so lautet der Titel eines frischen Scientometrics-Papers von Robin Haunschild und Lutz Bornmann, beide Forschungsevaluations- und Bibliometrie-Spezialisten bei der Max-Planck-Gesellschaft. Ob man methodische Fehler, Daten-Irrtümer, falsche Interpretationen oder gar gezielte Manipulationen in Forschungsartikeln aufgrund entsprechender Hinweise auf Twitter womöglich frühzeitig erkennen könne, wollten sie also wissen.

Übersetzt fassen sie im Abstract als Ergebnis zusammen:

[…] In dieser Fallstudie analysierten wir Tweet-Texte von drei zurückgezogenen Publikationen über COVID-19 […] und deren Retraction Notices. Hinsichtlich einer dieser Publikationen fanden wir keine Frühwarnzeichen in Tweet-Texten, dagegen fanden wir aber Tweets, die bereits kurz nach dem jeweiligen Veröffentlichungsdatum Zweifel an der Gültigkeit der beiden anderen Publikationen aufkommen ließen.

Und sie schlagen daher vor:

Eine Erweiterung unserer aktuellen Arbeit könnte zu einem Frühwarnsystem führen, das die wissenschaftliche Gemeinschaft auf Probleme mit bestimmten Publikationen aufmerksam macht. Andere Quellen, wie beispielsweise Blogs oder Post-Publication-Peer-Review-Seiten könnten in ein solches Frühwarnsystem einbezogen werden. Die in dieser Fallstudie vorgeschlagene Methodik sollte daher anhand größerer Publikationsmengen validiert werden – und zudem Publikationen als Kontrollgruppe enthalten, die nicht zurückgezogen wurden.

Damit unterfüttern die beiden Autoren das, was unser „Wissenschaftsnarr“ in seiner Laborjournal-Kolumne vor einem halben Jahr folgendermaßen als Beobachtung preisgab:

[…] Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt.

Gerade in der Forschung finden ja nicht wenige Twitter und Co. „eher nervig“. Von solcher Art „Gezwitscher“ könnten wir uns aber dennoch alle sicherlich mehr wünschen.

Weitere Beobachtungen oder Meinungen dazu?

Ralf Neumann

 

Im Corona-Shitstorm

3. Juni 2020 von Laborjournal

In unserer Reihe „Forscher Ernst und die Corona-Krise“ …

(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Wutschrift eines Physikers über die «Forschungskultur» in der Biomedizin

10. September 2018 von Laborjournal

In schöner Regelmäßigkeit erhalten wir von unseren Lesern E-Mails, die man im Englischen als «Rant» bezeichnen würde. „Wutschrift“ oder „Tirade“ würde es im Deutschen wohl am ehesten treffen. Und natürlich sind es meist irgendwelche Zustände im hiesigen Wissenschaftssystem, die den Autoren immer wieder die Zornesröte ins Gesicht treiben.

Mit dieser allgemeinen Einleitung sollte die Neugier auf ein konkretes Beispiel geweckt sein. Also gut, nehmen wir etwa die folgende Mail, die uns ein Physiker bereits vor einiger Zeit zuschickte und in der er zwar nur kurz, aber heftig über die Verhältnisse in der biomedizinischen Forschung ablederte. Geben wir ihm also selbst das Wort:…

Als Physiker, genauer gesagt als Theoretiker, der eher Einzelkämpfertum gewohnt war, geriet ich vor Jahren vom Hamburger DESY, also der Hochenergiephysik, in die biomedizinische Forschung — und ich kann nur sagen: Ein echter Kulturschock! PI-Kult und Impact-Faktor-Fetischismus ohne Ende. Dazu eine ausgeprägte Projektitis: Jedes Projekt kündigt mindestens die ultimative Erklärung für irgendetwas an, wenn nicht dazu sogar noch Firmenausgründungen, Patente und vieles andere mehr. Völlig logisch daher, dass die Antragsteller auf diese Weise schon im Antrag versprechen, was am Ende rauskommen wird (deliverables) — und in welchen Zeitabschnitten (milestones). Reine Beutegemeinschaften, meist mit einem Haupt-Beutegreifer.

Preprints — in der Physik fest etabliert — scheinen in der Biomedizin als Teufelswerk verschrien. Seit zehn Jahren versuche ich meinen Chef von Preprint-Publikationen zu überzeugen. Doch ich höre immer nur: Beim Publizieren fängt man bei Nature, Science und Co. an. Fast immer wird das Manuskript abgelehnt, und man schreibt es für das nächste Journal um, et cetera — um es schließlich nach einem halben Dutzend Versuchen in einem passenden Journal unterzubringen. Am Ende ist dafür dann mehr Zeit vergangen als für die Forschung selbst.

Was für eine irrsinnige Verschwendung von Zeit und Steuergeldern! Und am Ende muss man sich dann anhören: „Associate-Professor wollen Sie werden? Dafür haben sie aber nicht genügend Paper pro Zeiteinheit geschrieben.“

Schlimmer noch trifft’s die Doktoranden und Postdocs: Die sind eh nur Verbrauchsmaterial — fast schon Sklaven, mit denen man machen kann, was man will. (Kürzlich sagte bei uns etwa ein PI zum Erstautor eines Manuskripts: „Ich habe mit meinem PI-Kumpel beim Mittagessen über das Paper geredet, deshalb muss er mit auf die Autorenliste.“ Und das zielgenau nach der zweiten Revision, als klar war, dass das Paper durchkommt…) Ein Aufstand ist nicht möglich, sonst kann man sich den nächsten Zeitvertrag abschminken — nur um dann nach 15 Jahren doch auf der Strasse zu landen.

Programme, die mit viel Geld und Zeit gestartet wurden, verrotten vor solchem Hintergrund mannigfach auf irgendwelchen Servern — weil irgendwann keiner mehr da ist, um sie zu pflegen und weiterzuentwickeln. Wieder viel Steuergeld für die Katz‘! Kontinuierlicher Aufbau von Wissen und Knowhow findet so kaum statt — auch weil es ja keinen akademischen Mittelbau mehr gibt, der ihn weiter tragen könnte. Dem Wissenschaftszeitvertragsgesetz sei dank!

So wird man die großen Fragen sicher nicht lösen. Sei es die nach der Entwicklung eines ganzen Lebewesens aus nur einer befruchteten Eizelle, oder die, warum wir altern und sterben, oder warum es überhaupt Leben auf der Erde gibt…

Irgendwelche Einsprüche? Bestätigungen? Relativierungen? Oder gleich noch einen «Rant» hinterher? …

Nehmen wir gerne! Als Kommentar hier unten oder via E-Mail an redaktion@laborjournal.de.

Illustr.: DeviantArt / baleshadow

 

Autoren am Rande des Nervenzusammenbruchs (16)

14. August 2012 von Laborjournal

Schon mal zitiert worden, bevor das Paper überhaupt offiziell veröffentlicht war?

Wie einem dies passieren kann, beschrieb vor kurzem der Bioinformatiker C. Titus Brown in seinem Blog Living in an Ivory Basement. Demnach unternahm er den „unüblichen Schritt“, ein Manuskript über ein neues Software-Tool zur Metagenomik-Analyse nicht nur bei PNAS einzureichen, sondern dieses parallel auf dem Preprint-Server arXiv zu posten, der sich insbesondere unter Physikern und Mathematikern großer Beliebtheit erfreut.

Ein paar Wochen danach erhielt Brown die Anfrage, seinerseits ein bestimmtes Manuskript zu begutachten — unter anderem deswegen, weil die Autoren sein arXiv-Paper bereits zitiert hatten. Diesen Beitrag weiterlesen »