Werden Corona-Artikel schlampiger begutachtet?

8. September 2021 von Laborjournal

 

Vor einem Jahr schrieben wir in unserem Heft 10/2020 auf Seite 10:

Die Qualität wissenschaftlicher Veröffentlichungen sinkt zu Zeiten der SARS-CoV­2-Pandemie. Das legt eine Metastudie aller COVID19-Publikationen des ersten Halbjahres 2020 nahe (Scientometrics 126831-42). Von 23.594 in Web of Science oder Scopus gelisteten Publikationen mussten 1,3 Prozent korrigiert oder binnen kurzer Zeit zurückgezogen werden, trotz vorherigem Peer Review. Vor 2020 traf dieses Schicksal im Durchschnitt nur vier von zehntausend Publikationen, also 0,04 Prozent. Infiziert SARS-CoV-2 zu allem Überfluss auch noch unsere wissenschaftliche Integrität?

In Heft 6/2021 legten wir dann auf Seite 8 unter „Inkubiert“ folgendermaßen nach:

Leider steht es mit [der Qualität] der Corona-Forschung bekanntlich nicht zum Allerbesten – auch wegen der enormen Dringlichkeit, Ergebnisse zu liefern. So sagen Experten, dass von der enormen Flut an Corona-Preprints rund siebzig Prozent deutliche Mängel aufweisen. Folgerichtig hielt schon vor einiger Zeit eine Metastudie fest, dass von tausend weltweit duchgeführten Studien zur Infection Fatality Rate von COVID-19 nur eine „sehr geringe Zahl“ den normalen methodischen Standards entsprach. Und selbst nach Peer Review und „ordentlicher“ Publikation in einem „richtigen“ Journal bleibt es oft zumindest schwammig. Nicht umsonst wurden innerhalb des letzten Jahres bereits über hundert Originalartikel rund um Corona wieder zurückgezogen.

Der Peer Review war also unter Verdacht. In der Eile, so schnell wie möglich Informationen zu SARS-CoV-2 und COVID-19 zu liefern, rutschten offenbar doch öfter als gewohnt qualitativ minderwertige Studien durch das Begutachtungsraster. Meinte man – und meinen auch jetzt noch viele.

Womöglich muss man die genaue Rolle des Peer Reviews bei der Frage nach der Schuld an der vermeintlich geringeren Qualität publizierter COVID-19-Veröffentlichungen allerdings etwas relativieren. Mitarbeiter des Preprint-Servers medRxiv, auf dem mit Abstand die meisten COVID-19-relevanten Vorabdrucke veröffentlicht werden, haben kürzlich die Publikationsraten von COVID-19-Preprints mit denjenigen der Preprints zu anderen Themen verglichen. Das heißt, sie haben jeweils ermittelt, wie hoch der Anteil der Preprints ist, der daraufhin nach ordentlicher Begutachtung in einem Peer-Review-Journal erscheint. Die US-amerikanische Online-Zeitung The Hill fasst die resultierenden Erkenntnisse folgendermaßen zusammen:

Während einige spekuliert haben, dass die Konzentration auf Vorabdrucke zu einer Zunahme von unzuverlässiger Forschung führen könnte, gibt es keine Daten, die darauf hindeuten, dass die Studien zu COVID-19 in geringerem Maße veröffentlicht oder in höherem Maße zurückgezogen werden als andere Forschung.

Zwischen Januar 2020 und März 2021 wurden insgesamt 11.300 pandemiebezogene Preprints auf medRxiv veröffentlicht. Mindestens 38 Prozent dieser Studien wurden seitdem von Fachkollegen geprüft und veröffentlicht, weitere dürften in den kommenden Monaten folgen. Zum Vergleich: 38 Prozent der nicht-pandemiebezogenen Preprints, die seit Januar 2020 bei medRxiv eingestellt wurden, wurden von Experten begutachtet und in Fachzeitschriften veröffentlicht.

Und The Hill ergänzt noch:

Die Datenbank Retraction Watch berichtet, dass die Zahl der zurückgezogenen Studien im Zusammenhang mit COVID-19 in etwa gleich hoch ist wie bei anderen Themen. Insgesamt hat die Datenbank 149 Rückzüge zu COVID-19 dokumentiert, von denen etwa ein Drittel Vorabdrucke waren.

Im Gegensatz zu früheren Erhebungen spricht das nicht für einen schlampigeren Peer Review von COVID-19-Manuskripten als bei anderen Themen. Könnte dieser Eindruck folglich eher daher kommen, dass publizierte COVID-19-Paper von den Kollegen besonders kritisch gelesen werden – und daher vergleichsweise häufiger als qualitativ minderwertig abgeurteilt werden? Was im Umkehrschluss allerdings bedeuten würde, dass es in anderen Feldern genauso hohe Anteile an vermeintlich minderwertigen Studien gibt – nur dass es im Nachhinein viel weniger auffällt.

Liest man die aktuelle Kolumne unseres „Wissenschaftsnarren“ im brandneuen Heft, muss man festhalten, dass sich die qualitative Minderwertigkeit klinischer Forschung zumindest hierzulande offenbar tatsächlich nicht nur auf COVID-19 beschränkt.

Ralf Neumann

Schlagworte: , , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...