Zur Filterkraft von Literatur-Datenbanken

24. Januar 2024 von Laborjournal

Raub-Verlage (Predatory Publishers), gekaperte Zeitschriften (Hijacked Journals), Papiermühlen (Paper Mills), Citation Delivery Vehicles, … – schon oft berichteten wir, wie immer mehr „Unternehmen“ mit diesen und anderen windigen Manövern Profit aus den Zwängen und Nöten des wissenschaftlichen Publikationssystems schlagen. Siehe etwa hierhierhier
oder hier. Die Folge davon: Der Anteil an Publikationen von zumindest zweifelhafter Qualität, die diese Machenschaften in den Scientific Record spülen, schwillt immer stärker an.

Könnten die einschlägigen Literatur-Datenbanken für wissenschaftliche Publikationen hier nicht als Filter fungieren?

Ein internationales Autoren-Quartett hat in diesem Sinne Clarivate’s Web of Science und Google Scholar zumindest hinsichtlich eines Teilaspekts stichprobenartig  verglichen: Wie viele Zitierungen listen beide in ihren Datenbanken, die zu gekaperten Zeitschriften (Hijacked Journals) führen? (Equilibrium. Quarterly Journal of Economics and Economic Policy 18: No. 4).

Dazu halten die Vier zunächst einmal fest:  Diesen Beitrag weiterlesen »

Soll Peer Review Fälschung aufdecken? – 2.0

22. November 2023 von Laborjournal

Im Wall Street Journal erschien unlängst ein Artikel mit dem Titel „What’s Wrong With Peer Review?“ Darin stellt die Autorin die Frage, ob angesichts vieler aufsehenerregender Retractions in der jüngsten Vergangenheit der Peer-Review-Prozess seine Funktion überhaupt noch erfüllt – nämlich zu entscheiden, welche Studien tatsächlich zur Veröffentlichung taugen.

In dem Artikel erregte ein Zitat der Chief-Editorin von Nature, Magdalena Skipper, besondere Aufmerksamkeit. Hinsichtlich des Aufdeckens gezielter Fälschungen in Forschungsartikeln hält sie fest, dass dies keineswegs Job der Reviewer ist – und fügt hinzu:

Ich möchte meine Peer-Reviewer eigentlich nicht als eine Art Polizeikommando ansehen, das solches Fehlverhalten aufspürt.

Schon im Artikel werden Editoren-Kollegen mit anderer Meinung zitiert. Für noch mehr Diskussionen sorgte Skippers Aussage indes in den Sozialen Medien. So wunderte sich etwa die australische Psychologie-Professorin Simine Vazire auf X (ehemals Twitter):

Die Zitate der Nature-Chief-Editorin Magdalena Skipper zur Frage, ob Zeitschriften im Rahmen des Peer-Review auch auf Fehler und Datenqualität prüfen sollten, überraschen mich doch sehr.

Und mit dieser Überraschung war sie bei weitem nicht allein. Diesen Beitrag weiterlesen »

Preprint- statt Journal-Clubs

8. November 2023 von Laborjournal

Die Zahl der Vorab-Ver­öf­fent­li­chungen von Forschungsergebnissen auf Preprint-Servern hat zuletzt rasant zugenommen – unter anderem auch stark befeuert durch die COVID-19-Pandemie. Zugleich betreiben die meisten akademischen Institutionen seit vielen Jahrzehnten die guten, alten „Journal Clubs“, in denen bereits begutachtete und publizierte Studienresultate kritisch besprochen werden. Warum angesichts dessen nicht zwei Fliegen mit einer Klappe schlagen, dachten sich offenbar vor drei Jahren eine Handvoll Jungforschende: Warum nicht gewisse Synergien erzeugen, indem man den „Journal Club“ in einen „Preprint Club“ umwandelt?

Ungefähr so entstand 2020 die Idee zu einem institutionsübergreifenden Preprint Club (preprintclub.com), um via Online-Treffen neue immunologische Studien zu bewerten, die auf den Preprint-Servern bioRxiv und medRxiv erschienen waren. Keimzelle waren junge Immunologinnen und Immunologen an der Icahn School of Medicine at Mount Sinai in New York City und der University of Oxford, später kamen weitere vom Stockholmer Karolinska-Institut und der University of Toronto hinzu.

Fünf von ihnen haben den Gründungsprozess und die Idee dahinter gerade in Nature (doi: 10.1038/d41586-023-01819-y) genauer beschrieben. Darin halten sie fest:   Diesen Beitrag weiterlesen »

Nervige Zeit- und Geldverschwendung für Manuskripte

17. Mai 2023 von Laborjournal

„Mein Vollzeitjob besteht gerade darin, abgelehnte Manuskripte für eine andere Zeitschrift neu zu formatieren – und mich dabei superproduktiv zu fühlen.“

Viele werden sich wiederfinden in diesem nicht ganz ironiefreien Tweet, den der Ernährungsphysiologe Katsu Funai von der University of Utah Anfang des Jahres abschickte. Und er ist bei weitem nicht der Einzige, der auf Twitter über den enormen Zeitaufwand klagt, den es kostet, wenn man ein Manuskript, das man gemäß den Anforderungen einer Zeitschrift formatiert hat, für die Zweiteinreichung bei einer anderen Zeitschrift in ein völlig anderes Format umarbeiten muss.

„Haben Sie sich schon einmal gefragt, wie lange es dauert, Artikel für Zeitschrifteneinreichungen neu zu formatieren?“, fragte daher Megan Davies, Postdoc in der Epidemiologie der Universität Kopenhagen, ebenfalls auf Twitter. Und fuhr fort: „Wir haben uns das gefragt und beschlossen, darüber zu schreiben! Wir haben die verlorene Zeit und das verlorene Geld berechnet sowie Editoren und Forscher befragt – und einige neue Vorschläge für Formatierungsrichtlinien entwickelt.“

Das Ergebnis ist jetzt nachzulesen in dem Paper mit dem Titel „Saving time and money in biomedical publishing: the case for free-format submissions with minimal requirements“ (BMC Medicine 21: 172), bei dem Megan Davies als Co-Autorin fungiert. Demnach registrierten Seniorautor Tibor Varga und sein Team zunächst einmal unter „302 führenden biomedizinischen Fachzeitschriften […] eine große Vielfalt an Enreichungsanforderungen“. Und stellten nachfolgend fest: Diesen Beitrag weiterlesen »

Publizieren Editoren allzu leicht im eigenen Journal?

25. Januar 2023 von Laborjournal

 

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch wer bestimmt, was veröffentlicht wird? In erster Linie die Editoren der betreffenden Forschungsblätter.

Über diese schreiben die fünf Autoren eines frischen Artikels mit dem Titel „Gender inequality and self-publication are common among academic editors“ (Nat Hum Behav, doi: 10.1038/s41562-022-01498-1):

Die Editoren spielen in diesem Prozess eine Schlüsselrolle, da sie das letzte Wort darüber haben, was veröffentlicht wird – und somit den Kanal kontrollieren, über den Wissenschaftler Prestige und Anerkennung erhalten. Darüber hinaus gehören die Herausgeber selbst zu den wissenschaftlichen Eliten, die von ihrer Community als Experten auf ihrem Gebiet anerkannt sind.

Editoren seien auf diese Weise nicht nur die „Gatekeeper“ der Wissenschaft, sondern suchen vielmehr selbst aktiv nach Möglichkeiten zur Veröffentlichung, führen die Autoren weiter aus. Schließlich arbeite die überwiegende Mehrheit von ihnen als aktive Forscher. Und da die Bewertung von Wissenschaftlern in hohem Maße von bibliometrischen Ergebnissen abhänge, stünden sie selbst unter einem gewissen Zwang, weiterhin eigene Originalarbeiten zu veröffentlichen.

Und wo tun sie das? Oftmals in den von ihnen herausgegebenen Zeitschriften. Was fast genauso oft zu Kontroversen führt. Denn wie die Autoren schreiben:

Solche Kontroversen werden durch die Möglichkeit angeheizt, dass die Beiträge der Editoren bevorzugt behandelt werden.

Und dies könne man durchaus als „Missbrauch des wissenschaftlichen Publikationssystems“ werten.  Diesen Beitrag weiterlesen »

Viele Peer Reviews, viele Zitate

16. November 2022 von Laborjournal

Kaum etwas bietet Wissenschaftlerinnen und Wissenschaftlern derart viel Anlass zu Diskussionen wie der Peer-Review. Das Peer-Review-System sei veraltet, überlastet, Neuheits-feindlich, Missbrauchs-anfällig und und und.

Ob das Fazit „Wer viele Peer-Reviews erstellt, publiziert mehr und wird auch häufiger zitiert“ ebenfalls für derartige Diskussionen sorgen wird, sei einmal dahingestellt – auf jeden Fall verkündet ein Team kanadischer Epidemiologen dies als Schlussfolgerung in ihrem Artikel „Characteristics of ‘mega’ peer-reviewers“ (Res. Integr. Peer Rev. 7, 1).

Oder meinen sie es eher umgekehrt: Wer viel publiziert und häufig zitiert wird, schreibt auch mehr Peer-Reviews?

Okay, was haben die Kanadier also genau gemacht?

Aus der Peer-Review-Plattform Publons suchten sie sich 396 Gutachter heraus, die von Januar bis Dezember 2018 mindestens hundert Peer-Reviews abgeschlossen hatten. Diese bezeichneten sie als „Mega-Peer-Reviewer“ und stellten sie einer Kontrollgruppe von 1.200 „mittleren“ Peer-Reviewern gegenüber, die im selben Zeitraum zwischen einem und 18 Gutachten geschrieben hatten.

Die statistischen Analysen erbrachten als Ergebnisse:

  • Die Peer-Review-Texte waren in beiden Gruppen im Mittel gleich lang.
  • Die Mehrheit der Mega-Peer-Reviewer stammte aus Asien (33 %), Europa (37 %) und Nordamerika (19 %). In der Kontrollgruppe der Peer-Reviewer kamen 41 % aus Europa, 26 % aus Nordamerika und 21 % aus Asien.
  • Drei Viertel der Mega-Peer-Gutachter waren männlich, während der Männer-Anteil in der Kontrollgruppe 58 Prozent betrug.
  • Mega-Peer-Reviewer wiesen im Vergleich zur Kontrollgruppe eine signifikant höhere mittlere Anzahl an Gesamt-Publikationen und -Zitierungen auf; auch im Analysejahr 2018 allein publizierten sie im Mittel mehr und wurden häufiger zitiert. Ebenso kamen die Mega-Peer-Reviewer auf einen höheren h-Index-Schnitt.

In der Diskussion schreiben die Autoren vor allem zum letzten Punkt:

Unsere Studie war nicht darauf ausgerichtet, die Gründe für diese Unterschiede zu untersuchen. Beispielsweise könnten Mega-Peer-Reviewer von den Herausgebern häufiger zur Begutachtung eingeladen werden, oder sie könnten eine Vergütung für die Begutachtung erhalten.

Aber eine Vermutung haben sie dennoch:

Unsere Ergebnisse deuten darauf hin, dass Mega-Peer-Reviewer möglicherweise etablierter sind (beispielsweise mehr Zitierungen; hoher h-Index) als Nicht-Mega-Peer-Reviewer.

Womit am Ende klar geworden sein dürfte: Keineswegs bekommt man mehr Publikationen und Zitate, weil man viel begutachtet. Wäre ja auch zu schön gewesen. Nein, umgekehrt wird ein Schuh daraus: Wer viel publiziert und zitiert wird, der wird auch verstärkt zum Peer-Review herangezogen. Auch wenn der eine oder die andere das in diesem Ausmaß womöglich gar nicht will

Ralf Neumann

(Illustr.: L. Engler)

Apropos Fehlerkultur bei wissenschaftlichen Verlagen

9. November 2022 von Laborjournal

Wie ein Verlag partout nicht zugeben wollte, dass er bei einem Manuskript einen Fehler gemacht hatte – und damit wissentlich riskierte, den Ruf der Autoren zu beschädigen.

 

 

(Die folgende „Story“ erzählen wir zwar ohne Namen, hat sich aber genau so ereignet.)

Eines Tages erhielt ein Physiologie-Professor die Einladung eines bestimmten Journals, einen umfassenden Review über sein Fachgebiet zu schreiben. Tatsächlich war er einer der Wegbereiter dieses gesamten Gebiets, dem sich mittlerweile auch viele andere verschrieben hatten. Zu dem Review hatte er jedoch zu dieser Zeit nicht die rechte Lust. Trotzdem stimmte er zu.

Zwei Monate später waren er und seine Koautoren fertig mit dem Werk. Und zu seiner eigenen Überraschung war unser Professor sehr zufrieden. Ja, er hielt es am Ende gar für eines der besten Stücke, das er bislang als Autor gezeichnet hatte. Glücklich schickte er also das Manuskript an den Verlag.

Die Reviewer forderten schließlich zwei Runden an Revisionen. Kein Problem für unseren Professor – er kannte das Geschäft lange genug und wusste, dass das eben mal so lief. Schließlich waren seine Manuskripte auch gar nicht selten wirklich besser geworden auf diese Art. „Peer Review at its best“, hatte er dann öfter gedacht.

Doch dann liefen die Dinge schief.   Diesen Beitrag weiterlesen »

Der arme Brian

12. Oktober 2022 von Laborjournal

 

(Vor kurzem veröffentlichten wir an dieser Stelle unter dem Titel „Helicopter pylori“ einen Post über mehr oder weniger lustige „Verschreiber“ in Originalartikeln. Dazu erreichte uns folgende Zuschrift von Stefan Reuss, emeritierter Professor an der Klinik und Poliklinik für Nuklearmedizin der Universität Mainz: …)

Liebe Redaktion,

ich habe mich sehr über Ihre Zusammenstellung der lustigen Druckfehler („Helicopter pylori“) amüsiert. Dabei sind mir noch drei Dinge eingefallen, für die ich aber die entsprechenden Sonderdrucke nicht auf Anhieb gefunden habe (weggeworfen habe ich sowas aber nicht).

Vor vielen Jahren, als Print-Sonderdrucke noch die Regel waren und niemand wusste, was PDFs sind, bekam ich einen solchen mit der fettgedruckten Überschrift „…. in the Mouse Brian“. Wir haben jahrelang den Running Gag „Brian, the Mouse“ benutzt. Gefunden habe ich das in PubMed nicht, eventuell ist der Titel später noch korrigiert worden. Bei der PubMed-Suche sind mir aber zwei ähnliche Dinge untergekommen:

# Harper MM et al., Blast Preconditioning Protects Retinal Ganglion Cells and Reveals Targets for Prevention of Neurodegeneration Following Blast-Mediated Traumatic Brian Injury (Invest. Ophthalmol. Vis. Sci. 60(13):4159-70)

# Agassandian C. et al., „Ciliary Defects in a Mouse Model of Bardet-Biedl Syndrome are Selectively Pronounced in Brian Regions Involved in Cardiovascular Regulation (Ross. Fiziol. Zh. Im. I. M. Sechenova. 102(8):904-20)

Der arme Brian …

Und noch was Schönes, das damals aber nicht über das Stadium der Druckfahne hinauskam: Ein Artikel meines leider früh verstorbenen Frankfurter Kollegen Peter Semm kam als Druckfahne mit Autor(en) und Adresse folgendermaßen an: „Peter Semm und Johann Wolfgang v. Goethe, Universität Frankfurt“. Was ein verrutschtes Komma bei einem unaufmerksamen Korrektor ausmachen kann! Ich war total stolz, mit jemandem publiziert zu haben, der mit Goethe zusammen publiziert, und habe – allerdings vergeblich – versucht, Peter Semm dazu zu überreden, den Fehler einfach nicht zu bemerken und die Druckfreigabe zu erteilen.

Wir haben uns daraufhin selbst nochmal bei PubMed schlau gemacht – und tatsächlich noch mehr „Hirnfehler“ gefunden. Hier also die Liste der weiteren Skurrilitäten, die die Autoren dem „armen Brian“ angetan haben:

Diesen Beitrag weiterlesen »

Bekannter durch Retractions

20. Juli 2022 von Laborjournal

Eine Retraktion Ihres neuesten Artikels wäre das Beste, das Ihnen passieren kann – zumindest hinsichtlich Ihres Bekanntheitsgrades. Diese Aussage macht keinen Sinn, finden Sie? Schließlich kann eine widerrufene Publikation nicht mehr zitiert werden – schon allein weil sie Fehler enthält? Weit gefehlt.

Sicher ist es nicht Ihr Ziel, zu publizieren, um Ihre Publikation zurückgezogen zu sehen. Trotzdem geschah das – entweder infolge von Täuschungsversuchen oder infolge ehrlicher Fehler – laut der Datenbank von Retraction Watch im letzten Jahrzehnt jedes Jahr durchschnittlich 15 Prozent häufiger als noch im Jahr zuvor (siehe Tabelle).

Mit einer Retraktion sollte eine Publikation und ihr gesamter Inhalt sowohl aus dem Speicher der Wissenschaftsgemeinde als auch aus dem öffentlichen Bewusstsein getilgt sein – so als hätte sie nie existiert. Jedoch existiert kein Automatismus, jeden einzelnen Forschungstreibenden – geschweige denn die öffentliche Wahrnehmung – über widerrufene Artikel in Kenntnis zu setzen.

Zudem gibt es manchmal auch keine andere als die zurückgezogene Publikation, die zum Beispiel eine bestimmte Methode beschreibt. Überhaupt muss ja nicht alles an einem zurückgezogenen Artikel falsch sein.

Aus diesen und noch anderen Gründen werden widerrufene Artikel weiterhin zitiert – wenn auch weniger häufig. Also unterbinden Retraktionen demnach wenigstens halbwegs die Verbreitung falscher Information? Nein, nicht einmal das.

Selbst unter den zehn meistgeteilten Publikationen des Jahres 2020 finden sich zwei zurückgezogene Artikel. Und das sind keine Einzelfälle – ganz im Gegenteil. Eine Analyse US-amerikanischer Kommunikationswissenschaftler vom Juni 2022 (PNAS. doi: 10.1073/pnas. 2119086119) zeigt vielmehr, dass später widerrufene Publikationen im Durchschnitt häufiger erwähnt werden als korrekte Artikel. Sie quantifizierten, wie viel Aufmerksamkeit 3.985 widerrufene Artikel vor und nach ihrer Retraktion auf 14 Online-Plattformen erhielten. Im Vergleich zu nicht-zurückgezogenen Artikeln erfreuten sich die fehlerhaften Publikationen tatsächlich höherer Aufmerksamkeit – und zwar nicht nur in sozialen Medien wie Twitter, Facebook und Reddit, sondern vor allem auf kuratierten Plattformen wie Online-Nachrichtendiensten und Internet-Enzyklopädien.  Diesen Beitrag weiterlesen »

Corona und der Wert des Peer Review

30. März 2022 von Laborjournal

Aus unserer Reihe „Gut gesagt!“ zum Thema Corona-Pandemie und Peer Review:

 

__________________________

 

[…] Wie replizierbar werden die Forschungsergebnisse zu COVID-19 sein? Das wissen wir noch nicht, aber eine Erfahrung, die mir im Rahmen der letzten Wochen stärker präsent geworden ist […], ist die Verletzlichkeit und Wichtigkeit des Peer-Review-Systems. Verletzlich – denn bewusste Täuschungen sind auch von kompetenten Reviewern schwer zu entdecken. Wichtig – denn ich glaube nach wie vor nicht, dass wir auf die erhebliche Mühe dieser Expertenarbeit zur Qualitätssicherung verzichten können. Wir müssen, denke ich, diese selbstlose und unentgeltliche Arbeit besser und vielleicht auch anders honorieren, denn sonst laufen wir Gefahr, die wesentlichen Ergebnisse in der Flut des Publizierten ebensowenig erkennen zu können, wie das in der unmoderierten Welt der (Online-)Informationen schon jetzt gebietsweise der Fall ist. […]

__________________________

 

 

… Sagte Andreas Meyer-Lindenberg, Direktor des Zentralinstituts für Seelische Gesundheit, Klinik für Psychiatrie und Psychotherapie, in Mannheim sowie Mitglied der Ständigen DFG-Senatskommission für Grundsatzfragen in der Klinischen Forschung, in Laborjournal 7-8/2020 („Translationale Forschung in Pandemiezeiten“, S. 10-13).