Problemfall Peer-Review-Missbrauch

17. April 2024 von Laborjournal

Nicht nur einschlägige Umfragen kommen zu dem Schluss, dass ein guter Teil derjeniger, die Manuskripte für Veröffentlichungen begutachten, das Peer-Review-System für unlautere Zwecke missbraucht. Auch uns wurden immer wieder entsprechende Fälle berichtet. Zuletzt schrieb uns etwa eine Genetikerin [der Name ist der Redaktion bekannt] die folgenden Zeilen:

In den vergangenen sechs Jahren musste ich bei drei Manuskripten erleben, dass die Gutachter ihre Position eindeutig missbrauchten, um deren Veröffentlichung zu verhindern. Im ersten Fall rief ich den Editor an und sagte ihm, dass ich wüsste, wer der Gutachter sei – und dass er mit sehr schwachen Argumenten versuche, unsere Veröffentlichung zu verhindern. Der Editor gab am Ende zwar zu, dass es sich tatsächlich um diese Person handelte. Trotzdem lehnte er das Manuskript ab.

In den nächsten Fall war interessanterweise wieder derselben Editor verwickelt, den ich mir leider nicht aussuchen konnte. Diesmal verhinderte ein anderer Gutachter unsere Veröffentlichung, indem er zunächst zwei langwierige Überarbeitungen verlangte – um schließlich doch alles abzulehnen. Vier Wochen später veröffentliche er in einer anderen Zeitschrift einen Artikel zum selben Thema. Seine Resultate hatten zwar nicht direkt etwas mit unseren Ergebnissen zu tun, aber offenbar wollte er dennoch einfach schneller sein.

Der letzte Fall ereignete sich vor zwei Jahren, als ein Gutachter, der zu den führenden Wissenschaftlern auf unserem Gebiet gehört, unser Manuskript mit ungewöhnlich seltsamen Argumenten ablehnte. Glücklicherweise bemerkte der Editor dies jedoch – und nahm die Arbeit an, da die beiden anderen Gutachter positiv urteilten.

Ich glaube, dass einige Wissenschaftler das Peer-Review-System auf diese Weise missbrauchen, da sie als Gutachter anonym bleiben und sie daher glauben, dass die Autoren ihre Identität nicht herausfinden werden. Dennoch habe ich keine Lösung für dieses Problem. Zwar veröffentlichen einige Zeitschriften inzwischen die Namen der Gutachter, allerdings befürchte ich, dass vor diesem Hintergrund vermehrt Manuskripte angenommen werden, die nicht den eigentlichen Standards der Zeitschriften entsprechen – einfach weil die Gutachter kritische Argumente, auch wenn sie berechtigt sind, zurückhalten könnten, um nicht ihre eigenen Beziehungen zu den Autoren zu gefährden.

Das lassen wir jetzt mal so stehen, nehmen aber gerne andere Erfahrungen, Meinungen und Vorschläge zum Thema entgegen …

(Illustr.: Adobe Firefly)

Lohnen sich Zitierkartelle?

27. März 2024 von Laborjournal

 

Neben Politik und Wirtschaft ist sicherlich die Wissenschaft das dritte große Seilschaften-Dorado.

…, so stand es unlängst in einem Essay zu lesen.

Da ist sicher was dran. Denn wo man hinsichtlich Begutachtungen, Berufungen, Fördermitteln, Evaluationen, Zitierungen et cetera derart von „Peers“ abhängig ist, da wird man wohl förmlich gedrängt zu Cliquenbildung, Gschaftlhuberei, Günstlingswirtschaft, … Und eine Ausprägung davon sind bisweilen Zitierkartelle.

Nehmen wir zunächst den aufrichtigen Wissenschaftler. Wenn er seine Resultate veröffentlicht, sieht er es als seine ehrenhafte Pflicht an, sämtliche relevanten Vorarbeiten zu zitieren. Auch solche von Personen, mit deren Inhalten er ansonsten nicht übereinstimmt – schließlich werden womöglich gerade dadurch fruchtbare Diskussionen befördert. Ordnungsgemäßes und gründliches Zitieren ist für ihn somit ein klares Qualitätsmerkmal seiner Forschungs­tätigkeit.

Doch so denken bei weitem nicht alle. Für andere sind Zitate vielmehr ein schnödes Mittel, das gewinnbringend für die eigene Karriere genutzt werden kann. Von daher zitieren sie ausschließlich die Arbeiten ihrer Freunde und Kollegen, die im Gegenzug wiederum sie selbst zitieren. Auf diese Weise entstehen Gruppen gleichgesinnter Kollegen, in denen jeder jeweils die Karrieren der anderen fördert – Zitierkartelle eben.  Diesen Beitrag weiterlesen »

Digitaler Paper-Schwund

20. März 2024 von Laborjournal

 

„Open is not forever: A study of vanished open access journals“ titelte vor gut zwei Jahren ein finnisch-deutsches Trio seine Studie über das Verschwinden digital publizierter Forschungsartikel aus dem Internet (J. Assoc. Inf. Sci. Technol. 72, 1115-16). Der Übergang zum digitalen Publizieren und insbesondere die Einführung des offenen Zugangs (Open Access) habe zu Unsicherheit und Komplexität geführt, schreiben sie im Abstract. Insbesondere sei die langfristige Zugänglichkeit von Zeitschriften nicht immer gewährleistet, sodass sie bisweilen sogar ganz aus dem Netz verschwinden können.

Als Ergebnis ihrer Analyse hielten die Drei schließlich fest:

Wir haben 174 Open-Access-Zeitschriften gefunden, die mangels umfassender und offener Archive zwischen 2000 und 2019 aus dem Netz verschwunden sind. Alle wichtigen Forschungsdisziplinen und geografischen Regionen der Welt waren abgedeckt. Unsere Ergebnisse geben daher Anlass zu großer Sorge um die Integrität der wissenschaftlichen Aufzeichnungen. Sie unterstreichen die Dringlichkeit, gemeinsame Maßnahmen zu ergreifen, um einen kontinuierlichen Zugang zu gewährleisten und den Verlust von mehr wissenschaftlichem Wissen zu verhindern.

Offenbar sahen die Autoren damals jedoch nur die berühmte Spitze des Eisbergs. Denn was der Londoner Martin Paul Eve jetzt unter dem Titel “Digital Scholarly Journals Are Poorly Preserved: A Study of 7 Million Articles” zum Thema nachlegt, dürfte die geäußerten Sorgen nochmals vergrößern (Journal of Librarianship and Scholarly Communication 12(1). doi: https://doi.org/10.31274/jlsc.16288). Eve hatte überprüft, ob 7.438.037 mit digitalen Objektkennungen (DOI) versehene Forschungsartikel in den einschlägigen Online-Archiven vorhanden sind (institutionelle Repositorien waren nicht berücksichtigt). Sage und schreibe 2.056.492 Artikel waren trotz aktiver DOI darin nicht mehr auffindbar – also rund 28 Prozent.  Diesen Beitrag weiterlesen »

Das schmackhafte Brot der Forschung

28. Februar 2024 von Laborjournal

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch trocken schmeckt es ihm nicht. Erst wenn ordentlich Butter und Belag in Form von Zitierungen draufgeschmiert werden, wird es ihm zum wirklichen Genuss. Und zwar je dicker, umso mehr – seit der Einfluss von Impact-Punkten und Zitierzahlen bei der Bewertung von Forschungsqualität fast schon ins Absurde gewachsen ist.

Seit Langem haben wir in mehreren Beiträgen versucht klarzumachen, dass die reine Zahl der Zitate den echten Einfluss der zitierten Arbeit auf nachfolgende Forschung nur sehr unzureichend widerspiegelt – und damit letztlich auch nicht ihre tatsächliche Qualität (siehe etwa „Wachsweiche Zitierzahlen“, „Zitierungen — Kein Maß für Qualität oder Einfluss“ oder „Mehr Zitate durch Open Data“).

Stimmt aber womöglich wenigstens der Umkehrschluss, dass Publikationen, die nicht zitiert werden, gar keinen Wert für nachfolgende Forschung haben? Dazu ein Zitat von Dag W. Aksnes, Professor am Nordic Institute for Studies in Innovation, Research and Education in Oslo:

So einfach ist es nicht, dass Artikel ohne Zitate wenig Wert haben. Sie können dennoch wichtig sein, um die Forschung voranzubringen. Sie können zum Beispiel die Ergebnisse früherer Studien bestätigen oder zeigen, dass zwei Dinge nicht miteinander verbunden sind.

Rein konfirmatorische Studien und negative Ergebnisse also. Genau das, was die Zeitschriften gerne ablehnen, da es den Zitatefluss für ihren Journal-Impact-Faktor zum Stottern bringt. Und was die Autorinnen und Autoren daher nicht nur den Belag, sondern oft genug gleich das ganze Brot kostet.

Dabei ist der wahre Wert konfirmatorischer Studien und negativer Ergebnisse für den wissenschaftlichen Fortschritt längst gezeigt (siehe etwa „Vom Triangulieren beim Experimentieren“, „Warum so negativ?“ oder „Negativ hilft“). So wäre beispielsweise die aktuelle Repliktionskrise sicherlich deutlich kleiner, würden mehr davon durchgeführt, publiziert – und auch trotz vergleichsweise magerer Zitierraten entsprechend honoriert.

Manche Scheibe Brot kann schlichtweg auch ohne fetten Belag ziemlich schmackhaft sein.

Ralf Neumann

(Illustration kreiert via Dall-E2)

 

Zur Filterkraft von Literatur-Datenbanken

24. Januar 2024 von Laborjournal

Raub-Verlage (Predatory Publishers), gekaperte Zeitschriften (Hijacked Journals), Papiermühlen (Paper Mills), Citation Delivery Vehicles, … – schon oft berichteten wir, wie immer mehr „Unternehmen“ mit diesen und anderen windigen Manövern Profit aus den Zwängen und Nöten des wissenschaftlichen Publikationssystems schlagen. Siehe etwa hierhierhier
oder hier. Die Folge davon: Der Anteil an Publikationen von zumindest zweifelhafter Qualität, die diese Machenschaften in den Scientific Record spülen, schwillt immer stärker an.

Könnten die einschlägigen Literatur-Datenbanken für wissenschaftliche Publikationen hier nicht als Filter fungieren?

Ein internationales Autoren-Quartett hat in diesem Sinne Clarivate’s Web of Science und Google Scholar zumindest hinsichtlich eines Teilaspekts stichprobenartig  verglichen: Wie viele Zitierungen listen beide in ihren Datenbanken, die zu gekaperten Zeitschriften (Hijacked Journals) führen? (Equilibrium. Quarterly Journal of Economics and Economic Policy 18: No. 4).

Dazu halten die Vier zunächst einmal fest:  Diesen Beitrag weiterlesen »

Soll Peer Review Fälschung aufdecken? – 2.0

22. November 2023 von Laborjournal

Im Wall Street Journal erschien unlängst ein Artikel mit dem Titel „What’s Wrong With Peer Review?“ Darin stellt die Autorin die Frage, ob angesichts vieler aufsehenerregender Retractions in der jüngsten Vergangenheit der Peer-Review-Prozess seine Funktion überhaupt noch erfüllt – nämlich zu entscheiden, welche Studien tatsächlich zur Veröffentlichung taugen.

In dem Artikel erregte ein Zitat der Chief-Editorin von Nature, Magdalena Skipper, besondere Aufmerksamkeit. Hinsichtlich des Aufdeckens gezielter Fälschungen in Forschungsartikeln hält sie fest, dass dies keineswegs Job der Reviewer ist – und fügt hinzu:

Ich möchte meine Peer-Reviewer eigentlich nicht als eine Art Polizeikommando ansehen, das solches Fehlverhalten aufspürt.

Schon im Artikel werden Editoren-Kollegen mit anderer Meinung zitiert. Für noch mehr Diskussionen sorgte Skippers Aussage indes in den Sozialen Medien. So wunderte sich etwa die australische Psychologie-Professorin Simine Vazire auf X (ehemals Twitter):

Die Zitate der Nature-Chief-Editorin Magdalena Skipper zur Frage, ob Zeitschriften im Rahmen des Peer-Review auch auf Fehler und Datenqualität prüfen sollten, überraschen mich doch sehr.

Und mit dieser Überraschung war sie bei weitem nicht allein. Diesen Beitrag weiterlesen »

Preprint- statt Journal-Clubs

8. November 2023 von Laborjournal

Die Zahl der Vorab-Ver­öf­fent­li­chungen von Forschungsergebnissen auf Preprint-Servern hat zuletzt rasant zugenommen – unter anderem auch stark befeuert durch die COVID-19-Pandemie. Zugleich betreiben die meisten akademischen Institutionen seit vielen Jahrzehnten die guten, alten „Journal Clubs“, in denen bereits begutachtete und publizierte Studienresultate kritisch besprochen werden. Warum angesichts dessen nicht zwei Fliegen mit einer Klappe schlagen, dachten sich offenbar vor drei Jahren eine Handvoll Jungforschende: Warum nicht gewisse Synergien erzeugen, indem man den „Journal Club“ in einen „Preprint Club“ umwandelt?

Ungefähr so entstand 2020 die Idee zu einem institutionsübergreifenden Preprint Club (preprintclub.com), um via Online-Treffen neue immunologische Studien zu bewerten, die auf den Preprint-Servern bioRxiv und medRxiv erschienen waren. Keimzelle waren junge Immunologinnen und Immunologen an der Icahn School of Medicine at Mount Sinai in New York City und der University of Oxford, später kamen weitere vom Stockholmer Karolinska-Institut und der University of Toronto hinzu.

Fünf von ihnen haben den Gründungsprozess und die Idee dahinter gerade in Nature (doi: 10.1038/d41586-023-01819-y) genauer beschrieben. Darin halten sie fest:   Diesen Beitrag weiterlesen »

Wo sind meine Paper hin?

18. Oktober 2023 von Laborjournal

Vielleicht sollte unser Forscher Ernst sich abends mit bestimmten Themen einfach nicht mehr beschäftigen …

 

(Gezeichnet von Rafael Florés. Über 200 weitere Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

 

Häufiger zitiert durch Twitter (X)?

27. September 2023 von Laborjournal

Dank Herrn Musk heißt Twitter heute bekanntlich X. Dennoch wird auch für X gelten, was ein US-Team gerade unter dem Titel „Controlled experiment finds no detectable citation bump from Twitter promotion“ veröffentlicht hat (bioRXiv, doi.org/kvk7). Demnach beobachteten die Beteiligten in ihrem Experiment keinen signifikanten Anstieg der Zitierzahlen von Forschungsartikeln, wenn diese zuvor auf Twitter angepriesen wurden.

Zitierzahlen interessieren den publizierenden Forscher respektive Forscherin natürlich sehr. Daher wundert auch kaum, dass zuvor bereits mehrere Handvoll ähnlicher Studien zum Thema durchgeführt wurden. Dummerweise jedoch lieferten diese in der Summe sehr gemischte Ergebnisse – von keinem Einfluss anpreisender Tweets auf die künftige Zitierrate (z.B. hier und hier) über allenfalls mäßige Folgen (z.B. hier und hier) bis hin zu einem deutlich positiven Effekt (z.B. hier und hier).

Jetzt also nochmal eine Studie zum gleichen Thema, wahrscheinlich die annähernd hundertste. Warum sollte man sich die überhaupt anschauen? Na ja, vielleicht weil sie gleich zu Beginn die allermeisten anderen erstmal in die Pfanne haut, indem es dort heißt:  Diesen Beitrag weiterlesen »

Besorgniserregende Stichproben

20. September 2023 von Laborjournal

„Wissenschaftsbetrug ist selten. Stimmt das eigentlich?“ Diese Frage stellte unser „Wissenschaftsnarr“ Anfang des Jahres in seiner Laborjournal-Kolumne (LJ 1-2/2023: 22-24). Und fasste ein Ergebnis seiner Recherche folgendermaßen zusammen:

Beispielsweise können mittlerweile wissenschaftliche Abbildungen automatisiert auf Manipulationen untersucht werden. Und tatsächlich zeigt die Anwendung dieser Techniken, dass mehr als vier Prozent aller biomedizinischen Publikationen Graphen und Abbildungen enthalten, die hochgradig verdächtig auf maligne Manipulationen sind – etwa die Verschiebung von Banden, Duplikationen, nicht plausible Fehlerbalken und so weiter. Diese Zahlen werden auch durch Arbeiten bestätigt, in denen Menschen die Abbildungen untersuchten.

Vier Prozent ist nicht selten. Noch schlimmer aber ist, dass in der Zwischenzeit weitere „Stichproben“ auf höhere Quoten kommen. So untersuchte beispielsweise ein fünfköpfiges Team der Universität Birmingham in Alabama, USA, insgesamt 67 Publikationen aus der rhinologischen Forschung mit dem KI-basierten Software-Tool Imagetwin auf potenziell unlauter duplizierte Immunofluoreszenz-Abbildungen (Int. Forum Allergy Rhinol., doi.org/ks6m). Bei 18 Artikeln schlug Image­twin Alarm. In neun davon charakterisierten die Autoren die Duplikationen daraufhin als „definitiv“, hinsichtlich der übrigen neun blieben sie bei „möglich, aber nicht vollends bestätigt“. Nimmt man nur erstere, bleibt folglich eine Manipulations-Quote von 12 Prozent.  Diesen Beitrag weiterlesen »