Problemfall Peer-Review-Missbrauch

17. April 2024 von Laborjournal

Nicht nur einschlägige Umfragen kommen zu dem Schluss, dass ein guter Teil derjeniger, die Manuskripte für Veröffentlichungen begutachten, das Peer-Review-System für unlautere Zwecke missbraucht. Auch uns wurden immer wieder entsprechende Fälle berichtet. Zuletzt schrieb uns etwa eine Genetikerin [der Name ist der Redaktion bekannt] die folgenden Zeilen:

In den vergangenen sechs Jahren musste ich bei drei Manuskripten erleben, dass die Gutachter ihre Position eindeutig missbrauchten, um deren Veröffentlichung zu verhindern. Im ersten Fall rief ich den Editor an und sagte ihm, dass ich wüsste, wer der Gutachter sei – und dass er mit sehr schwachen Argumenten versuche, unsere Veröffentlichung zu verhindern. Der Editor gab am Ende zwar zu, dass es sich tatsächlich um diese Person handelte. Trotzdem lehnte er das Manuskript ab.

In den nächsten Fall war interessanterweise wieder derselben Editor verwickelt, den ich mir leider nicht aussuchen konnte. Diesmal verhinderte ein anderer Gutachter unsere Veröffentlichung, indem er zunächst zwei langwierige Überarbeitungen verlangte – um schließlich doch alles abzulehnen. Vier Wochen später veröffentliche er in einer anderen Zeitschrift einen Artikel zum selben Thema. Seine Resultate hatten zwar nicht direkt etwas mit unseren Ergebnissen zu tun, aber offenbar wollte er dennoch einfach schneller sein.

Der letzte Fall ereignete sich vor zwei Jahren, als ein Gutachter, der zu den führenden Wissenschaftlern auf unserem Gebiet gehört, unser Manuskript mit ungewöhnlich seltsamen Argumenten ablehnte. Glücklicherweise bemerkte der Editor dies jedoch – und nahm die Arbeit an, da die beiden anderen Gutachter positiv urteilten.

Ich glaube, dass einige Wissenschaftler das Peer-Review-System auf diese Weise missbrauchen, da sie als Gutachter anonym bleiben und sie daher glauben, dass die Autoren ihre Identität nicht herausfinden werden. Dennoch habe ich keine Lösung für dieses Problem. Zwar veröffentlichen einige Zeitschriften inzwischen die Namen der Gutachter, allerdings befürchte ich, dass vor diesem Hintergrund vermehrt Manuskripte angenommen werden, die nicht den eigentlichen Standards der Zeitschriften entsprechen – einfach weil die Gutachter kritische Argumente, auch wenn sie berechtigt sind, zurückhalten könnten, um nicht ihre eigenen Beziehungen zu den Autoren zu gefährden.

Das lassen wir jetzt mal so stehen, nehmen aber gerne andere Erfahrungen, Meinungen und Vorschläge zum Thema entgegen …

(Illustr.: Adobe Firefly)

Digitaler Paper-Schwund

20. März 2024 von Laborjournal

 

„Open is not forever: A study of vanished open access journals“ titelte vor gut zwei Jahren ein finnisch-deutsches Trio seine Studie über das Verschwinden digital publizierter Forschungsartikel aus dem Internet (J. Assoc. Inf. Sci. Technol. 72, 1115-16). Der Übergang zum digitalen Publizieren und insbesondere die Einführung des offenen Zugangs (Open Access) habe zu Unsicherheit und Komplexität geführt, schreiben sie im Abstract. Insbesondere sei die langfristige Zugänglichkeit von Zeitschriften nicht immer gewährleistet, sodass sie bisweilen sogar ganz aus dem Netz verschwinden können.

Als Ergebnis ihrer Analyse hielten die Drei schließlich fest:

Wir haben 174 Open-Access-Zeitschriften gefunden, die mangels umfassender und offener Archive zwischen 2000 und 2019 aus dem Netz verschwunden sind. Alle wichtigen Forschungsdisziplinen und geografischen Regionen der Welt waren abgedeckt. Unsere Ergebnisse geben daher Anlass zu großer Sorge um die Integrität der wissenschaftlichen Aufzeichnungen. Sie unterstreichen die Dringlichkeit, gemeinsame Maßnahmen zu ergreifen, um einen kontinuierlichen Zugang zu gewährleisten und den Verlust von mehr wissenschaftlichem Wissen zu verhindern.

Offenbar sahen die Autoren damals jedoch nur die berühmte Spitze des Eisbergs. Denn was der Londoner Martin Paul Eve jetzt unter dem Titel “Digital Scholarly Journals Are Poorly Preserved: A Study of 7 Million Articles” zum Thema nachlegt, dürfte die geäußerten Sorgen nochmals vergrößern (Journal of Librarianship and Scholarly Communication 12(1). doi: https://doi.org/10.31274/jlsc.16288). Eve hatte überprüft, ob 7.438.037 mit digitalen Objektkennungen (DOI) versehene Forschungsartikel in den einschlägigen Online-Archiven vorhanden sind (institutionelle Repositorien waren nicht berücksichtigt). Sage und schreibe 2.056.492 Artikel waren trotz aktiver DOI darin nicht mehr auffindbar – also rund 28 Prozent.  Diesen Beitrag weiterlesen »

Das schmackhafte Brot der Forschung

28. Februar 2024 von Laborjournal

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch trocken schmeckt es ihm nicht. Erst wenn ordentlich Butter und Belag in Form von Zitierungen draufgeschmiert werden, wird es ihm zum wirklichen Genuss. Und zwar je dicker, umso mehr – seit der Einfluss von Impact-Punkten und Zitierzahlen bei der Bewertung von Forschungsqualität fast schon ins Absurde gewachsen ist.

Seit Langem haben wir in mehreren Beiträgen versucht klarzumachen, dass die reine Zahl der Zitate den echten Einfluss der zitierten Arbeit auf nachfolgende Forschung nur sehr unzureichend widerspiegelt – und damit letztlich auch nicht ihre tatsächliche Qualität (siehe etwa „Wachsweiche Zitierzahlen“, „Zitierungen — Kein Maß für Qualität oder Einfluss“ oder „Mehr Zitate durch Open Data“).

Stimmt aber womöglich wenigstens der Umkehrschluss, dass Publikationen, die nicht zitiert werden, gar keinen Wert für nachfolgende Forschung haben? Dazu ein Zitat von Dag W. Aksnes, Professor am Nordic Institute for Studies in Innovation, Research and Education in Oslo:

So einfach ist es nicht, dass Artikel ohne Zitate wenig Wert haben. Sie können dennoch wichtig sein, um die Forschung voranzubringen. Sie können zum Beispiel die Ergebnisse früherer Studien bestätigen oder zeigen, dass zwei Dinge nicht miteinander verbunden sind.

Rein konfirmatorische Studien und negative Ergebnisse also. Genau das, was die Zeitschriften gerne ablehnen, da es den Zitatefluss für ihren Journal-Impact-Faktor zum Stottern bringt. Und was die Autorinnen und Autoren daher nicht nur den Belag, sondern oft genug gleich das ganze Brot kostet.

Dabei ist der wahre Wert konfirmatorischer Studien und negativer Ergebnisse für den wissenschaftlichen Fortschritt längst gezeigt (siehe etwa „Vom Triangulieren beim Experimentieren“, „Warum so negativ?“ oder „Negativ hilft“). So wäre beispielsweise die aktuelle Repliktionskrise sicherlich deutlich kleiner, würden mehr davon durchgeführt, publiziert – und auch trotz vergleichsweise magerer Zitierraten entsprechend honoriert.

Manche Scheibe Brot kann schlichtweg auch ohne fetten Belag ziemlich schmackhaft sein.

Ralf Neumann

(Illustration kreiert via Dall-E2)

 

Wo sind meine Paper hin?

18. Oktober 2023 von Laborjournal

Vielleicht sollte unser Forscher Ernst sich abends mit bestimmten Themen einfach nicht mehr beschäftigen …

 

(Gezeichnet von Rafael Florés. Über 200 weitere Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

 

Betrugsware Co-Autorschaft

28. Juni 2023 von Laborjournal

Mehrfach haben wir schon darüber berichtet, auf welch dreiste Weise das System wissenschaftlichen Publizierens für betrügerische Aktivitäten missbraucht wird – zuletzt etwa hier, hier und hier. Und anscheinend lassen windige Witzfiguren tatsächlich rein gar nichts unversucht, um gerade den besonders Bedürftigen und/oder Leichtgläubigen aus der Forscherzunft ordentlich Geld für Nix aus der Tasche zu ziehen.

Waren es vor etwa einem Jahr noch Zitierungen, die eine Agentur systematisch an Forscher verkaufte (siehe hier), so werden inzwischen auch Co-Autorschaften auf angeblich bereits akzeptierten Papern gegen Geld feilgeboten. Am 19. Juli twitterte jedenfalls die allseits bekannte Fälschungs- und Missbrauchs-Detektivin Elisabeth Bik (sinngemäß übersetzt):

Wow, das ist ziemlich krass. Der Verfasser präsentiert hier einen Acceptance Letter für sein Manuskript von der Zeitschrift „Molecular Biology and Evolution“ – und verkauft jetzt auf Facebook Autorpositionen darauf für 5.000 oder mehr.

… Und zeigte einen Screenshot des betreffenden Facebook-Posts:  Diesen Beitrag weiterlesen »

Nervige Zeit- und Geldverschwendung für Manuskripte

17. Mai 2023 von Laborjournal

„Mein Vollzeitjob besteht gerade darin, abgelehnte Manuskripte für eine andere Zeitschrift neu zu formatieren – und mich dabei superproduktiv zu fühlen.“

Viele werden sich wiederfinden in diesem nicht ganz ironiefreien Tweet, den der Ernährungsphysiologe Katsu Funai von der University of Utah Anfang des Jahres abschickte. Und er ist bei weitem nicht der Einzige, der auf Twitter über den enormen Zeitaufwand klagt, den es kostet, wenn man ein Manuskript, das man gemäß den Anforderungen einer Zeitschrift formatiert hat, für die Zweiteinreichung bei einer anderen Zeitschrift in ein völlig anderes Format umarbeiten muss.

„Haben Sie sich schon einmal gefragt, wie lange es dauert, Artikel für Zeitschrifteneinreichungen neu zu formatieren?“, fragte daher Megan Davies, Postdoc in der Epidemiologie der Universität Kopenhagen, ebenfalls auf Twitter. Und fuhr fort: „Wir haben uns das gefragt und beschlossen, darüber zu schreiben! Wir haben die verlorene Zeit und das verlorene Geld berechnet sowie Editoren und Forscher befragt – und einige neue Vorschläge für Formatierungsrichtlinien entwickelt.“

Das Ergebnis ist jetzt nachzulesen in dem Paper mit dem Titel „Saving time and money in biomedical publishing: the case for free-format submissions with minimal requirements“ (BMC Medicine 21: 172), bei dem Megan Davies als Co-Autorin fungiert. Demnach registrierten Seniorautor Tibor Varga und sein Team zunächst einmal unter „302 führenden biomedizinischen Fachzeitschriften […] eine große Vielfalt an Enreichungsanforderungen“. Und stellten nachfolgend fest: Diesen Beitrag weiterlesen »

Publizieren Editoren allzu leicht im eigenen Journal?

25. Januar 2023 von Laborjournal

 

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch wer bestimmt, was veröffentlicht wird? In erster Linie die Editoren der betreffenden Forschungsblätter.

Über diese schreiben die fünf Autoren eines frischen Artikels mit dem Titel „Gender inequality and self-publication are common among academic editors“ (Nat Hum Behav, doi: 10.1038/s41562-022-01498-1):

Die Editoren spielen in diesem Prozess eine Schlüsselrolle, da sie das letzte Wort darüber haben, was veröffentlicht wird – und somit den Kanal kontrollieren, über den Wissenschaftler Prestige und Anerkennung erhalten. Darüber hinaus gehören die Herausgeber selbst zu den wissenschaftlichen Eliten, die von ihrer Community als Experten auf ihrem Gebiet anerkannt sind.

Editoren seien auf diese Weise nicht nur die „Gatekeeper“ der Wissenschaft, sondern suchen vielmehr selbst aktiv nach Möglichkeiten zur Veröffentlichung, führen die Autoren weiter aus. Schließlich arbeite die überwiegende Mehrheit von ihnen als aktive Forscher. Und da die Bewertung von Wissenschaftlern in hohem Maße von bibliometrischen Ergebnissen abhänge, stünden sie selbst unter einem gewissen Zwang, weiterhin eigene Originalarbeiten zu veröffentlichen.

Und wo tun sie das? Oftmals in den von ihnen herausgegebenen Zeitschriften. Was fast genauso oft zu Kontroversen führt. Denn wie die Autoren schreiben:

Solche Kontroversen werden durch die Möglichkeit angeheizt, dass die Beiträge der Editoren bevorzugt behandelt werden.

Und dies könne man durchaus als „Missbrauch des wissenschaftlichen Publikationssystems“ werten.  Diesen Beitrag weiterlesen »

Schriftsteller-Bingo im Fake-Journal

4. Januar 2023 von Laborjournal

Auf den ersten Blick kann es scheinen, dass dem British Journal of Research Sensationelles gelungen ist. Jedenfalls wenn man erstmal nur die Autoren wahrnimmt, die in dessen Nummer 9 vom 28. September des letzten Jahres schrieben: Charlotte Brontë, Hermann Hesse, Rainer Maria Rilke, Walt Whitman und William Faulkner. Hat die Zeitschrift womöglich bis dato verschollene Manuskripte dieser Giganten der Weltliteratur veröffentlichen dürfen?

Mitnichten!

Gleich beim zweiten Blick wird klar: Wir haben ein ganz besonders skurriles Fake-Journal aufgeschlagen. Da schreibt etwa der Literatur-Nobelpreisträger Hermann Hesse ein „Opinion Piece“ mit dem Titel Execution of the Qa Instrument to Decide the Recurrence of Radiographic Mistakes on Sidelong Radiographs. Unter der Dienstadresse „Department of Basic Sciences, University of Cologne, Germany“. Und via Mail erreichbar sei Herr Hesse unter Herman46@gmail.com.

Ja, sicher!

 

Rainer Maria Rilke schrieb 1902 über den Panther,
aber 2022 über Boden-Mikroben …?

 

Ähnlich sieht es beim Lyriker Rainer Maria Rilke aus. Zwar lobte ihn vor 120 Jahren der große Zoologe Jakob Johann von Uexkül auch fachlich für sein berühmtes Gedicht „Der Panther“, doch dass man jetzt ein Werk aus seiner Feder mit dem Titel Watery Living Spaces and Carbon Inputs Shape the Microscale Topography and Communication Scopes of Soil Microorganisms ausgegraben haben will …? Und dieses dann mit angeblicher Dienstadresse „Department of Basic Sciences, Free University of Berlin, Germany, E-Mail: Rainer75@gmail.com“ von Rilke publiziert?    Diesen Beitrag weiterlesen »

Die Unlust zum Datenteilen

3. August 2022 von Laborjournal

Was treibt den wissenschaftlichen Fortschritt an? Alles Mögliche könnte man hier nennen: Neugier, ein offener Geist, auch harte Arbeit, … Nehmen wir es hier aber mal ganz pragma­tisch: Zumindest in der heutigen modernen Wissenschaft sind es zuerst und vor allem die Daten, die sie immer weiter voranbringen.

Nicht zuletzt deshalb ist eine der größten Forderungen der Open-Science-Bewegung, die Rohdaten aus Experimenten jederzeit für alle frei verfügbar zu machen. Und nicht zuletzt deshalb fordern inzwischen die meisten Journals von den Autoren, die Rohdaten der im Manuskript beschriebenen Resultate der Forschungsgemeinde stets zur freien Verfügung zu halten. Weshalb inzwischen auch die meisten Paper das starke Statement ziert: „Data available on request.“

Doch wie stark ist das Statement in der Praxis? Ist es mit robuster Substanz gefüllt? Oder bleibt es als notgedrungene Absichtserklärung eher eine leere Luftnummer?

Bereits in Laborjournal 3/22 (S. 10) berichteten wir von einer nicht gerade hoffnungsvollen Stichprobe zum Thema. Ein Team hatte bei den Autoren von 53 Veröffentlichungen in der Krebsforschung Rohdaten angefordert – ein Drittel antwortete überhaupt nicht, und nur ein Viertel teilte die Daten vollständig und in brauchbarer Form.    Diesen Beitrag weiterlesen »

Bekannter durch Retractions

20. Juli 2022 von Laborjournal

Eine Retraktion Ihres neuesten Artikels wäre das Beste, das Ihnen passieren kann – zumindest hinsichtlich Ihres Bekanntheitsgrades. Diese Aussage macht keinen Sinn, finden Sie? Schließlich kann eine widerrufene Publikation nicht mehr zitiert werden – schon allein weil sie Fehler enthält? Weit gefehlt.

Sicher ist es nicht Ihr Ziel, zu publizieren, um Ihre Publikation zurückgezogen zu sehen. Trotzdem geschah das – entweder infolge von Täuschungsversuchen oder infolge ehrlicher Fehler – laut der Datenbank von Retraction Watch im letzten Jahrzehnt jedes Jahr durchschnittlich 15 Prozent häufiger als noch im Jahr zuvor (siehe Tabelle).

Mit einer Retraktion sollte eine Publikation und ihr gesamter Inhalt sowohl aus dem Speicher der Wissenschaftsgemeinde als auch aus dem öffentlichen Bewusstsein getilgt sein – so als hätte sie nie existiert. Jedoch existiert kein Automatismus, jeden einzelnen Forschungstreibenden – geschweige denn die öffentliche Wahrnehmung – über widerrufene Artikel in Kenntnis zu setzen.

Zudem gibt es manchmal auch keine andere als die zurückgezogene Publikation, die zum Beispiel eine bestimmte Methode beschreibt. Überhaupt muss ja nicht alles an einem zurückgezogenen Artikel falsch sein.

Aus diesen und noch anderen Gründen werden widerrufene Artikel weiterhin zitiert – wenn auch weniger häufig. Also unterbinden Retraktionen demnach wenigstens halbwegs die Verbreitung falscher Information? Nein, nicht einmal das.

Selbst unter den zehn meistgeteilten Publikationen des Jahres 2020 finden sich zwei zurückgezogene Artikel. Und das sind keine Einzelfälle – ganz im Gegenteil. Eine Analyse US-amerikanischer Kommunikationswissenschaftler vom Juni 2022 (PNAS. doi: 10.1073/pnas. 2119086119) zeigt vielmehr, dass später widerrufene Publikationen im Durchschnitt häufiger erwähnt werden als korrekte Artikel. Sie quantifizierten, wie viel Aufmerksamkeit 3.985 widerrufene Artikel vor und nach ihrer Retraktion auf 14 Online-Plattformen erhielten. Im Vergleich zu nicht-zurückgezogenen Artikeln erfreuten sich die fehlerhaften Publikationen tatsächlich höherer Aufmerksamkeit – und zwar nicht nur in sozialen Medien wie Twitter, Facebook und Reddit, sondern vor allem auf kuratierten Plattformen wie Online-Nachrichtendiensten und Internet-Enzyklopädien.  Diesen Beitrag weiterlesen »