Digitaler Paper-Schwund

20. März 2024 von Laborjournal

 

„Open is not forever: A study of vanished open access journals“ titelte vor gut zwei Jahren ein finnisch-deutsches Trio seine Studie über das Verschwinden digital publizierter Forschungsartikel aus dem Internet (J. Assoc. Inf. Sci. Technol. 72, 1115-16). Der Übergang zum digitalen Publizieren und insbesondere die Einführung des offenen Zugangs (Open Access) habe zu Unsicherheit und Komplexität geführt, schreiben sie im Abstract. Insbesondere sei die langfristige Zugänglichkeit von Zeitschriften nicht immer gewährleistet, sodass sie bisweilen sogar ganz aus dem Netz verschwinden können.

Als Ergebnis ihrer Analyse hielten die Drei schließlich fest:

Wir haben 174 Open-Access-Zeitschriften gefunden, die mangels umfassender und offener Archive zwischen 2000 und 2019 aus dem Netz verschwunden sind. Alle wichtigen Forschungsdisziplinen und geografischen Regionen der Welt waren abgedeckt. Unsere Ergebnisse geben daher Anlass zu großer Sorge um die Integrität der wissenschaftlichen Aufzeichnungen. Sie unterstreichen die Dringlichkeit, gemeinsame Maßnahmen zu ergreifen, um einen kontinuierlichen Zugang zu gewährleisten und den Verlust von mehr wissenschaftlichem Wissen zu verhindern.

Offenbar sahen die Autoren damals jedoch nur die berühmte Spitze des Eisbergs. Denn was der Londoner Martin Paul Eve jetzt unter dem Titel “Digital Scholarly Journals Are Poorly Preserved: A Study of 7 Million Articles” zum Thema nachlegt, dürfte die geäußerten Sorgen nochmals vergrößern (Journal of Librarianship and Scholarly Communication 12(1). doi: https://doi.org/10.31274/jlsc.16288). Eve hatte überprüft, ob 7.438.037 mit digitalen Objektkennungen (DOI) versehene Forschungsartikel in den einschlägigen Online-Archiven vorhanden sind (institutionelle Repositorien waren nicht berücksichtigt). Sage und schreibe 2.056.492 Artikel waren trotz aktiver DOI darin nicht mehr auffindbar – also rund 28 Prozent.  Diesen Beitrag weiterlesen »

Das schmackhafte Brot der Forschung

28. Februar 2024 von Laborjournal

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch trocken schmeckt es ihm nicht. Erst wenn ordentlich Butter und Belag in Form von Zitierungen draufgeschmiert werden, wird es ihm zum wirklichen Genuss. Und zwar je dicker, umso mehr – seit der Einfluss von Impact-Punkten und Zitierzahlen bei der Bewertung von Forschungsqualität fast schon ins Absurde gewachsen ist.

Seit Langem haben wir in mehreren Beiträgen versucht klarzumachen, dass die reine Zahl der Zitate den echten Einfluss der zitierten Arbeit auf nachfolgende Forschung nur sehr unzureichend widerspiegelt – und damit letztlich auch nicht ihre tatsächliche Qualität (siehe etwa „Wachsweiche Zitierzahlen“, „Zitierungen — Kein Maß für Qualität oder Einfluss“ oder „Mehr Zitate durch Open Data“).

Stimmt aber womöglich wenigstens der Umkehrschluss, dass Publikationen, die nicht zitiert werden, gar keinen Wert für nachfolgende Forschung haben? Dazu ein Zitat von Dag W. Aksnes, Professor am Nordic Institute for Studies in Innovation, Research and Education in Oslo:

So einfach ist es nicht, dass Artikel ohne Zitate wenig Wert haben. Sie können dennoch wichtig sein, um die Forschung voranzubringen. Sie können zum Beispiel die Ergebnisse früherer Studien bestätigen oder zeigen, dass zwei Dinge nicht miteinander verbunden sind.

Rein konfirmatorische Studien und negative Ergebnisse also. Genau das, was die Zeitschriften gerne ablehnen, da es den Zitatefluss für ihren Journal-Impact-Faktor zum Stottern bringt. Und was die Autorinnen und Autoren daher nicht nur den Belag, sondern oft genug gleich das ganze Brot kostet.

Dabei ist der wahre Wert konfirmatorischer Studien und negativer Ergebnisse für den wissenschaftlichen Fortschritt längst gezeigt (siehe etwa „Vom Triangulieren beim Experimentieren“, „Warum so negativ?“ oder „Negativ hilft“). So wäre beispielsweise die aktuelle Repliktionskrise sicherlich deutlich kleiner, würden mehr davon durchgeführt, publiziert – und auch trotz vergleichsweise magerer Zitierraten entsprechend honoriert.

Manche Scheibe Brot kann schlichtweg auch ohne fetten Belag ziemlich schmackhaft sein.

Ralf Neumann

(Illustration kreiert via Dall-E2)

 

Neues von den Zombies

12. Juli 2023 von Laborjournal

Öfter schon haben wir über „Zombie-Paper“ gemeckert. Artikel also, die trotz erfolgter Retraction munter weiter zitiert werden. Beispielsweise hier, hier und hier.

Um das Problem klarzumachen, schrieben wir etwa:

Eigentlich ist man sich grundsätzlich einig in der Wissenschaft: Wird ein publiziertes Paper zurückgezogen („retracted“) – egal, ob aus ehrenhaften oder unehrenhaften Gründen –, dann gilt es augenblicklich als aus dem Scientific Record entfernt. Mit all seinen Daten und Schlussfolgerungen. Als hätte es nie existiert, als wären die Experimente nie gemacht worden.

Doch leider sieht die Realität gar nicht selten anders aus. Hartnäckig geistern zurückgezogene Veröffentlichungen als putzmuntere Zombies weiter durch den Wissenschaftsbetrieb – und treiben ihr Unwesen vor allem in den Referenzlisten nachfolgender Publikationen. Meist werden sie noch Jahre später zitiert, manche nach der Retraction sogar noch häufiger als vorher.

Jetzt präsentiert ein Team von fünf Informationswissenschaftlerinnen und -wissenschaftlern wieder eine neue Studie zum Thema: „Evolution of retracted publications in the medical sciences: Citations analysis, bibliometrics, and altmetrics trends“ (Account. Res., doi.org/kjfk). Dazu identifizierten sie in der Datenbank Scopus 840 Publikationen, die in den medizinischen Wissenschaften zwischen 2016 bis 2020 zurückgezogen wurden. Diese wurden bis August 2021 insgesamt 5.659 Mal zitiert, 1.559 dieser Zitierungen datierten deutlich nach der Retraktion des zitierten Artikels. Die Rate der „Zombie-Referenzen“ beträgt damit satte 27,5 Prozent.  … Hier geht’s weiter »

Viele Peer Reviews, viele Zitate

16. November 2022 von Laborjournal

Kaum etwas bietet Wissenschaftlerinnen und Wissenschaftlern derart viel Anlass zu Diskussionen wie der Peer-Review. Das Peer-Review-System sei veraltet, überlastet, Neuheits-feindlich, Missbrauchs-anfällig und und und.

Ob das Fazit „Wer viele Peer-Reviews erstellt, publiziert mehr und wird auch häufiger zitiert“ ebenfalls für derartige Diskussionen sorgen wird, sei einmal dahingestellt – auf jeden Fall verkündet ein Team kanadischer Epidemiologen dies als Schlussfolgerung in ihrem Artikel „Characteristics of ‘mega’ peer-reviewers“ (Res. Integr. Peer Rev. 7, 1).

Oder meinen sie es eher umgekehrt: Wer viel publiziert und häufig zitiert wird, schreibt auch mehr Peer-Reviews?

Okay, was haben die Kanadier also genau gemacht?

Aus der Peer-Review-Plattform Publons suchten sie sich 396 Gutachter heraus, die von Januar bis Dezember 2018 mindestens hundert Peer-Reviews abgeschlossen hatten. Diese bezeichneten sie als „Mega-Peer-Reviewer“ und stellten sie einer Kontrollgruppe von 1.200 „mittleren“ Peer-Reviewern gegenüber, die im selben Zeitraum zwischen einem und 18 Gutachten geschrieben hatten.

Die statistischen Analysen erbrachten als Ergebnisse:

  • Die Peer-Review-Texte waren in beiden Gruppen im Mittel gleich lang.
  • Die Mehrheit der Mega-Peer-Reviewer stammte aus Asien (33 %), Europa (37 %) und Nordamerika (19 %). In der Kontrollgruppe der Peer-Reviewer kamen 41 % aus Europa, 26 % aus Nordamerika und 21 % aus Asien.
  • Drei Viertel der Mega-Peer-Gutachter waren männlich, während der Männer-Anteil in der Kontrollgruppe 58 Prozent betrug.
  • Mega-Peer-Reviewer wiesen im Vergleich zur Kontrollgruppe eine signifikant höhere mittlere Anzahl an Gesamt-Publikationen und -Zitierungen auf; auch im Analysejahr 2018 allein publizierten sie im Mittel mehr und wurden häufiger zitiert. Ebenso kamen die Mega-Peer-Reviewer auf einen höheren h-Index-Schnitt.

In der Diskussion schreiben die Autoren vor allem zum letzten Punkt:

Unsere Studie war nicht darauf ausgerichtet, die Gründe für diese Unterschiede zu untersuchen. Beispielsweise könnten Mega-Peer-Reviewer von den Herausgebern häufiger zur Begutachtung eingeladen werden, oder sie könnten eine Vergütung für die Begutachtung erhalten.

Aber eine Vermutung haben sie dennoch:

Unsere Ergebnisse deuten darauf hin, dass Mega-Peer-Reviewer möglicherweise etablierter sind (beispielsweise mehr Zitierungen; hoher h-Index) als Nicht-Mega-Peer-Reviewer.

Womit am Ende klar geworden sein dürfte: Keineswegs bekommt man mehr Publikationen und Zitate, weil man viel begutachtet. Wäre ja auch zu schön gewesen. Nein, umgekehrt wird ein Schuh daraus: Wer viel publiziert und zitiert wird, der wird auch verstärkt zum Peer-Review herangezogen. Auch wenn der eine oder die andere das in diesem Ausmaß womöglich gar nicht will

Ralf Neumann

(Illustr.: L. Engler)

Die gute Tasse Kaffee ist noch besser!

5. Oktober 2022 von Laborjournal

Unter dem Titel „Wissenschaftler sind lediglich Hilfsmittel, um Kaffee in Resultate umzuwandeln“ berichteten wir vor zehn Jahren an dieser Stelle über eine Quasi-Studie, die Wissenschaftlern unter allen Berufsgruppen den höchsten Kaffeekonsum bescheinigte. Natürlich kam uns dieser Beitrag sofort wieder in den Sinn, als uns eine Meldung der European Society of Cardiology mit dem Titel „Kaffeetrinken ist mit erhöhter Lebenserwartung assoziert“ in die Redaktion flatterte.

Wow, wäre ja durchaus eine gute Nachricht für unsere Leserschaft, dachten wir – und schauten uns die Meldung genauer an. Diese wiederum bezieht sich auf ein Paper im European Journal of Preventive Cardiology mit dem Titel „The impact of coffee subtypes on incident cardiovascular disease, arrhythmias, and mortality: long-term outcomes from the UK Biobank“ – und beschreibt erfreulich genau, was das australische Autorenteam konkret gemacht hat. Wir zitieren:

Die Studie umfasste 449.563 Teilnehmer, die zu Beginn der Studie keine Herzrhythmusstörungen oder andere kardiovaskuläre Erkrankungen aufwiesen. Das Durchschnittsalter lag bei 58 Jahren, 55,3% waren Frauen. Die Teilnehmer füllten einen Fragebogen aus, in dem sie gefragt wurden, wie viele Tassen Kaffee sie täglich tranken und ob sie gewöhnlich Instantkaffee, gemahlenen Kaffee (z. B. Cappuccino oder Filterkaffee) oder entkoffeinierten Kaffee tranken. Anschließend wurden sie in sechs Kategorien des täglichen Kaffeekonsums eingeteilt: keine, weniger als eine, eine, zwei bis drei, vier bis fünf sowie mehr als fünf Tassen pro Tag. Bei 198.062 (44,1%) der Teilnehmer war der übliche Kaffeetyp Instantkaffee, bei 82.575 (18,4%) gemahlener Kaffee und bei 68.416 (15,2%) entkoffeinierter Kaffee. 100.510 (22,4%) waren Nicht-Kaffeetrinker, die als Vergleichsgruppe dienten.

Für eine ausreichende statistische Power dürften die Autoren damit allemal gesorgt haben.

Weiter heißt es dann zur Methodik:  Diesen Beitrag weiterlesen »

Humor ist, wenn man trotzdem …

6. April 2022 von Laborjournal

 

Humor ist bekanntlich Geschmackssache. Schließlich können die Antennen dafür individuell stark variieren – und manchen fehlen sie gar völlig.

Wie aber sieht es damit in Wissenschaft und Forschung aus?

Als wir beispielsweise vor zwanzig Jahren Sidney Brenner – kurz bevor er den Nobelpreis kriegen sollte – fragten, wie wichtig für ihn Humor in der Wissenschaft sei, antwortete er:

Absolut essentiell. Ich denke, zu viele Wissenschaftler nehmen sich selbst zu ernst. Humor ist ein Teil des Lebens, und daher auch der Wissenschaft. Er dreht die Dinge herum und verschafft einem einen anderen Blickwinkel. Und so kann Humor auch zu neuen Erkenntnissen führen. Oder gar beim Entwickeln von Ideen helfen. In der Tat muss eine gute Idee nicht nur gut sein, sondern in gewissem Sinne auch witzig.

Im Geiste unterschrieben wir das. Schließlich ist ja auch von weiteren großen Namen aus der Wissenschaftsgeschichte durchaus bekannt, dass sie zum Lachen nicht unbedingt in den Keller gingen: Albert Einstein, Francis Crick, Kary Mullis, …

Bei anderer Gelegenheit schauten wir uns dann um, wie es mit dem Humor in wissenschaftlichen Originalartikeln – also „Papern“ – steht. Und tatsächlich spürten wir so manches Beispiel für einen gewissen „Guerilla-Humor“ in Abbildungen auf – siehe etwa hier, hier oder hier.

Und witzige Titel? Zumindest kann es wohl kaum als bierernst gelten, wenn Autorinnen und Autoren ihre Artikel mit abgewandelten Film-, Song- oder Literatur-Zitaten überschreiben – wie etwa „Everything you always wanted to know about sex … in flies“. Gerade hierfür fanden wir am Ende sogar richtig viele Beispiele, und hatten sie seinerzeit hier zusammengetragen.

Scheint also doch alles in allem ein eher lustiges Völkchen zu sein, diese Forscher.

Doch dann kam eine gewisse Ernüchterung. Diesen Beitrag weiterlesen »

Schwaches Data Sharing

24. März 2022 von Laborjournal

Bisweilen zieht sich eine gewisse kollegiale Schlampigkeit durch die Forscherzunft. Zum Beispiel, wenn es darum geht, Kolleginnen und Kollegen auf Anfrage weitere Informationen zu den eigenen publizierten Studien mitzuteilen. Dazu berichten wir beispielsweise Folgendes unter „Inkubiert“  in unserem aktuellen Heft:

Dass gerade Letzteres es häufig nahezu unmöglich macht, publizierte Ergebnisse durch „Nachkochen“ zu bestätigen, illustriert eine frische Arbeit zur Replizierbarkeit von Studien aus der präklinischen Krebsforschung (eLife 10: e67995). Insgesamt wollten deren Autoren 193 Experimente aus 53 Arbeiten replizieren. Jedoch fehlten darin zu viele wichtige Informationen über Methodik und Ergebnisse – oder waren zumindest ungenügend. Am Ende konnten sie für kein einziges Experiment ein Protokoll zu dessen Wiederholung entwerfen, ohne die Originalautoren um klärende Details zu bitten. Allerdings antwortete jeder Dritte von ihnen daraufhin überhaupt nicht, und nur ein Viertel lieferte wirklich hilfreiche Unterstützung.

Und siehe da, gerade eben sind wir über eine weitere Studie gestolpert, die ganz frisch über ähnlich schwaches Verhalten hinsichtlich Data Sharing berichtet. Ihr Titel lautet „Frequency of receiving requested data for a systematic review and associated factors: A cross-sectional study“, verfasst hat sie ein brasilianisches Autorenteam (Account. Res. 29(3): 165-77). Sinngemäß übersetzt steht als Kernergebnis im Abstract:

Ziel dieser Studie war es abzuschätzen, wie häufig man Daten erhält, die für das Verfassen eines systematischen Reviews angefordert wurden. Dazu kontaktierten wir per E-Mail Autoren von Studien mit dem Anliegen, dass wir zusätzliche Daten von ihnen benötigten. […] Von den 164 angeschriebenen Studien antworteten 110 (67,1 %), 51 schickten angeforderte Daten (31,1 %). Die mittlere Zeit bis zum Erhalt einer Antwort […] betrug 36 Tage. […] Das Anfordern von Daten für einen systematischen Review kostete folglich viel Zeit und hatte überhaupt nur bei drei von zehn Studien Erfolg.

Könnte es sein, dass die ach so gerne beschworene Scientific Community in punkto kollegiales Verhalten doch deutlich mehr Luft nach oben hat, als viele von ihrer eigenen Zunft gerne wahrhaben wollen? Und dass man vom hehren Ideal des freien Datenaustauschs zugunsten einer Open Science weiter entfernt ist, als man dachte? Schließlich scheint dieser ja noch nicht einmal auf direkte Nachfrage gut zu klappen.

Ralf Neumann

(Illustr.: pngtree)

Hauptsache, man braucht Förderanträge!

17. Dezember 2019 von Laborjournal

Was wäre, wenn jeder Forscher einfach erstmal Geld bekäme? Ganz ohne Antrag, geschweige denn Peer Review? So wie einst­mals Otto Warburg, der lediglich schrieb: „Ich benötige 10.000 Mark. Otto Warburg“. Und sie tatsächlich bekam.

„Ja ja, träum‘ weiter“, mögen jetzt viele denken. Doch gemach, blättern wir hierzu ruhig mal in ein etwas älteres Heft von Accountability in Research — und reiben uns angesichts einer kanadischen Studie ungläubig die Augen (Band 16(1), S. 13-40). Da teilen uns die Autoren mit, dass ein sogenannter „Direct Baseline Discovery Grant“ des Natural Science and Engineering Research Council Canada (NSERC) im Durchschnitt 30.000 kanadische Dollar wert ist. Und dem setzen sie entgegen, was der ganze Prozess des Antragschreibens samt anschließender Bewilligung oder Ablehnung (!) durch Peer Review — nach Arbeitszeit et cetera bemessen — insgesamt kostet: nämlich satte 40.000 kanadische Dollar pro Antrag.

Selbst nach mehrmaligem Augenreiben bleibt somit das Fazit: Ein abgelehnter Antrag verbrät 10.000 Dollar mehr, als das Projekt bei Bewilligung überhaupt bekommen könnte. Da muss doch was faul sein! Und natürlich brauchen die Autoren auch keine höhere Mathematik um zu folgern, dass der NSERC sogar noch Geld sparen würde, wenn er jedem „qualifizierten Forscher“ den 30.000-Dollar-Baseline Grant einfach auf Anfrage direkt in die Hand drücken würde.

Sicher, 30.000 Dollar sind für diejenigen, die materialaufwändige Forschung betreiben, nicht viel. Dennoch spekulieren die Autoren, dass durch solcherart „effizientere“ Verteilung von Fördermitteln deutlich mehr und bessere Forschung laufen könnte — insbesondere im „Critical-Idea-or-Discovery“-Stadium. Wenn dann die ersten Ergebnisse tatsächlich vielversprechend wären, hätte man immerhin schon etwas in der Hand, um nachfolgend einen größeren — und natürlich begutachteten — Grant zu beantragen.

Bleibt noch die Frage, ob nach diesem Schema nicht Hinz und Kunz Geld bekommen könnten — und eben nicht nur „qualifizierte Forscher“. Dazu lediglich folgender Blog-Kommentar eines Forschers:

Bei jedem Karriereschritt, bei jedem einzelnen Paper werden wir immer wieder neu evaluiert. So sorgfältig und eindringlich, dass man uns doch irgendwann einmal genau in diesem einen Punkt trauen können sollte — nämlich dann, wenn wir neue Forschung anpacken.

Ralf Neumann

[Addendum: Fairerweise muss abschließend noch erwähnt werden, dass ein kanadischer Physiker die Kalkulation des Arbeitsaufwands von 40.000 kanadischen Dollar pro Antrag nachfolgend als viel zu hoch kritisierte (Accountability in Research 16(4): 229-31). Ein weiteres Paper dagegen kalkulierte für die Bearbeitung von Forschungsanträgen in Australien ähnlich hohe Ausgaben (BMJ Open 2013;3:e002800).]

 

Antwortscheue „Corresponding Authors“

2. September 2014 von Laborjournal

Wozu steht bei jedem Paper ein „Corresponding Author“? Simple Frage, oder? Als kompetenter und zuverlässiger Ansprechpartner für Fragen oder Anfragen, die nach der Publikation auftauchen. Wie der Name schon sagt: Jemand, mit dem man über das Paper korrespondieren kann.

Wenn sie es denn nur tun würden…

Denn von der Hälfte der angegebenen „Corresponding Authors“ bekommt man auf Nachfrage keine Antwort. Dies jedenfalls ist das Ergebnis einer Probe auf’s Exempel, die drei Bostoner Forscher jetzt in Clinical Orthopaedics and Related Research unter dem Titel „Do Corresponding Authors Take Responsibility for Their Work? A Covert Survey“ veröffentlichten (publ. online 15. August 2014).

Quasi „undercover“ hatten die Verfasser insgesamt 450 „Corresponding Authors“ angemailt und nach zusätzlichen ergänzenden Daten gefragt, die sie angeblich für einen Review brauchen würden. Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (23)

14. Februar 2014 von Laborjournal

Gerade am Telefon folgende interessante Geschichte gehört:

Forscherin hatte mit ihren Leuten eine Studie abgeschlossen, deren Ergebnisse sie für „bahnbrechend“ hielt — sowohl, was gewisse zelluläre Steuermechanismen anging, wie auch in ihrer klinischen Bedeutung. Auch das Manuskript hielt sie für überaus gelungen (was ja keineswegs automatisch der Fall ist, nur weil man gute Daten hat). Doch die Enttäuschung kam prompt: Der Editor des Edelblatts, welches sie für die Veröffentlichung ausgewählt hatte, schickte das Manuskript schnöde wieder zurück. Abgelehnt, ohne überhaupt zum Review geschickt worden zu sein!

Der Editor hatte das Manuskript offenbar nur kurz überflogen — und entschieden, dass es nicht mal einen Peer Review wert war. Warum? — fragte sich unsere Forscherin. Waren die Daten doch nicht so gut, wie sie gedacht hatte? Enthielten die Schlussfolgerungen logische Fehler? Hatte sie mit der Bedeutung der Resultate für das gesamte Feld übertrieben? Oder war es vielleicht „nur“ schlecht geschrieben? Es musste ja wohl etwas Offensichtliches sein, dass der Editor es umgehend wieder zurückschickte. Aber diesen „offensichtlichen“ Grund hätte der Editor doch wenigstens mitteilen können. Das wäre doch ein wichtiges und konstruktives Feedback gewesen.

Immer wieder drehten diese und ähnliche Gedanken ihre Kreise im Kopf der Forscherin — bis sie den Entschluss fasste, den Editor in dieser Angelegenheit nochmals anzuschreiben. Höflich erklärte sie in dem Schreiben noch einmal kurz und klar, warum sie ihre Ergebnisse für so wichtig hielt — und warum das Paper daher ihrer Meinung nach genau in dieses Journal passen würde. Nur um schließlich darum zu bitten, ihr kurz mitzuteilen, was genau die Editoren dazu bewogen hatte, das Manuskript nicht einmal begutachten zu lassen. Schließlich könne ihr eine entsprechende „handfeste“ Rückmeldung enorm helfen, das Manuskript zu verbessern — wenn auch wohl für ein anderes Journal.

Die Antwort kam eine Woche später — und ließ unsere Forscherin endgültig den Glauben an das Peer Review-System verlieren: „We cannot give you any feedback as the paper had not been sent out for review.“