Embargo-Verzerrungen

22. Dezember 2021 von Laborjournal

 

 

Bekanntlich gibt es einige Wege, wie man Zitierraten von Artikeln und Impact-Faktoren von Zeitschriften künstlich verzerren kann – siehe etwa hier und hier. Auf einen weiteren macht nun ein Quartett um den Kieler Wirtschaftsinformatiker Steffen Lemke aufmerk­sam. Schon der Titel des Artikels macht deutlich, wie der Hase konkret läuft: „Research articles promoted in embargo e-mails receive higher citations and altmetrics“ (Scientometrics, doi: 10.1007/s11192-021-04217-1).

Mittel zum Zweck sind also Embargo-E-Mails, mit denen die Fachblätter das Erscheinen von vermeintlich besonders wichtigen Artikeln weithin vorab ankündigen.

Im Abstract fassen Lemke et al. ihre Studie folgendermaßen zusammen:

Um gründlich und rechtzeitig über die neuesten wissenschaftlichen Forschungsergebnisse berichten zu können, sind Wissenschaftsjournalisten häufig auf Informationen angewiesen, die ihnen von den Herausgebern wissenschaftlicher Zeitschriften unter Embargo zugesandt werden. In solchen Embargo-E-Mails machen Verleger die Journalisten gezielt auf ausgewählte bevorstehende Veröffentlichungen aufmerksam – und zwar bereits ein paar Tage vor deren Erscheinen.

Indes ist kaum bekannt, wie sich diese frühzeitige Hervorhebung bestimmter Forschungsartikel auf deren spätere Zitierungen oder Altmetrics auswirkt. Hier präsentieren wir daher eine explorative Fallstudie mit dem Ziel, die Auswirkungen solcher Werbeaktivitäten auf die bibliometrischen und altmetrischen Indikatoren wissenschaftlicher Artikel zu untersuchen. In einem Treatment-Control-Design analysieren wir die Zitierzahlen sowie acht Arten alternativer Metriken von insgesamt 715 Artikeln, die zwischen 2016 und 2017 veröffentlicht wurden und deren DOIs in Embargo-E-Mails erwähnt wurden. Diese vergleichen wir mit Artikeln aus denselben Zeitschriftenausgaben, die nicht in Embargo-E-Mails hervorgehoben wurden.

Deskriptive Statistiken und Mann-Whitney-U-Tests offenbaren eine signifikante Bevorzugung von derart promoteten Artikel in sämtlichen betrachteten Metriken innerhalb von drei bis vier Jahren nach ihrer Veröffentlichung. Besonders große Unterschiede sind bei der Anzahl der Erwähnungen in den Mainstream-Medien, in Blogs, auf Twitter und auf Facebook zu erkennen.

Unsere Ergebnisse deuten darauf hin, dass wissenschaftliche Verlage einen erheblichen Einfluss darauf haben, welche Forschungsartikel in den verschiedenen (sozialen) Medien Aufmerksamkeit und Sichtbarkeit erhalten. Auch im Hinblick auf die Nutzung von Metriken zu Evaluationszwecken könnten die beobachteten Auswirkungen von Werbeaktivitäten auf Indikatoren einen unerwünschten Einflussfaktor darstellen, der derzeit in szientometrischen Bewertungen nicht in dem Maße berücksichtigt wird, wie dies eigentlich der Fall sein sollte.

Schön und gut. Aber wie sieht das neben den Altmetriken konkret für die Zitierraten der via Embargo-E-Mails beworbenen Artikel aus? In Tabelle 3 ihrer Publikation zeigen Lemke et al., dass diese im Schnitt knapp doppelt so oft zitiert werden als die nicht-beworbenen Artikel der Kontrollgruppe. In der „Discussion“ schreiben sie daher:

Die aufmerksamkeitssteigernde Wirkung der Embargo-E-Mails geht offenbar über die Medien hinaus, an die sie sich richten, wie die höhere Zahl der wissenschaftlichen Zitierungen […] der promoteten Artikel zeigt. Mit anderen Worten: Die Aufmerksamkeit, die Embargo-E-Mails in der öffentlichen Sphäre der Nachrichtenmedien auf sich ziehen, scheint auch in die wissenschaftliche Sphäre auszustrahlen. So zeigen es jedenfalls die Zitierzahlen.

Logisch, dass gerade angesichts der übermäßigen Bedeutung von Zitierzahlen für die Evaluation und Karriere von Wissenschaftlern das Fazit der Autoren entsprechend kritisch ausfällt:

Die Förderung ausgewählter Artikel durch Wissenschaftsverlage führt somit zu einem erheblichen Eingriff in das wissenschaftliche Belohnungssystem – und fügt zu den bereits bekannten Verzerrungen im Zusammenhang mit zitationsbasierten Bewertungen eine weitere hinzu.

Ralf Neumann

(Illustr.: thelyst.com)

 

Formatierst du noch oder publizierst du schon?

10. Dezember 2019 von Laborjournal

Kürzlich stolperte ich auf Twitter über folgenden Tweet:

Puh, ganz schön krass. Am Ende haben sie ihm womöglich sein Manuskript nur deswegen als „unsub­mit­ted“ zurückgeschickt, weil er in den Referenzen die Journal-Namen nicht kursiv gesetzt hatte…

Wie auch immer, letztlich deutet das Ganze auf ein großes generelles Ärgernis hin! Schließlich kommt es oft genug vor, dass jemand sein Manuskript erst im x-ten Journal unterbringt. Und für jede Einreichung muss er es nach den jeweils ganz eigenen Vorgaben des angepeilten Journals wieder aufwendig umfor­ma­tieren. Am Ende also x-1 Mal völlig umsonst.

Kein Wunder, fluchen viele über diesen Formatierungs-Wahnsinn, betiteln ihn als extrem nervige Zeitfresserei oder gar schlimmer. Dorothy Bishop, Professorin für Entwicklungsneuro­psy­cho­lo­gie an der Universität Oxford, schrieb beispielsweise vor einigen Jahren in ihrem BishopBlog:

For instance, many journals specify pointless formatting requirements for an initial submission. I really, really resent jumping through arbitrary hoops when the world is full of interesting things I could be doing. And cutting my toenails is considerably more interesting than reformatting references.

Entsprechend viel Zuspruch bekam auch Professor Timming für sein sarkastisches Gezwitscher oben. Doch mitten unter den zahlreichen Antworten dann plötzlich folgende:

Sogleich gruben sich tiefe Furchen in meine Stirn. Hatte ich da in einem Vierteljahrhundert editorialer Arbeit für Laborjournal irgendetwas falsch verstanden? Für mich stand immer fest, dass dies klar zu den Hauptaufgaben eines Editors gehört. Schließlich kommen auch bei uns Text- und Illustrationsmaterial weitgehend unformatiert rein — und es ist dann unsere Aufgabe, all den „Wildwuchs“ in ein einheitliches Seitenlayout einzupassen. Und ganz ehrlich: Soooo schlimm ist das gar nicht! Wir verbrauchen damit jedenfalls nicht den Hauptteil unserer Zeit…

Und siehe da, eine Minute später dann folgende zwei Tweets zum Thema:

Eben! Formatierung ist definitiv Aufgabe des Editorial Staff, und nicht diejenige der Autoren! Doch offenbar will man in den Wissenschaftsverlagen von dem, was im Journalismus selbstverständlich ist, nicht wirklich etwas wissen. Dabei verfügen diese — wie der letzte Twitterer richtig schreibt — meist tatsächlich über mehr Mittel, um solche editorialen Pflichtaufgaben zu erfüllen, als so mancher journalistische Verlag.

Ralf Neumann

 

Die Angst des Forschers vor dem Kommentieren

5. Juni 2019 von Laborjournal

… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informations­wis­sen­­schaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.

Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:

  • Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Pro­zent der Artikel verteilten.
  • Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
  • Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
  • Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irr­tümer oder die Autorenreihenfolge korrigiert sowie auf weiter­füh­ren­de Links oder nachfolgende Medien­bericht­erstattung hingewiesen.
  • Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
  • Von diesen „akademischen“ Kommenta­ren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.

Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.

Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:

Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.

Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:

Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der techni­schen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.

Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.

 

(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog ver­öffent­li­chen wir ihn vorab.)

x

Info
Info
Info