Embargo-Verzerrungen

22. Dezember 2021 von Laborjournal

 

 

Bekanntlich gibt es einige Wege, wie man Zitierraten von Artikeln und Impact-Faktoren von Zeitschriften künstlich verzerren kann – siehe etwa hier und hier. Auf einen weiteren macht nun ein Quartett um den Kieler Wirtschaftsinformatiker Steffen Lemke aufmerk­sam. Schon der Titel des Artikels macht deutlich, wie der Hase konkret läuft: „Research articles promoted in embargo e-mails receive higher citations and altmetrics“ (Scientometrics, doi: 10.1007/s11192-021-04217-1).

Mittel zum Zweck sind also Embargo-E-Mails, mit denen die Fachblätter das Erscheinen von vermeintlich besonders wichtigen Artikeln weithin vorab ankündigen.

Im Abstract fassen Lemke et al. ihre Studie folgendermaßen zusammen:

Um gründlich und rechtzeitig über die neuesten wissenschaftlichen Forschungsergebnisse berichten zu können, sind Wissenschaftsjournalisten häufig auf Informationen angewiesen, die ihnen von den Herausgebern wissenschaftlicher Zeitschriften unter Embargo zugesandt werden. In solchen Embargo-E-Mails machen Verleger die Journalisten gezielt auf ausgewählte bevorstehende Veröffentlichungen aufmerksam – und zwar bereits ein paar Tage vor deren Erscheinen.

Indes ist kaum bekannt, wie sich diese frühzeitige Hervorhebung bestimmter Forschungsartikel auf deren spätere Zitierungen oder Altmetrics auswirkt. Hier präsentieren wir daher eine explorative Fallstudie mit dem Ziel, die Auswirkungen solcher Werbeaktivitäten auf die bibliometrischen und altmetrischen Indikatoren wissenschaftlicher Artikel zu untersuchen. In einem Treatment-Control-Design analysieren wir die Zitierzahlen sowie acht Arten alternativer Metriken von insgesamt 715 Artikeln, die zwischen 2016 und 2017 veröffentlicht wurden und deren DOIs in Embargo-E-Mails erwähnt wurden. Diese vergleichen wir mit Artikeln aus denselben Zeitschriftenausgaben, die nicht in Embargo-E-Mails hervorgehoben wurden.

Deskriptive Statistiken und Mann-Whitney-U-Tests offenbaren eine signifikante Bevorzugung von derart promoteten Artikel in sämtlichen betrachteten Metriken innerhalb von drei bis vier Jahren nach ihrer Veröffentlichung. Besonders große Unterschiede sind bei der Anzahl der Erwähnungen in den Mainstream-Medien, in Blogs, auf Twitter und auf Facebook zu erkennen.

Unsere Ergebnisse deuten darauf hin, dass wissenschaftliche Verlage einen erheblichen Einfluss darauf haben, welche Forschungsartikel in den verschiedenen (sozialen) Medien Aufmerksamkeit und Sichtbarkeit erhalten. Auch im Hinblick auf die Nutzung von Metriken zu Evaluationszwecken könnten die beobachteten Auswirkungen von Werbeaktivitäten auf Indikatoren einen unerwünschten Einflussfaktor darstellen, der derzeit in szientometrischen Bewertungen nicht in dem Maße berücksichtigt wird, wie dies eigentlich der Fall sein sollte.

Schön und gut. Aber wie sieht das neben den Altmetriken konkret für die Zitierraten der via Embargo-E-Mails beworbenen Artikel aus? In Tabelle 3 ihrer Publikation zeigen Lemke et al., dass diese im Schnitt knapp doppelt so oft zitiert werden als die nicht-beworbenen Artikel der Kontrollgruppe. In der „Discussion“ schreiben sie daher:

Die aufmerksamkeitssteigernde Wirkung der Embargo-E-Mails geht offenbar über die Medien hinaus, an die sie sich richten, wie die höhere Zahl der wissenschaftlichen Zitierungen […] der promoteten Artikel zeigt. Mit anderen Worten: Die Aufmerksamkeit, die Embargo-E-Mails in der öffentlichen Sphäre der Nachrichtenmedien auf sich ziehen, scheint auch in die wissenschaftliche Sphäre auszustrahlen. So zeigen es jedenfalls die Zitierzahlen.

Logisch, dass gerade angesichts der übermäßigen Bedeutung von Zitierzahlen für die Evaluation und Karriere von Wissenschaftlern das Fazit der Autoren entsprechend kritisch ausfällt:

Die Förderung ausgewählter Artikel durch Wissenschaftsverlage führt somit zu einem erheblichen Eingriff in das wissenschaftliche Belohnungssystem – und fügt zu den bereits bekannten Verzerrungen im Zusammenhang mit zitationsbasierten Bewertungen eine weitere hinzu.

Ralf Neumann

(Illustr.: thelyst.com)

 

Frauen schreiben lieber anonyme Gutachten

17. November 2021 von Laborjournal

Traditionell bleibt anonym, wer ein Manuskript als Reviewer für ein Forschungsblatt begutachtet. Bestrebungen, mit personalisiertem Peer-Review für höhere Transparenz und weniger Missbrauchspotenzial zu sorgen, gibt es zwar schon seit einiger Zeit, allerdings kommen sie nur schleppend voran.

Über die Gründe kann man viel spekulieren. Man kann aber auch versuchen zu ana­ly­sie­ren, wie Gutachterinnen und Gutachter es mit „Open-Identity“-Peer-Review halten, wo er bereits seit einiger Zeit auf freiwilliger Basis möglich ist. Der Entomologe Charles W. Fox von der University of Kentucky in Lexington hat genau dies mit Daten aus der Zeitschrift Functional Ecology getan (Proc. R. Soc. Lond. B. Biol. Sci., doi: 10.1098/rspb.2021.1399). Im Abstract fasst er die Ergebnisse sinngemäß wie folgt zusam­men:

Ein Peer-Review-Verfahren mit Offenlegung der Gutachter-Identität ist derzeit noch nicht weit verbreitet, wird aber gemeinhin als Mittel propagiert, um die Transparenz und Rechenschaftspflicht im Peer-Review-Prozess zu erhöhen. Jedoch lehnen die Gutachter selbst dies im Allgemeinen ab. Um einen Einblick in die Faktoren zu erhalten, die beeinflussen, wann Reviewer zur Preisgabe ihrer Identität bereit sind, habe ich untersucht, welche Gutachter in der Zeitschrift Functional Ecology dies konkret getan haben. Zwar ist auch hier die Identität der Gutachter generell vertraulich, allerdings können sie ihre Kommentare unterzeichnen – und damit den Autoren ihre Identität freiwillig preisgeben.

Ich fand heraus, dass 5,6 Prozent der Gutachter ihre Kommentare tatsächlich unterzeichneten. Dieser Anteil stieg im Laufe der Zeit leicht an, von 4,4 Prozent zwischen 2003 und 2005 auf 6,7 Prozent im Zeitraum 2013 bis 2015. Männliche Gutachter unterzeichneten ihre Kommentare 1,8-mal häufiger als weibliche. Dieser Unterschied blieb im Lauf der Zeit bestehen.

Nur wenige Gutachter unterschrieben alle ihre Gutachten; sie taten dies eher, wenn ihre Bewertung des Manuskripts grundsätzlich positiv ausfiel.

Manuskripte, die mindestens ein unterschriebenes Gutachten erhielten, wurden eher zu einer Überarbeitung aufgefordert. Zudem waren unterzeichnete Gutachten im Durchschnitt länger und empfahlen den Autoren mehr Referenzen.

Diesen Beitrag weiterlesen »

Info
Info
Info