Dank Herrn Musk heißt Twitter heute bekanntlich X. Dennoch wird auch für X gelten, was ein US-Team gerade unter dem Titel „Controlled experiment finds no detectable citation bump from Twitter promotion“ veröffentlicht hat (bioRXiv, doi.org/kvk7). Demnach beobachteten die Beteiligten in ihrem Experiment keinen signifikanten Anstieg der Zitierzahlen von Forschungsartikeln, wenn diese zuvor auf Twitter angepriesen wurden.
Zitierzahlen interessieren den publizierenden Forscher respektive Forscherin natürlich sehr. Daher wundert auch kaum, dass zuvor bereits mehrere Handvoll ähnlicher Studien zum Thema durchgeführt wurden. Dummerweise jedoch lieferten diese in der Summe sehr gemischte Ergebnisse – von keinem Einfluss anpreisender Tweets auf die künftige Zitierrate (z.B. hier und hier) über allenfalls mäßige Folgen (z.B. hier und hier) bis hin zu einem deutlich positiven Effekt (z.B. hier und hier).
Jetzt also nochmal eine Studie zum gleichen Thema, wahrscheinlich die annähernd hundertste. Warum sollte man sich die überhaupt anschauen? Na ja, vielleicht weil sie gleich zu Beginn die allermeisten anderen erstmal in die Pfanne haut, indem es dort heißt:
Mehrere Studien in einer Vielzahl wissenschaftlicher Disziplinen haben gezeigt, dass die Häufigkeit, mit der eine Arbeit auf Twitter geteilt wird (jetzt X genannt), mit der Anzahl der Zitate korreliert, die diese Arbeit erhält. Diese Studien waren jedoch nicht darauf ausgerichtet, die Frage zu beantworten, ob das Tweeten wissenschaftlicher Arbeiten zu einer Zunahme der Zitate führt, oder ob sie lediglich aufzeigen, dass einige Arbeiten eine höhere Relevanz, Wichtigkeit oder Qualität haben und daher sowohl häufiger getwittert als auch häufiger zitiert werden.
Das typische Problem mit Kausalität und Korrelation also: Werden Arbeiten jetzt häufiger zitiert, weil über sie getwittert wird – oder werden überdurchschnittlich gute Arbeiten schlichtweg häufiger auf Twitter erwähnt und unabhängig davon auch häufiger zitiert? In letzterem Fall wäre demnach die Qualität der Arbeit die entscheidende Kernvariable, die hinter beidem als Ursache wirkt: der Anzahl der Tweets und der Häufigkeit der Zitate.
Mit welcher Vorgehensweise wollte die 11 Autoren dieses Problem jetzt umgehen? Dazu stellten sie erst einmal klar:
Das Experiment sollte das natürliche Tweet-Verhalten der Teilnehmer nachahmen, um zu untersuchen, ob Wissenschaftler mit einer großen Follower-Gemeinde in den sozialen Medien in Zukunft mehr Zitate erhalten können. Die 11 ausgewählten Wissenschaftler (die Koautoren dieser Studie) waren zum Zeitpunkt des Experiments alle auf Twitter aktiv, und die meisten hatten genügend Follower (>5.000), um als „einflussreich“ zu gelten.
Okay, und was haben diese Twitter-aktiven Wissenschaftler konkret gemacht? Jeder nahm eine Zeitschrift aus seinem Fachgebiet und wählte daraus fünf Artikel, die im gleichen Heft erschienen waren. Einen davon bewarb jeder von ihnen auf dem eigenen Twitter-Account in seinem üblichen Stil, die übrigen vier dienten als ungetwitterte Kontrolle. Diese Prozedur wiederholten sie alle insgesamt zehnmal in zehn aufeinanderfolgenden Monaten, sodass für die Analyse am Ende 110 getweetete Artikel 440 ungetweeteten gegenüberstanden. Drei Jahre später ermittelte das Autorenteam, wie oft die Artikel bis dahin zitiert worden waren.
Lassen wir die Zahlen beiseite und machen es kurz. Die Analyse ergab, dass vergleichsweise mehr Menschen – Wissenschaftler und Nicht-Wissenschaftler – auf die getwitterten Veröffentlichungen aufmerksam geworden waren. Ebenso wurden diese zumindest in den Tagen unmittelbar nach den entsprechenden Tweets zwischen drei- bis viermal häufiger heruntergeladen als die Kontroll-Artikel.
In punkto Zitierungen jedoch tat sich im Vergleich so gut wie gar nichts. Als Resultat halten die Autoren vielmehr fest:
Allerdings bewirkte das Tweeten innerhalb von drei Jahren keine signifikant höheren Zitierzahlen. […] Zwar war die Anzahl der Zitate für getwitterte Artikel in Web of Science um 7 Prozent und in Google Scholar um 12 Prozent höher, doch waren diese Unterschiede statistisch nicht signifikant – weder auf der Basis der Rohwerte noch nach Normalisierung, um sicherzustellen, dass alle Zeitschriften gleich gezählt werden. Wenn diese Werte nahe an den tatsächlichen Effektgrößen liegen, hatte unser Experiment folglich keine ausreichende Aussagekraft: Wir bräuchten eine drei- (Google Scholar) bis siebenmal (Web of Science) größere Stichprobengröße, um diese Unterschiede bei p < 0,05 zu erkennen.
So bleibt ihnen nur, als Fazit zu ziehen:
Der durchschnittliche Wissenschaftler sollte daher nicht mit einem nachweisbaren Anstieg der Zitierungen durch Tweets über seine Arbeiten rechnen, zumal die an dieser Studie beteiligten Konten eine überdurchschnittlich hohe Anzahl von Followern haben.
Gut, das nehmen wir so mit. Aber was heißt diese Effektlosigkeit jetzt für die Frage nach Korrelation oder Kausalität? Dazu schreiben die Autoren am Ende:
Eine Folge daraus ist, dass die wissenschaftliche Literatur selbst den Aufmerksamkeitsspielchen in den sozialen Medien offensichtlich zu widerstehen scheint: Mehr Augen auf einem Paper führen nicht unbedingt zu höheren Zitierzahlen. Stattdessen spiegeln die höheren Zitationszahlen von stark getwitterten Arbeiten den zugrunde liegenden Wert wichtiger Arbeiten wider, die sowohl von Wissenschaftlern als auch von Nutzern sozialer Medien anerkannt werden (eben nach dem Motto: „Gute Paper sind gut“).
Demnach bliebe die Qualität der jeweiligen Arbeit die Kernvariable, die hinter allem steht. Eigentlich eine gute Nachricht.
Ralf Neumann
(Illustr.: Animate Your Science)
Schlagworte: Bibliometrie, Forschungsartikel, Kausalität, Korrelation, Paper, Publikation, Twitter, X, Zitierungen, Zitierzahlen
