Viel ist über den Journal-Impact-Factor (JIF) geschrieben worden – auch auf diesen Seiten, und auch vom Narren. Kein gutes Haar blieb dabei an diesem Indikator, der schlichtweg misst, wie oft die Artikel einer bestimmten Zeitschrift in anderen wissenschaftlichen Publikationen durchschnittlich pro Jahr zitiert werden – der aber, weil ach so bequem und quantitativ, zur Leitwährung der akademischen Reputationsökonomie wurde. Eingeführt um Bibliothekaren Hilfestellung zu geben, welche Journale eine Subskription lohnen, bestimmt er heute die Karrieren von Wissenschaftlern und deren Anträgen.
Unzählige Male wurde dieser Irrsinn angeprangert. Selbst Clarivate – die Firma, die mit dem Errechnen des JIF und dessen anschließender Vermarktung Milliarden verdient und ihren Aktionären stolz eine Brutto-Gewinnspanne von 64 Prozent berichtet – warnt mittlerweile auf ihren Webseiten davor. Genützt hat’s nichts, der JIF feiert weiterhin fröhliche Urstände.
Sehen Sie es mir deshalb nach, wenn ich das leidige Thema daher nochmals aufwärme.
Einmal, weil ganz aktuell sogar die Deutsche Forschungsgemeinschaft (DFG) – und damit eigentlich wir deutsche Wissenschaftler! – den JIF und seinen Missbrauch nicht nur sehr korrekt analysiert, sondern auch in ungewöhnlich deutlicher Weise als Beurteilungskriterium verdammt hat. So konkret geschehen in dem ziemlich frischen und insgesamt sehr lesenswerten Positionspapier „Wissenschaftliches Publizieren als Grundlage und Gestaltungsfeld der Wissenschaftsbewertung“ (Link unter http://dirnagl.com/lj). Derart klar und deutlich kam das noch nie vom Lordsiegelbewahrer des akademischen Status quo.
Daneben lohnt es sich aber weiterhin, nochmals vom JIF zu sprechen, da vor ein paar Wochen die aktuellen Werte veröffentlicht wurden – berechnet aus den Zitierungen der Arbeiten von 2019/2020 im darauffolgenden Jahr 2021. Und siehe da: Es stellte sich dabei heraus, dass viele Journale ihren JIF über Nacht verdoppelt, ja sogar verdreifacht hatten. Eine regelrechte JIF-Hyperinflation hatte sich manifestiert: The Lancet stieg von 79 auf 203, das New England Journal of Medicine von 91 auf 176, Nature von 50 auf 70 und so weiter. Plötzlich hatten sieben Zeitschriften zum ersten Mal einen JIF über 100!
Euphorische Editoren von unzähligen Journalen ließen Sektkorken knallen und twitterten ihr Glück in die Welt hinaus. Was allerdings den Wenigsten dabei auffiel: Wenn es überhaupt noch irgendein Argument gebraucht hätte, um die komplette Untauglichkeit dieses Faktors für die Bewertung von Wissenschaftlern zu belegen, dann doch die Tatsache, dass er sich über Nacht verdreifachen kann. Oder auch wieder halbieren. Dass dies gar nichts mit der Forschungsleistung der meisten Wissenschaftler zu tun haben kann, die sich über diesen Indikator messen lassen müssen, war kaum jemals so offensichtlich. Der Tag der Veröffentlichung der JIFs 2022, also der 28. Juni 2022, dürfte somit (hoffentlich) als offizieller Todestag des JIF in die Geschichte eingehen.
Was aber war konkret geschehen? Ganz einfach: COVID! In den letzten beiden Jahren war es damit zu einer „Covidization“ der akademischen Forschung gekommen. Man schätzt, dass seitdem mehr als zehn Prozent aller Forschungsressourcen über Nacht in SARS-CoV-2-Forschung geflossen sind. PubMed listet auf die Stichwort-Suche „SARS-CoV-2“ über 275.000 Artikel! Die Super-Journale publizierten große klinische Studien sowie die Schlüsselarbeiten zu den Pathomechanismen; diese Arbeiten wurden viele tausend Mal zitiert. Aber auch kleinere Journale konnten profitieren: Editoren luden Reviews ein, etwa zu möglichen Effekten der SARS-CoV-2-Infektion auf das Lieblingsorgan des jeweiligen Journals (Herz, Hirn, Lunge et cetera) oder deren Zusammenspiel mit der namensgebenden Erkrankung (Stroke, Cancer, American Heart Journal et cetera). Und sogleich explodierten die Zitate.
Dass sich hierdurch die JIFs so massiv verändern können, liegt an einem der vielen mathematischen Webfehler des JIF: Der JIF ist ein Mittelwert, allerdings von einer total schiefen Verteilung. Bekanntermaßen erzielen wenige Arbeiten je Journal die überwiegende Zahl der Zitierungen, und ein erklecklicher Anteil der Arbeiten wird überhaupt nie zitiert. So werden zwanzig Prozent der Artikel in Nature nie zitiert, während wiederum andere zwanzig Prozent für achtzig Prozent der Zitate verantwortlich sind. Zur Beschreibung derart schiefer Verteilungen müsste man eigentlich den Median verwenden, das steht in jedem Statistikbuch auf den ersten drei Seiten.
Schon lange wird deshalb argumentiert, dass man nicht den Mittelwert der Zitierungen eines Journals verwenden sollte, sondern den Median – und dazu sollte auch gleich die Verteilung der Zitierungen angegeben werden. Die Journale der EMBO Press tun dies zum Beispiel vorbildlich. Das hätte nicht nur den Effekt, dass eine solche Darstellung stabil gegen Ausreißer ist, vielmehr würden auch die JIF-Unterschiede zwischen den Journalen drastisch nivelliert.
Das jedoch ist einer der wesentlichen Gründe, warum Clarivate das nicht macht. Der andere Grund ist schlichtweg, dass es einfacher ist, den JIF als Mittelwert mit nur drei Zahlen für jede Zeitschrift zu berechnen. Interessanterweise sind die Zitationsverteilungen wie auch die Mediane für jedes einzelne Journal auf der – Subskriptions-pflichtigen – Website von Clarivate verfügbar. Es interessiert sich nur keiner dafür.
Übrigens hat der JIF – genauso wie viele Studien in der Biomedizin – ein Reproduzierbarkeitsproblem. Wie in der Wissenschaft liegt das ebenfalls an mangelnder Transparenz. Wir kennen zwar die simple Formel für den JIF, aber wie die Zitierungen genau berechnet werden, welche Arbeiten überhaupt gezählt werden – dies und einiges andere veröffentlicht Clarivate nicht. Die Zahlen kommen nämlich aus proprietären Datenbanken, die ebenfalls von Clarivate vermarktet werden.
Aus diesem Grund machte der JIF vieler Journale auch schon im Jahr davor einen erratischen Sprung nach oben. Auch damals freuten sich die Editoren! Bis ihnen klar wurde, dass das alles einfach daran lag, dass Clarivate das Jahr 2021 zum „Übergangsjahr“ erklärt hatte. Zitate aus Early-Access-Datensätzen ließ man fortan in den Zähler der JIF-Berechnung einfließen, schloss diese aber von der Anzahl der Veröffentlichungen im Nenner aus. So einfach ist es, den JIF zu manipulieren, wenn man an der Quelle sitzt.
Und weil wir schon dabei sind: Haben Sie sich schon mal gefragt, warum Clarivate den JIF mit drei Nachkommastellen Genauigkeit verkauft? Und warum wir Wissenschaftler mit unserer Schafsnatur diese dann ohne nachzudenken genau so in unsere Lebensläufe übernehmen, obwohl das überhaupt keinen Sinn ergibt?
Zum einen wird der JIF durch diese Pseudogenauigkeit geadelt. Das muss schon ein wahnsinnig objektiver wissenschaftlicher Wert sein, wenn man ihn auf drei Kommastellen genau bestimmen kann! Aber der Hauptgrund, warum Clarivate das so macht, ist, dass ein Ranking von Journalen überhaupt nur auf diese Weise möglich wird – und für solche Rankings verkaufen sie mit dem JIF das Substrat. Eine Rundung auf ganze Zahlen würde schließlich nur etwa zwanzig Ränge erlauben, denn der JIF der Mehrzahl der Journale liegt zwischen 0 und 20. Es gibt aber mehr als 50.000 wissenschaftliche Zeitschriften!
Modellrechnungen zeigen, dass es sinnvoller wäre, den JIF auf den nächsten 5er- oder 10er-Wert zu runden. Dies entspräche dann in etwa der Genauigkeit, mit der man voraussagen kann, wie viele Zitierungen ein Artikel in einem bestimmten Journal aller Voraussicht nach bekommen würde. Und das wäre ja eigentlich der interessante Wert, den man als Wissenschaftler von einem Journal wissen wollte.
Trotz alledem wird sich jetzt an Deutschlands medizinischen Fakultäten manch ein Wissenschaftler angesichts der diesjährigen Inflation des JIF die Hände reiben! Schließlich führt die Formel, mit der an medizinischen Unis die berüchtigten „leistungsorientierten Mittel“ (LOM) vergeben werden, fast ausnahmslos den JIF als wesentliches Element. Was natürlich, wie jetzt auch im Positionspapier der DFG formuliert, völlig daneben ist. An der Charité bringt derzeit ein JIF-Punkt rund 150 Euro. Ein Lancet-Paper ist damit nun plötzlich über 30.000 Euro wert!
Doch Vorsicht, öffnen Sie noch nicht den Schampus! Denn es wird wohl kommen wie bei der Inflation im wirklichen Leben: Die JIF-Punkte werden entwertet, weil es mehr davon gibt, die LOM-Summe aber gedeckelt ist.
Perfiderweise wird es aber dennoch zu einer LOM-Umverteilung kommen. Wenn Sie beispielsweise das Pech haben, in hochangesehenen Journalen zu veröffentlichen, die den Fehler gemacht haben, sich nicht mit SARS-CoV-2-Artikeln zu schmücken, oder aber Ihr Thema das nicht hergibt – dann gehören Sie jetzt zu den Gelackmeierten. Denn diese Journale, in meinem Feld zum Beispiel das Journal of Neuroscience oder Brain Research, konnten ihren JIF kaum verbessern.
Wer jetzt noch nicht verstanden hat, dass der JIF nichts mit der Qualität einer spezifischen Publikation zu tun hat, dass die Zitierzahlen der Artikel weiterhin praktisch nicht mit dem JIF des Journals korrelieren, und dass er damit auch nicht für eine Vorhersage taugt, wie oft ein bestimmter Artikel in einem Journal zitiert werden wird – der ist selber schuld. Und ist gleichsam dazu verdammt, bis zur Pensionierung im Fegefeuer der inadäquaten universitären Leistungsbewertung zu rösten.
Alle anderen dagegen können hoffen, dass die wundersame JIF-Vermehrung des Jahres 2022 sich gleichsam als dessen lange herbeigesehnter Todesstoß erweisen wird.
Ulrich Dirnagl
- Preprints – Heilsbringer oder apokalyptische Reiter des wissenschaftlichen Publizierens?
Preprints haben das revolutionäre Potenzial, die Wissenschaftsverlage überflüssig zu machen. Jetzt müsste nur noch jemand das akademische Reputations- und Belohnungssystem ändern.
- Brüder, zur Sonne, dem p-Wert ein Ende, Brüder, zum Lichte empor!
Viele wollen die statistische Signifikanz via p-Wert neu definieren oder sogar ganz aus der Wissenschaft verbannen. Dabei leistet er meist gar nicht das, was sie ihm zuschreiben.
- Mikrobiom-Manie mit melancholischen Mikroben
Muss Forschung eigentlich immer durch überflüssige Zyklen aus übertriebenen Erwartungen und nachfolgender Enttäuschung gehen?