Braucht es eigentlich immer noch mehr Indizien, dass der Journal-Impact-Faktor nicht zur Evaluation der Qualität wissenschaftlicher Journals taugt? Schließlich gab sich erst kürzlich unser „Wissenschaftsnarr“ alle erdenkliche Mühe, mit massenweise Evidenz „den Tag, an dem der Journal-Impact-Faktor starb“, auszurufen.
Falls trotzdem noch mehr Sargnägel eingeschlagen werden müssen, liefert jetzt ein japanisches Autoren-Duo einen weiteren – wenn auch womöglich nur einen kleinen. Und der verbirgt sich in deren Paper „When a journal is both at the ‘top’ and the ‘bottom’: the illogicality of conflating citation-based metrics with quality“ (Scientometrics 127: 3683–94).
Hochwertig und minderwertig zugleich
Darin formulieren sie zunächst eine ganz einfache Frage:
"Forschende auf der ganzen Welt stehen unter dem Druck, in den „Top“-Zeitschriften zu veröffentlichen. Was aber, wenn eine Zeitschrift gleichzeitig als „Top“-Zeitschrift und als „Bottom“-Zeitschrift angesehen wird?"
Was meinen sie damit? Schauen wir uns an, was die beiden gemacht haben – dann wird’s klarer:
"Bei der Analyse von etwa 25.000 bzw. 12.000 Zeitschriften [Scimago Journal Country and Rank (SJR) bzw. Journal Citation Reports] haben wir festgestellt, dass diese in der Regel mehreren Fachkategorien zugeordnet werden. Wenn auf Zitationen basierende Metriken tatsächlich einen Anhaltspunkt für umfassendere Konzepte der Qualität von Forschung und Forschenden bieten – was oft impliziert oder gefolgert wird –, dann würden wir erwarten, dass die einzelnen Zeitschriften jeweils in ihren Kategorien ähnlich eingestuft werden. Nach unseren Ergebnissen ist es jedoch keineswegs ungewöhnlich, dass ein und dieselben Zeitschriften je nach Kategorie in unterschiedlichem Maße zitiert werden – was letztlich dazu führt, dass Zeitschriften gleichzeitig als „hochwertig“ und „minderwertig“ wahrgenommen werden können."
Viele Journals betroffen
Zu ihren Ergebnissen kamen die Zwei, indem sie sich die einzelnen Fachkategorien anschauten, in denen die beiden Plattformen Scimago Journal Country and Rank (SJR) and Journal Citation Reports (JCR) die einzelnen Journals nach ihren Zitatierraten sauber von oben nach unten auflisten – und jede einzelne Fachkategorie wiederum von oben weg in Viertel (Quartile) Q1 bis Q4 unterteilten. In jeder Fachkategorie tauchten demnach die 25 Prozent Journals mit den höchsten Zitationswerten in Q1 auf, die 25 Prozent mit den niedrigsten Zitationswerten dagegen in Q4.
Kurz zusammengefasst fand das Duo, dass zwischen einem Fünftel (JCR) und einem Viertel (SJR) der Zeitschriften auf diese Weise tatsächlich in verschiedenen Quartilen von mindestens zwei Fachkategorien auftauchen.
Nehmen wir zur Illustration das Journal Physiological and Biochemical Zoology. Wie der Name erwarten lässt, führt SJR es in den drei Fachkategorien „Animal Science and Zoology“, „Biochemistry“ und „Physiology“ – und in genau dieser Reihenfolge landete es 2021 in den Quartilen 1, 2 und 3. Knapp zwanzig Journals schafften es auf diese Weise je nach Fachkategorie gar in alle vier Quartile 1 bis 4.
Community wichtiger als Qualität
Dass Zeitschriften in den verschiedenen Kategorien, denen sie zugeordnet werden können, auf diese Weise in unterschiedlichen Quartilen landen, sei laut den Autoren verständlich. Schließlich gebe es viele Faktoren, die beeinflussen, wie und warum Artikel zitiert werden. Wenn jedoch Zitierzahlen als Maßstab für die Qualität von Forschung herhalten sollen, dann müsse man erwarten können, dass die Zeitschriften in den verschiedenen Kategorien ähnlich eingestuft werden, da der Inhalt letztlich derselbe bleibt. Und dies ist vielfach – wie oben gezeigt – eindeutig nicht der Fall.
Am Ende bleibt also nur der Schluss: Wie viel der Impact-Faktor eines Journals wert ist, hängt weniger von der durchschnittlichen Qualität der darin veröffentlichten Artikel ab als vielmehr davon, welche Community darauf schaut.
Oder im O-Ton der Autoren:
"Die Tatsache, dass eine Zeitschrift mit demselben Inhalt gleichzeitig als hochwertig und als minderwertig wahrgenommen werden kann, zeigt, wie unlogisch solch eine Vermischung [von Zitations-basierter Metrik und Forschungsqualität] ist. Letztlich ergänzt dies die vielen bestehenden Argumente gegen die fortgesetzte und allgegenwärtige Anwendung von Zitationsmetriken als Ersatzmaß für die Qualität von Zeitschriften, Artikeln und Forschungsarbeiten sowie deren Einfluss auf die Aussichten einzelner Forschender auf Beschäftigung, Beförderung, Finanzierung und Festanstellung."
Womit der Deckel auf dem Sarg des Journal-Impact-Faktors wieder ein klein wenig fester sitzen dürfte.
Ralf Neumann
(Illustration kreiert mit Dall-E2)
>> Der Todestag des Journal-Impact-Faktors
Angesichts der aktuellen Schwankungen bei den JIFs: Wer hat immer noch nicht verstanden, dass dieser nicht taugt, um Wissenschaft zu bewerten? ...
>> Schnauze voll vom Impact-Faktor
Der Journal-Impact-Faktor (JIF) ist unbrauchbar als Instrument für die Bewertung individueller Forscherleistung. Trotzdem hält er sich hartnäckig in den Köpfen der Wissenschaftler. Kann eine Deklaration daran etwas ändern? ...
>> Impact-Faktoren machen glücklich!
Egal, ob mit Impact-Faktoren viel Schindluder läuft – liest man nur den eigenen Namen in einem High-Impact-Journal, steigt schon das Glücksgefühl ...