Ein weiterer Sargnagel für den Journal-Impact-Faktor?

30. November 2022 von Laborjournal

Braucht es eigentlich immer noch mehr Indizien, dass der Journal-Impact-Faktor nicht zur Evaluation der Qualität wissenschaftlicher Journals taugt? Schließlich gab sich erst im Oktober unser „Wissenschaftsnarr“ alle erdenkliche Mühe, mit massenweise Evidenz „den Tag, an dem der Journal-Impact-Faktor starb“, auszurufen.

Falls trotzdem noch mehr Sargnägel eingeschlagen werden müssen, liefert jetzt ein japanisch-guayanisches Autoren-Duo einen weiteren – wenn auch womöglich nur einen kleinen. Und der verbirgt sich in deren Paper „When a journal is both at the ‘top’ and the ‘bottom’: the illogicality of conflating citation-based metrics with quality“ (Scientometrics 127: 3683–94).

Darin formulieren sie zunächst eine ganz einfache Frage:

Forschende auf der ganzen Welt stehen unter dem Druck, in den „Top“-Zeitschriften zu veröffentlichen. Was aber, wenn eine Zeitschrift gleichzeitig als „Top“-Zeitschrift und als „Bottom“-Zeitschrift angesehen wird?

Was meinen sie damit? Schauen wir uns an, was die beiden gemacht haben – dann wird’s klarer: Diesen Beitrag weiterlesen »

Getrübte Titelfreuden?

11. Mai 2022 von Laborjournal

Könnte es eventuell eine zweifelhafte Freude sein, mit der eigenen Veröffentlichung auf dem Titelblatt einer Journal-Ausgabe zu landen?  …

Zu meiner eigenen aktiven Zeit im Labor – die mittlerweile schon eine ganze Weile her ist – lief es jedenfalls so: Jedes Mal, wenn das Paper einer Gruppe es bis auf das Cover eines guten Journals geschafft hatte, gab es eine zumindest mittelgroße Feier im gesamten Institut. Man wertete dies schlichtweg als ganz besondere Form der Wertschätzung für den jeweiligen Inhalt – und entsprechend groß war deshalb die Freude.

Bis heute scheint sich an dieser Freude nicht wirklich was geändert zu haben – wie ein kurzer Blick nach Twitter verrät. Da jubelt beispielsweise letzte Woche einer, dass eine Studie mit seiner Beteiligung durch die Cover-Illustration der Mai-Ausgabe von Lancet Oncology ganz besonders gewürdigt wird.

Einen Tag danach verkündet eine walisische Professorin:

Und wieder einen Tag später wird folgende Nachwuchsforscherin geradezu euphorisch:

„Doch wird die Freude allzu groß, legt irgendwo ein Spielverderber los.“ Und in diesem Fall könnten drei italienische Wirtschaftsforscher diese Rolle besetzen. „Cover effects on citations uncovered: Evidence from Nature“ übertitelten sie ihre Studie, die gerade frisch im Journal of Infometrics erschien (16(2): Art. 101293; im Preprint hier lesbar). Im Abstract schreiben sie:    Diesen Beitrag weiterlesen »

Bremsen Reviews die Zitierraten von Originalartikeln aus?

29. September 2021 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern.

So begannen wir unseren Artikel „Der falsche Review zur falschen Zeit“, in dem wir an einem anekdotischen Einzelfall beschrieben, wie so etwas konkret passieren kann: Dass ein Review einem kurz zuvor erschienen Originalartikel viele wohlverdiente Zitierungen „klauen“ kann.

Aber ist das jenseits einzelner Anekdoten auch generell der Fall? Im Jahr 2014 erschien beispielsweise eine Studie mit dem Titel „The kiss of death? The effect of being cited in a review on subsequent citations“, in der die Autoren biomedizinische Originalartikel, die in Review-Artikeln zitiert wurden, mit solchen verglichen, die in keinem Review zitiert wurden (J. Assoc. Inf. Sci. Technol. 65(7): 1501-5). Damals fanden sie keinen Unterschied in der Lebensdauer der Zitate zwischen beiden Gruppen.

Eine deutlich umfangreichere Studie aus diesem Jahr bestätigt dagegen zunächst den obigen Verdacht (Am. Sociol. Rev. 86(2): 341-76). Die Autoren von der Stanford University in Kalifornien werteten dazu die Zitationsdaten von knapp sechs Millionen Originalartikeln aus, die zwischen 1990 und 2016 in 1.155 Forschungs-Zeitschriften erschienen und hinterher in einem Übersichtsartikel der Annual-Reviews-Serie zitiert wurden. Ergebnis: Die meisten dieser Originalarbeiten erlitten nach Referenzierung in den Annual Reviews einen Verlust von durchschnittlich vierzig Prozent an zukünftigen Zitierungen.

Allerdings nur „die meisten“! Einige wenige Originalartikel erhielten nach Erwähnung und Referenzierung in einem Übersichtsartikel der Annual Reviews hingegen einen deutlichen Zitationsschub. Als die Autoren sich diese Artikel gesondert anschauten, stellten sie fest, dass es sich bei der Mehrheit um eine ganz bestimmte Gattung handelte, die sie daraufhin als Bridging Papers bezeichneten. Diese „Brücken-Artikel“ zeichnen sich dadurch aus, dass sie Verbindungen zwischen Forschungsgebieten schaffen, die bis dahin kaum Austausch miteinander hatten – mit der Konsequenz, dass viele erst durch den entsprechenden Review auf das jeweilige Paper aufmerksam wurden und dessen Ergebnisse nachfolgend in die eigenen Forschungsprojekte integrierten.

Entsprechend zeigte die weitere Analyse nachfolgender Ko-Zitationsnetzwerke, dass solche durch einen Review hervorgehobenen Brücken-Artikel oftmals zu zentralen Brennpunkten künftiger Themen und Forschung wurden – und dass die Reviews selbst auf diese Weise ganze Forschungsfelder neu strukturierten. Womit in diesen Fällen wohl das Beste passiert ist, was ein Review leisten kann.

Hauptautor Peter McMahan, Soziologe an der McGill University in Montreal, war zum Schluss allerdings noch wichtig, die Ergebnisse seiner Studie auf Nature Index folgendermaßen zu relativieren: „Zitate sind eine wirklich starke Währung für Akademiker. Aber der Einfluss der Forschung oder eines bestimmten Projekts, das ein Team, ein Labor oder eine Einzelperson durchführt – dieser Einfluss ist eigentlich eine viel reichhaltigere, größere und komplexere Angelegenheit, als dass er alleine durch Zitate gemessen werden kann.“

Ralf Neumann

(Illustr.: GoGraph /OstapenkoOlena)