Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:

» Nehmen sie die Arbeiten in ihre Referenzlisten auf, die sie tatsächlich am meisten beeinflusst haben? Das wäre der „normative“ Ansatz.

» Oder zitieren sie vielmehr diejenigen Arbeiten, von denen sie meinen, dass ihre potenziellen Leser sie am meisten schätzen. Das wäre der „sozialkonstruktivistische“ Ansatz.

Aus den Antworten von insgesamt mehreren tausend Autoren schlossen die vier US-Innovationsforscher zunächst einmal, dass die Autoren die Inhalte der zitierten Paper umso weniger gut kannten, je „berühmter“ der Artikel in der jeweiligen Szene war.

Auch andere auffällige Muster gingen in eine ähnliche, wenig normative Richtung. Dennoch fassten die Studienleiter am Ende zusammen, dass die Autoren beim Zitieren normative und sozialkonstruktivistische Elemente kombinieren.

Dies allerdings nicht ohne großes „Aber“. Denn die normative Komponente spiele lediglich dadurch mit, dass die Autoren keine Werke zitieren, die nach ihrer Meinung eine gewisse Mindestqualität unterschreiten. Über diesem Schwellenwert dagegen würde die Auswahl der Referenzen nahezu ausschließlich von sozialkonstruktivistischen Elementen bestimmt. Es wird also vornehmlich zitiert, was dem eigenen Paper aus strategischen Gründen nützt — und nicht primär das, was die eigene Forschung tatsächlich beeinflusst hat.

Entsprechend ziehen die vier Harvard-Forscher am Ende das folgende Fazit: „Was auch immer Zitierzahlen signalisieren, sie sind jedenfalls kein Maß für Qualität oder Einfluss einer Arbeit.“ Und an anderer Stelle: „Unsere Befunde zur Motivation von Zitierentscheidungen untergraben ernsthaft einen normativen Antrieb für die Praxis des Zitierens, was eine radikale Neubewertung der Rolle von Zitaten in evaluativem Kontext erforderlich macht.“

Ralf Neumann

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)
Info
Info
Info

Info

Info

Erfahren Sie mehr über unsere beliebtesten Produkte unter mehr

Info

Info

INTEGRA Biosciences bietet Ihnen die Chance, ein VACUSAFE-Absaugsystem für Ihr Labor zu gewinnen. mehr