Bremsen Reviews die Zitierraten von Originalartikeln aus?

29. September 2021 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern.

So begannen wir unseren Artikel „Der falsche Review zur falschen Zeit“, in dem wir an einem anekdotischen Einzelfall beschrieben, wie so etwas konkret passieren kann: Dass ein Review einem kurz zuvor erschienen Originalartikel viele wohlverdiente Zitierungen „klauen“ kann.

Aber ist das jenseits einzelner Anekdoten auch generell der Fall? Im Jahr 2014 erschien beispielsweise eine Studie mit dem Titel „The kiss of death? The effect of being cited in a review on subsequent citations“, in der die Autoren biomedizinische Originalartikel, die in Review-Artikeln zitiert wurden, mit solchen verglichen, die in keinem Review zitiert wurden (J. Assoc. Inf. Sci. Technol. 65(7): 1501-5). Damals fanden sie keinen Unterschied in der Lebensdauer der Zitate zwischen beiden Gruppen.

Eine deutlich umfangreichere Studie aus diesem Jahr bestätigt dagegen zunächst den obigen Verdacht (Am. Sociol. Rev. 86(2): 341-76). Die Autoren von der Stanford University in Kalifornien werteten dazu die Zitationsdaten von knapp sechs Millionen Originalartikeln aus, die zwischen 1990 und 2016 in 1.155 Forschungs-Zeitschriften erschienen und hinterher in einem Übersichtsartikel der Annual-Reviews-Serie zitiert wurden. Ergebnis: Die meisten dieser Originalarbeiten erlitten nach Referenzierung in den Annual Reviews einen Verlust von durchschnittlich vierzig Prozent an zukünftigen Zitierungen.

Allerdings nur „die meisten“! Einige wenige Originalartikel erhielten nach Erwähnung und Referenzierung in einem Übersichtsartikel der Annual Reviews hingegen einen deutlichen Zitationsschub. Als die Autoren sich diese Artikel gesondert anschauten, stellten sie fest, dass es sich bei der Mehrheit um eine ganz bestimmte Gattung handelte, die sie daraufhin als Bridging Papers bezeichneten. Diese „Brücken-Artikel“ zeichnen sich dadurch aus, dass sie Verbindungen zwischen Forschungsgebieten schaffen, die bis dahin kaum Austausch miteinander hatten – mit der Konsequenz, dass viele erst durch den entsprechenden Review auf das jeweilige Paper aufmerksam wurden und dessen Ergebnisse nachfolgend in die eigenen Forschungsprojekte integrierten.

Entsprechend zeigte die weitere Analyse nachfolgender Ko-Zitationsnetzwerke, dass solche durch einen Review hervorgehobenen Brücken-Artikel oftmals zu zentralen Brennpunkten künftiger Themen und Forschung wurden – und dass die Reviews selbst auf diese Weise ganze Forschungsfelder neu strukturierten. Womit in diesen Fällen wohl das Beste passiert ist, was ein Review leisten kann.

Hauptautor Peter McMahan, Soziologe an der McGill University in Montreal, war zum Schluss allerdings noch wichtig, die Ergebnisse seiner Studie auf Nature Index folgendermaßen zu relativieren: „Zitate sind eine wirklich starke Währung für Akademiker. Aber der Einfluss der Forschung oder eines bestimmten Projekts, das ein Team, ein Labor oder eine Einzelperson durchführt – dieser Einfluss ist eigentlich eine viel reichhaltigere, größere und komplexere Angelegenheit, als dass er alleine durch Zitate gemessen werden kann.“

Ralf Neumann

(Illustr.: GoGraph /OstapenkoOlena)

Alte Dampflok „Wissenschaft“

22. September 2021 von Laborjournal

Ursachen für die wachsenden Verstöße gegen die wissen­schaftliche Integrität sind eine eklatante Ungleich­verteilung von Macht, systemische Fehlanreize durch die Bevorzugung quantitativer Indizes bei der Leistungsevaluation sowie zu schwache Kontrollmechanismen und Sanktionsmöglichkeiten. Dieses Fazit referierte Bettina Dupont in unserem Online-Artikel „Kein Platz für Opportunisten und Narzissten“, in dem sie ein Positionspapier aus dem Umfeld der Deutschen Psychologischen Gesellschaft zum Thema „Unethisches Verhalten in der Wissenschaft“ vorstellte.

Zu diesem Artikel beziehungsweise zu diesem Thema erhielten wir die folgende Zuschrift, die wir unserer Leserschaft nicht vorenthalten wollen:

Sehr geehrte Redaktion, sehr geehrte Frau Bettina Dupont,

danke für den Artikel. Beim Lesen kam mir ein Bild in den Sinn, das die Situation in der Wissenschaft oder vielmehr deren Wesen für mich recht gut beschreibt. Ich stelle mir die Wissenschaft – in meinem Fall die „Life Sciences“ – als eine alte Dampflok vor, die viel Getöse und viel Qualm macht. Sie kommt voran, wenn auch nur sehr schwerfällig und steif. Ihr Kesselfeuer ernährt sich von Karriere-Träumen, eine schier unerschöpfliche Energiereserve. Ihre Energiebilanz ist aber mehr als ungünstig. Die Heizer haben viel zu tun. Wenn sie fleißig sind, dann dürfen sie den feinen Herrschaften in ihren wohligen Pullman-Salonwagen kurzeitig Gesellschaft leisten. Vielleicht wird ihnen ja auch irgendwann einmal ein dauerhafter Platz zugeteilt und ein junger Traum schafft es in den Führerstand.

Lohnt es sich, diesem alten Stahlmonster ein „Upgrade „zu geben, oder ist es nicht sinniger, gleich einen modernen Triebwagen mit vielen Sitzmöglichkeiten und besserer Energiebilanz zu besorgen?

Ich kann sie gerade ganz deutlich durch all den Qualm und Dreck sehen, die alte Dampflok. (Ich stecke gerade in einer SFB-Begutachtung und mein Vertrag endet zum x-ten Mal).

Beste Grüße

(Der Autor der Zuschrift ist der Redaktion bekannt.)

(Foto: National Heritage Memorial Fund UK)

 

„Extreme liebend“ — na ja …

15. September 2021 von Laborjournal

 

 Juliet Merz

Werden Corona-Artikel schlampiger begutachtet?

8. September 2021 von Laborjournal

 

Vor einem Jahr schrieben wir in unserem Heft 10/2020 auf Seite 10:

Die Qualität wissenschaftlicher Veröffentlichungen sinkt zu Zeiten der SARS-CoV­2-Pandemie. Das legt eine Metastudie aller COVID19-Publikationen des ersten Halbjahres 2020 nahe (Scientometrics 126831-42). Von 23.594 in Web of Science oder Scopus gelisteten Publikationen mussten 1,3 Prozent korrigiert oder binnen kurzer Zeit zurückgezogen werden, trotz vorherigem Peer Review. Vor 2020 traf dieses Schicksal im Durchschnitt nur vier von zehntausend Publikationen, also 0,04 Prozent. Infiziert SARS-CoV-2 zu allem Überfluss auch noch unsere wissenschaftliche Integrität?

In Heft 6/2021 legten wir dann auf Seite 8 unter „Inkubiert“ folgendermaßen nach:

Leider steht es mit [der Qualität] der Corona-Forschung bekanntlich nicht zum Allerbesten – auch wegen der enormen Dringlichkeit, Ergebnisse zu liefern. So sagen Experten, dass von der enormen Flut an Corona-Preprints rund siebzig Prozent deutliche Mängel aufweisen. Folgerichtig hielt schon vor einiger Zeit eine Metastudie fest, dass von tausend weltweit duchgeführten Studien zur Infection Fatality Rate von COVID-19 nur eine „sehr geringe Zahl“ den normalen methodischen Standards entsprach. Und selbst nach Peer Review und „ordentlicher“ Publikation in einem „richtigen“ Journal bleibt es oft zumindest schwammig. Nicht umsonst wurden innerhalb des letzten Jahres bereits über hundert Originalartikel rund um Corona wieder zurückgezogen.

Der Peer Review war also unter Verdacht. Diesen Beitrag weiterlesen »

Zurück zur Normalität!

1. September 2021 von Laborjournal

In unserer Reihe „Forscher Ernst und die Corona-Krise“:

(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)