Lohnen sich Zitierkartelle?

27. März 2024 von Laborjournal

 

Neben Politik und Wirtschaft ist sicherlich die Wissenschaft das dritte große Seilschaften-Dorado.

…, so stand es unlängst in einem Essay zu lesen.

Da ist sicher was dran. Denn wo man hinsichtlich Begutachtungen, Berufungen, Fördermitteln, Evaluationen, Zitierungen et cetera derart von „Peers“ abhängig ist, da wird man wohl förmlich gedrängt zu Cliquenbildung, Gschaftlhuberei, Günstlingswirtschaft, … Und eine Ausprägung davon sind bisweilen Zitierkartelle.

Nehmen wir zunächst den aufrichtigen Wissenschaftler. Wenn er seine Resultate veröffentlicht, sieht er es als seine ehrenhafte Pflicht an, sämtliche relevanten Vorarbeiten zu zitieren. Auch solche von Personen, mit deren Inhalten er ansonsten nicht übereinstimmt – schließlich werden womöglich gerade dadurch fruchtbare Diskussionen befördert. Ordnungsgemäßes und gründliches Zitieren ist für ihn somit ein klares Qualitätsmerkmal seiner Forschungs­tätigkeit.

Doch so denken bei weitem nicht alle. Für andere sind Zitate vielmehr ein schnödes Mittel, das gewinnbringend für die eigene Karriere genutzt werden kann. Von daher zitieren sie ausschließlich die Arbeiten ihrer Freunde und Kollegen, die im Gegenzug wiederum sie selbst zitieren. Auf diese Weise entstehen Gruppen gleichgesinnter Kollegen, in denen jeder jeweils die Karrieren der anderen fördert – Zitierkartelle eben.  Diesen Beitrag weiterlesen »

Häufiger zitiert durch Twitter (X)?

27. September 2023 von Laborjournal

Dank Herrn Musk heißt Twitter heute bekanntlich X. Dennoch wird auch für X gelten, was ein US-Team gerade unter dem Titel „Controlled experiment finds no detectable citation bump from Twitter promotion“ veröffentlicht hat (bioRXiv, doi.org/kvk7). Demnach beobachteten die Beteiligten in ihrem Experiment keinen signifikanten Anstieg der Zitierzahlen von Forschungsartikeln, wenn diese zuvor auf Twitter angepriesen wurden.

Zitierzahlen interessieren den publizierenden Forscher respektive Forscherin natürlich sehr. Daher wundert auch kaum, dass zuvor bereits mehrere Handvoll ähnlicher Studien zum Thema durchgeführt wurden. Dummerweise jedoch lieferten diese in der Summe sehr gemischte Ergebnisse – von keinem Einfluss anpreisender Tweets auf die künftige Zitierrate (z.B. hier und hier) über allenfalls mäßige Folgen (z.B. hier und hier) bis hin zu einem deutlich positiven Effekt (z.B. hier und hier).

Jetzt also nochmal eine Studie zum gleichen Thema, wahrscheinlich die annähernd hundertste. Warum sollte man sich die überhaupt anschauen? Na ja, vielleicht weil sie gleich zu Beginn die allermeisten anderen erstmal in die Pfanne haut, indem es dort heißt:  Diesen Beitrag weiterlesen »

Neues von den Zombies

12. Juli 2023 von Laborjournal

Öfter schon haben wir über „Zombie-Paper“ gemeckert. Artikel also, die trotz erfolgter Retraction munter weiter zitiert werden. Beispielsweise hier, hier und hier.

Um das Problem klarzumachen, schrieben wir etwa:

Eigentlich ist man sich grundsätzlich einig in der Wissenschaft: Wird ein publiziertes Paper zurückgezogen („retracted“) – egal, ob aus ehrenhaften oder unehrenhaften Gründen –, dann gilt es augenblicklich als aus dem Scientific Record entfernt. Mit all seinen Daten und Schlussfolgerungen. Als hätte es nie existiert, als wären die Experimente nie gemacht worden.

Doch leider sieht die Realität gar nicht selten anders aus. Hartnäckig geistern zurückgezogene Veröffentlichungen als putzmuntere Zombies weiter durch den Wissenschaftsbetrieb – und treiben ihr Unwesen vor allem in den Referenzlisten nachfolgender Publikationen. Meist werden sie noch Jahre später zitiert, manche nach der Retraction sogar noch häufiger als vorher.

Jetzt präsentiert ein Team von fünf Informationswissenschaftlerinnen und -wissenschaftlern wieder eine neue Studie zum Thema: „Evolution of retracted publications in the medical sciences: Citations analysis, bibliometrics, and altmetrics trends“ (Account. Res., doi.org/kjfk). Dazu identifizierten sie in der Datenbank Scopus 840 Publikationen, die in den medizinischen Wissenschaften zwischen 2016 bis 2020 zurückgezogen wurden. Diese wurden bis August 2021 insgesamt 5.659 Mal zitiert, 1.559 dieser Zitierungen datierten deutlich nach der Retraktion des zitierten Artikels. Die Rate der „Zombie-Referenzen“ beträgt damit satte 27,5 Prozent.  … Hier geht’s weiter »

Publizieren Editoren allzu leicht im eigenen Journal?

25. Januar 2023 von Laborjournal

 

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch wer bestimmt, was veröffentlicht wird? In erster Linie die Editoren der betreffenden Forschungsblätter.

Über diese schreiben die fünf Autoren eines frischen Artikels mit dem Titel „Gender inequality and self-publication are common among academic editors“ (Nat Hum Behav, doi: 10.1038/s41562-022-01498-1):

Die Editoren spielen in diesem Prozess eine Schlüsselrolle, da sie das letzte Wort darüber haben, was veröffentlicht wird – und somit den Kanal kontrollieren, über den Wissenschaftler Prestige und Anerkennung erhalten. Darüber hinaus gehören die Herausgeber selbst zu den wissenschaftlichen Eliten, die von ihrer Community als Experten auf ihrem Gebiet anerkannt sind.

Editoren seien auf diese Weise nicht nur die „Gatekeeper“ der Wissenschaft, sondern suchen vielmehr selbst aktiv nach Möglichkeiten zur Veröffentlichung, führen die Autoren weiter aus. Schließlich arbeite die überwiegende Mehrheit von ihnen als aktive Forscher. Und da die Bewertung von Wissenschaftlern in hohem Maße von bibliometrischen Ergebnissen abhänge, stünden sie selbst unter einem gewissen Zwang, weiterhin eigene Originalarbeiten zu veröffentlichen.

Und wo tun sie das? Oftmals in den von ihnen herausgegebenen Zeitschriften. Was fast genauso oft zu Kontroversen führt. Denn wie die Autoren schreiben:

Solche Kontroversen werden durch die Möglichkeit angeheizt, dass die Beiträge der Editoren bevorzugt behandelt werden.

Und dies könne man durchaus als „Missbrauch des wissenschaftlichen Publikationssystems“ werten.  Diesen Beitrag weiterlesen »

Ein weiterer Sargnagel für den Journal-Impact-Faktor?

30. November 2022 von Laborjournal

Braucht es eigentlich immer noch mehr Indizien, dass der Journal-Impact-Faktor nicht zur Evaluation der Qualität wissenschaftlicher Journals taugt? Schließlich gab sich erst im Oktober unser „Wissenschaftsnarr“ alle erdenkliche Mühe, mit massenweise Evidenz „den Tag, an dem der Journal-Impact-Faktor starb“, auszurufen.

Falls trotzdem noch mehr Sargnägel eingeschlagen werden müssen, liefert jetzt ein japanisch-guayanisches Autoren-Duo einen weiteren – wenn auch womöglich nur einen kleinen. Und der verbirgt sich in deren Paper „When a journal is both at the ‘top’ and the ‘bottom’: the illogicality of conflating citation-based metrics with quality“ (Scientometrics 127: 3683–94).

Darin formulieren sie zunächst eine ganz einfache Frage:

Forschende auf der ganzen Welt stehen unter dem Druck, in den „Top“-Zeitschriften zu veröffentlichen. Was aber, wenn eine Zeitschrift gleichzeitig als „Top“-Zeitschrift und als „Bottom“-Zeitschrift angesehen wird?

Was meinen sie damit? Schauen wir uns an, was die beiden gemacht haben – dann wird’s klarer: Diesen Beitrag weiterlesen »

Zitatesammeln per Lieferfahrzeug

20. April 2022 von Laborjournal

Raub-Verlage (Predatory Publishers), Entführte Journale (Hijacked Journals), Papiermühlen (Paper Mills), … – schon öfter berichteten wir, mit welch windigen Manövern einige, meist asiatische „Unternehmer“ Profit aus den Zwängen und Nöten des wissenschaftlichen Publikationssystems schlagen. Siehe etwa hier, hier, hier oder hier. Die Ideen, das System zum eigenen Profit zu hintergehen, scheinen damit jedoch immer noch nicht erschöpft. Auf der Paper-Diskussionsplattform PubPeer wurde jedenfalls gerade eine weitere schräge „Geschäftsidee“ enthüllt: Zitate-Lieferfahrzeuge (Citation Delivery Vehicles).

Anfang des Jahres illustrierte dort ein User mit Pseudonym „Hoya camphorifolia“ anhand eines Papers chinesischer Autoren eine weit verbreitete Strategie des unlauteren Zitatevermehrens (J. Mater. Sci.: Mater. Electron., doi: 10.1007/s10854-021-05437-0):

Die Autoren dieser Gruppe haben die merkwürdige Neigung, ihre Arbeiten mit einem Schlusssatz abzuschließen, der als reines „Citation Delivery Vehicle“ fungiert – siehe https://pubpeer.com/search?q=“Jun+Zhao „+OR+“Zhiqin+Zheng“. In mindestens einem dieser Fälle stand der folgende, stark aufgeblasene Schlusssatz nachweisbar nicht in der Version, die die Peer-Reviewer sahen, sondern wurde erst in der Korrekturphase hinzugefügt:

„Diese Arbeit erweitert den Anwendungsbereich der persistenten Materialien auf das Feld der Photokatalyse und bietet überdies neue Einblicke in andere Bereiche, wie etwa die Abwasserbehandlung [46-48], die Elektrokatalyse [49-51] und die Photokatalyse [52-55].“

Anschließend folgen die entsprechenden Referenzen 46 bis 55, allesamt wiederum Veröffentlichungen chinesischer Gruppen. Diese jedoch haben – man ahnt es schon – mit dem Inhalt des Papers rein gar nichts zu tun. Diesen Beitrag weiterlesen »

Gezwitscherte Paper-Probleme

28. April 2021 von Laborjournal

Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers – so lautet der Titel eines frischen Scientometrics-Papers von Robin Haunschild und Lutz Bornmann, beide Forschungsevaluations- und Bibliometrie-Spezialisten bei der Max-Planck-Gesellschaft. Ob man methodische Fehler, Daten-Irrtümer, falsche Interpretationen oder gar gezielte Manipulationen in Forschungsartikeln aufgrund entsprechender Hinweise auf Twitter womöglich frühzeitig erkennen könne, wollten sie also wissen.

Übersetzt fassen sie im Abstract als Ergebnis zusammen:

[…] In dieser Fallstudie analysierten wir Tweet-Texte von drei zurückgezogenen Publikationen über COVID-19 […] und deren Retraction Notices. Hinsichtlich einer dieser Publikationen fanden wir keine Frühwarnzeichen in Tweet-Texten, dagegen fanden wir aber Tweets, die bereits kurz nach dem jeweiligen Veröffentlichungsdatum Zweifel an der Gültigkeit der beiden anderen Publikationen aufkommen ließen.

Und sie schlagen daher vor:

Eine Erweiterung unserer aktuellen Arbeit könnte zu einem Frühwarnsystem führen, das die wissenschaftliche Gemeinschaft auf Probleme mit bestimmten Publikationen aufmerksam macht. Andere Quellen, wie beispielsweise Blogs oder Post-Publication-Peer-Review-Seiten könnten in ein solches Frühwarnsystem einbezogen werden. Die in dieser Fallstudie vorgeschlagene Methodik sollte daher anhand größerer Publikationsmengen validiert werden – und zudem Publikationen als Kontrollgruppe enthalten, die nicht zurückgezogen wurden.

Damit unterfüttern die beiden Autoren das, was unser „Wissenschaftsnarr“ in seiner Laborjournal-Kolumne vor einem halben Jahr folgendermaßen als Beobachtung preisgab:

[…] Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt.

Gerade in der Forschung finden ja nicht wenige Twitter und Co. „eher nervig“. Von solcher Art „Gezwitscher“ könnten wir uns aber dennoch alle sicherlich mehr wünschen.

Weitere Beobachtungen oder Meinungen dazu?

Ralf Neumann

 

„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

Steuert Google Scholar, was wir zitieren?

17. September 2019 von Laborjournal

Na ja, ganz so ist es natürlich nicht. Schließlich sind es immer noch die Autoren, die bestimmen, welche Paper sie in die Referenz­listen ihrer eigenen Manuskripte aufnehmen. Allerdings sind Autoren manchmal auch einfach faul — und dann bestimmt die allseits beliebte Literatur-Such­ma­schi­ne Google Scholar deren Zitierverhalten womöglich wirklich ganz schnell mit.

Vorletzte Woche tweetete beispielsweise der Scientific-American-Reporter George Musser folgendes über einen Vortrag beim Metascience 2019 Symposium an der Stanford University:

Demnach zeigte der Informationswissenschaftler Jevin D. West von der University of Washington („@jevinwest“) in seinem Vortrag Daten, nach denen Forscher wohl öfter schlichtweg diejenigen Paper zitieren, die Google Scholar ihnen bei oberflächlicher Recherche gleich „vorne“ anzeigt — auch wenn „weiter hinten“ in den Suchergebnissen womöglich Artikel folgen, die es viel mehr verdient hätten, für die jeweilige Studie zitiert zu werden.

Fachleute bezeichnen dies als “First Results Page Syndrome”, nach dem Suchmaschinen-Nutzer diejenigen Dokumente stark bevorzugen, die ihnen gleich auf der ersten Ergebnisseite angezeigt werden. Und im Gegensatz zu anderen wissenschaftlichen Literatur-Datenbanken sortiert Google Scholar eben nicht nach Datum, sondern nach Relevanz. Wobei Google Scholar „Rele­vanz“ insbesondere anhand der Zitierungen der einzelnen Artikel misst.

Zusammen mit dem First Results Page Syndrome und der Bequemlichkeit der Autoren sorgt dies dafür, dass die Zitierungen sich insgesamt immer stärker auf immer weniger sowieso schon viel­zitier­te Artikel konzentrieren. Diesen Beitrag weiterlesen »

Der König ist tot, es lebe das Feld

4. September 2019 von Laborjournal

Es gilt als eines der berühmtesten Zitate von Max Planck — nicht zuletzt, weil es einige gar zu „Plancks Prinzip“ der Wissenschaftstheorie erhoben:

Eine neue wissenschaftliche Wahrheit pflegt sich nicht in der Weise durchzusetzen, daß ihre Gegner überzeugt werden und sich als belehrt erklären, sondern vielmehr dadurch, dass die Gegner allmählich aussterben und dass die heranwachsende Generation von vornherein mit der Wahrheit vertraut gemacht ist.

Drei US-amerikanische Wirtschaftswissenschaftler nahmen das mit dem „Sterben“ jetzt wörtlich — und haben Plancks Einsicht, dass der Tod prominenter Figuren oftmals die Bremsen für neue wissenschaftliche Wahrheiten löst, durch eine bibliometrische Analyse ansatzweise bestätigt.

Unter dem Titel „Does Science Advance One Funeral at a Time?“ veröffentlichten sie in American Economic Re­view (109(8): 2889-2920) ihre Nachforschungen darüber, was die Todesfälle von insgesamt 452 noch aktiven Biomedizinern, die ihr jeweiliges Forschungsfeld stark geprägt hatten, nachfolgend mit ebendiesen Feldern machten.

Fassen wir deren Ergebnisse kurz zusammen. Diejenigen, die bereits mit den „Starforschern“ kooperiert hatten und demnach eher in deren Strom schwammen, mussten nach deren Tod bezüg­lich der Zahl ihrer nachfolgenden Veröffentlichungen eine durchschnittliche Einbuße von neun Prozent hinnehmen. Was jetzt nicht gerade die Welt ist. Etwas stärker beeindru­cken die Verschiebungen auf der „anderen Seite“: Forscher, die bislang nicht mit dem jeweiligen „Promi“ kollaboriert hatten, konnten nach dessen Beerdigung im Schnitt um zwanzig Prozent mehr Artikel in dem jeweiligen Feld veröffentlichen.

Interessanterweise waren es jedoch weniger die „ewigen Konkurrenten“, die das Vakuum auf diese Weise mehr als ausfüllten. Vielmehr stiegen auffällig oft mehr oder weniger junge Kollegen aus anderen Gebieten neu ein — und brachten nicht nur eine frische und unvoreingenommene Denke ins Feld, sondern wurden mit ihren resultierenden Erkenntnissen auch bald überpro­por­tio­nal häufiger zitiert. Die Autoren der Studie schreiben dazu wörtlich:

To our surprise, it is not competitors from within a subfield who assume the mantle of leadership, but rather entrants from other fields who step in to fill the void created by a star’s absence. Importantly, this surge in contributions from outsiders draws upon a different scientific corpus and is disproportionately likely to be highly cited.

Jetzt kann man natürlich trefflich spekulieren, worin die Ursachen für solche Bremswirkung von Forscher-Lichtgestalten liegen könnten. Sitzen sie selbst mit ihrer „Anhängerschaft“ zu fett auf Schlüsselpositionen im Rahmen von Antrags- und Manuskript-Begutachtungen, sodass Neulinge mit alternativen inhaltlichen Konzepte viel schwerer „durchkommen“? Oder schreckt ein gut vernetz­ter Block von Anhängern rund um eine solche Lichtgestalt viele „Frischlinge“ schon von vorn­herein davon ab, den Versuch zu wagen, sich daneben im gleichen Feld zu etablieren?

Die Studienautoren jedenfalls halten sich klar davon fern, den Starforschern und ihren Gemeinden zu unterstellen, sie würden alternative Ideen mit bewusster Absicht blockieren. Vielmehr tendieren sie eher zu letzterer Erklärung:

It does not appear to be the case that stars use their influence over financial or editorial resources to block entry into their fields, but rather that the very prospect of challenging a luminary in the field serves as a deterrent for entry by outsiders.

Womöglich ist das aber auch einfach der ganz normale Lauf der Forschung, wie einer der Autoren im Interview sinniert. Denn wahrscheinlich waren die schwerfälligen alten Platzhirsche von heute selbst einmal vor neuen Ideen sprühende Jungforscher, die sich damals ihrerseits solch einer alten Garde gegenüber sahen.

Max Planck wird da vielleicht selbst keine Ausnahme gewesen sein.

x