Häufiger zitiert durch Twitter (X)?

27. September 2023 von Laborjournal

Dank Herrn Musk heißt Twitter heute bekanntlich X. Dennoch wird auch für X gelten, was ein US-Team gerade unter dem Titel „Controlled experiment finds no detectable citation bump from Twitter promotion“ veröffentlicht hat (bioRXiv, doi.org/kvk7). Demnach beobachteten die Beteiligten in ihrem Experiment keinen signifikanten Anstieg der Zitierzahlen von Forschungsartikeln, wenn diese zuvor auf Twitter angepriesen wurden.

Zitierzahlen interessieren den publizierenden Forscher respektive Forscherin natürlich sehr. Daher wundert auch kaum, dass zuvor bereits mehrere Handvoll ähnlicher Studien zum Thema durchgeführt wurden. Dummerweise jedoch lieferten diese in der Summe sehr gemischte Ergebnisse – von keinem Einfluss anpreisender Tweets auf die künftige Zitierrate (z.B. hier und hier) über allenfalls mäßige Folgen (z.B. hier und hier) bis hin zu einem deutlich positiven Effekt (z.B. hier und hier).

Jetzt also nochmal eine Studie zum gleichen Thema, wahrscheinlich die annähernd hundertste. Warum sollte man sich die überhaupt anschauen? Na ja, vielleicht weil sie gleich zu Beginn die allermeisten anderen erstmal in die Pfanne haut, indem es dort heißt:  Diesen Beitrag weiterlesen »

Getrübte Titelfreuden?

11. Mai 2022 von Laborjournal

Könnte es eventuell eine zweifelhafte Freude sein, mit der eigenen Veröffentlichung auf dem Titelblatt einer Journal-Ausgabe zu landen?  …

Zu meiner eigenen aktiven Zeit im Labor – die mittlerweile schon eine ganze Weile her ist – lief es jedenfalls so: Jedes Mal, wenn das Paper einer Gruppe es bis auf das Cover eines guten Journals geschafft hatte, gab es eine zumindest mittelgroße Feier im gesamten Institut. Man wertete dies schlichtweg als ganz besondere Form der Wertschätzung für den jeweiligen Inhalt – und entsprechend groß war deshalb die Freude.

Bis heute scheint sich an dieser Freude nicht wirklich was geändert zu haben – wie ein kurzer Blick nach Twitter verrät. Da jubelt beispielsweise letzte Woche einer, dass eine Studie mit seiner Beteiligung durch die Cover-Illustration der Mai-Ausgabe von Lancet Oncology ganz besonders gewürdigt wird.

Einen Tag danach verkündet eine walisische Professorin:

Und wieder einen Tag später wird folgende Nachwuchsforscherin geradezu euphorisch:

„Doch wird die Freude allzu groß, legt irgendwo ein Spielverderber los.“ Und in diesem Fall könnten drei italienische Wirtschaftsforscher diese Rolle besetzen. „Cover effects on citations uncovered: Evidence from Nature“ übertitelten sie ihre Studie, die gerade frisch im Journal of Infometrics erschien (16(2): Art. 101293; im Preprint hier lesbar). Im Abstract schreiben sie:    Diesen Beitrag weiterlesen »

Zitatesammeln per Lieferfahrzeug

20. April 2022 von Laborjournal

Raub-Verlage (Predatory Publishers), Entführte Journale (Hijacked Journals), Papiermühlen (Paper Mills), … – schon öfter berichteten wir, mit welch windigen Manövern einige, meist asiatische „Unternehmer“ Profit aus den Zwängen und Nöten des wissenschaftlichen Publikationssystems schlagen. Siehe etwa hier, hier, hier oder hier. Die Ideen, das System zum eigenen Profit zu hintergehen, scheinen damit jedoch immer noch nicht erschöpft. Auf der Paper-Diskussionsplattform PubPeer wurde jedenfalls gerade eine weitere schräge „Geschäftsidee“ enthüllt: Zitate-Lieferfahrzeuge (Citation Delivery Vehicles).

Anfang des Jahres illustrierte dort ein User mit Pseudonym „Hoya camphorifolia“ anhand eines Papers chinesischer Autoren eine weit verbreitete Strategie des unlauteren Zitatevermehrens (J. Mater. Sci.: Mater. Electron., doi: 10.1007/s10854-021-05437-0):

Die Autoren dieser Gruppe haben die merkwürdige Neigung, ihre Arbeiten mit einem Schlusssatz abzuschließen, der als reines „Citation Delivery Vehicle“ fungiert – siehe https://pubpeer.com/search?q=“Jun+Zhao „+OR+“Zhiqin+Zheng“. In mindestens einem dieser Fälle stand der folgende, stark aufgeblasene Schlusssatz nachweisbar nicht in der Version, die die Peer-Reviewer sahen, sondern wurde erst in der Korrekturphase hinzugefügt:

„Diese Arbeit erweitert den Anwendungsbereich der persistenten Materialien auf das Feld der Photokatalyse und bietet überdies neue Einblicke in andere Bereiche, wie etwa die Abwasserbehandlung [46-48], die Elektrokatalyse [49-51] und die Photokatalyse [52-55].“

Anschließend folgen die entsprechenden Referenzen 46 bis 55, allesamt wiederum Veröffentlichungen chinesischer Gruppen. Diese jedoch haben – man ahnt es schon – mit dem Inhalt des Papers rein gar nichts zu tun. Diesen Beitrag weiterlesen »

Embargo-Verzerrungen

22. Dezember 2021 von Laborjournal

 

 

Bekanntlich gibt es einige Wege, wie man Zitierraten von Artikeln und Impact-Faktoren von Zeitschriften künstlich verzerren kann – siehe etwa hier und hier. Auf einen weiteren macht nun ein Quartett um den Kieler Wirtschaftsinformatiker Steffen Lemke aufmerk­sam. Schon der Titel des Artikels macht deutlich, wie der Hase konkret läuft: „Research articles promoted in embargo e-mails receive higher citations and altmetrics“ (Scientometrics, doi: 10.1007/s11192-021-04217-1).

Mittel zum Zweck sind also Embargo-E-Mails, mit denen die Fachblätter das Erscheinen von vermeintlich besonders wichtigen Artikeln weithin vorab ankündigen.

Im Abstract fassen Lemke et al. ihre Studie folgendermaßen zusammen:

Um gründlich und rechtzeitig über die neuesten wissenschaftlichen Forschungsergebnisse berichten zu können, sind Wissenschaftsjournalisten häufig auf Informationen angewiesen, die ihnen von den Herausgebern wissenschaftlicher Zeitschriften unter Embargo zugesandt werden. In solchen Embargo-E-Mails machen Verleger die Journalisten gezielt auf ausgewählte bevorstehende Veröffentlichungen aufmerksam – und zwar bereits ein paar Tage vor deren Erscheinen.

Indes ist kaum bekannt, wie sich diese frühzeitige Hervorhebung bestimmter Forschungsartikel auf deren spätere Zitierungen oder Altmetrics auswirkt. Hier präsentieren wir daher eine explorative Fallstudie mit dem Ziel, die Auswirkungen solcher Werbeaktivitäten auf die bibliometrischen und altmetrischen Indikatoren wissenschaftlicher Artikel zu untersuchen. In einem Treatment-Control-Design analysieren wir die Zitierzahlen sowie acht Arten alternativer Metriken von insgesamt 715 Artikeln, die zwischen 2016 und 2017 veröffentlicht wurden und deren DOIs in Embargo-E-Mails erwähnt wurden. Diese vergleichen wir mit Artikeln aus denselben Zeitschriftenausgaben, die nicht in Embargo-E-Mails hervorgehoben wurden.

Deskriptive Statistiken und Mann-Whitney-U-Tests offenbaren eine signifikante Bevorzugung von derart promoteten Artikel in sämtlichen betrachteten Metriken innerhalb von drei bis vier Jahren nach ihrer Veröffentlichung. Besonders große Unterschiede sind bei der Anzahl der Erwähnungen in den Mainstream-Medien, in Blogs, auf Twitter und auf Facebook zu erkennen.

Unsere Ergebnisse deuten darauf hin, dass wissenschaftliche Verlage einen erheblichen Einfluss darauf haben, welche Forschungsartikel in den verschiedenen (sozialen) Medien Aufmerksamkeit und Sichtbarkeit erhalten. Auch im Hinblick auf die Nutzung von Metriken zu Evaluationszwecken könnten die beobachteten Auswirkungen von Werbeaktivitäten auf Indikatoren einen unerwünschten Einflussfaktor darstellen, der derzeit in szientometrischen Bewertungen nicht in dem Maße berücksichtigt wird, wie dies eigentlich der Fall sein sollte.

Schön und gut. Aber wie sieht das neben den Altmetriken konkret für die Zitierraten der via Embargo-E-Mails beworbenen Artikel aus? In Tabelle 3 ihrer Publikation zeigen Lemke et al., dass diese im Schnitt knapp doppelt so oft zitiert werden als die nicht-beworbenen Artikel der Kontrollgruppe. In der „Discussion“ schreiben sie daher:

Die aufmerksamkeitssteigernde Wirkung der Embargo-E-Mails geht offenbar über die Medien hinaus, an die sie sich richten, wie die höhere Zahl der wissenschaftlichen Zitierungen […] der promoteten Artikel zeigt. Mit anderen Worten: Die Aufmerksamkeit, die Embargo-E-Mails in der öffentlichen Sphäre der Nachrichtenmedien auf sich ziehen, scheint auch in die wissenschaftliche Sphäre auszustrahlen. So zeigen es jedenfalls die Zitierzahlen.

Logisch, dass gerade angesichts der übermäßigen Bedeutung von Zitierzahlen für die Evaluation und Karriere von Wissenschaftlern das Fazit der Autoren entsprechend kritisch ausfällt:

Die Förderung ausgewählter Artikel durch Wissenschaftsverlage führt somit zu einem erheblichen Eingriff in das wissenschaftliche Belohnungssystem – und fügt zu den bereits bekannten Verzerrungen im Zusammenhang mit zitationsbasierten Bewertungen eine weitere hinzu.

Ralf Neumann

(Illustr.: thelyst.com)

 

Eine kleine (nicht ganz) fiktive Geschichte über „meistzitierte Paper“

25. Juni 2019 von Laborjournal

Joseph Cooper war schon einige Jahre im Ruhestand. Zufrieden blickte er zurück auf ein jahrzehntelanges Forscherleben, in dem er durchaus einiges erreicht hatte. Vor allem zum Aufbau des Cytoskeletts hatte sein Labor der Forscherwelt eine ganze Reihe beteiligter Proteine und Mechanismen geliefert.

Ja, damals hatte das Forscherleben noch Spaß gemacht, dachte Cooper oft. Und dass er das Glück gehabt hatte, genau zur rechten Zeit aufhören zu können. „Rat race“, „Publish or perish“, „Apply or die“ — all diese üblen Schlag­worte, die heute große Teile des For­schungs­geschäftes charakterisieren, kamen erst ganz zum Ende seiner Karriere auf. Genau­so wie der Wahn um bibliometrische Zahlen und Evaluationen.

Gerade gestern war er wieder auf eines dieser regelmäßigen „Paper-Rankings“ gestoßen. Cooper störte daran nicht nur, dass dort verglichen wurde, was nicht verglichen werden kann — also etwa unter der Überschrift „Life Sciences“ kunterbunt die Zitierzahlen von Apoptose-Artikeln mit denjenigen von Papern über den pflanzlichen Sekundärstoffwechsel oder Multi-Center-Studien über Schuppenflechte verglichen wurden. Nein, da war noch eine andere Sache, von der er sich ganz besonders betroffen fühlte…

Zum x-ten Male präsentierten die Autoren unter anderem eine Liste der meistzitierten wissen­schaftlichen Paper aller Zeiten. Und ganz vorne standen natürlich wieder einmal die allseits bekannten „Methoden-Paper“ zur Proteinmessung von Lowry et al. sowie zur Polyacrylamid-Gelelektrophorese von Ulrich Karl Laemmli. Diese beiden hatten offenbar das Glück, dass deren Methoden auch Jahrzehnte später noch nahezu unmodifiziert und breitflächig angewendet wurden. Und dass man sie dafür immer noch brav zitierte. Das Lowry-Paper, so hieß es in dem Artikel, sammele, obwohl bereits 1951 publiziert, immer noch mehrere hundert Zitate jährlich.

Dass das nicht die Regel ist, wusste Cooper nur zu gut. Auch er hatte 1969 solch einen metho­di­sches „Überflieger-Paper“ geschrieben — zur Bestimmung der Molekulargewichte von Proteinen in SDS-Poly­acryl­amidgelen. Doch dieses erlitt das eher typische Schicksal: Zehn Jahre lang wurde es zitiert wie der Teufel, dann nahm die Zitierrate plötzlich ab, und zwanzig Jahre — oder 20.000 Zitate — später tauchte die Arbeit kaum noch in den Referenzlisten aktueller Artikel auf.

Das allerdings nicht, weil Protein-Molekulargewichte nicht mehr via SDS-Gele bestimmt wurden. Auch nicht, weil jemand ein besseres Gel-Verfahren entwickelt hatte. Nein, die Methode war im weltweiten Experimentieralltag einfach selbstverständlich geworden. Wie das Einstellen von pH-Werten. Und Selbstverständliches braucht keine Referenzen mehr.

„Ist ja auch gut und richtig so“, dachte Cooper. „Sonst würden die Referenzlisten ja irgendwann länger als die Artikel. Es zitiert schließlich auch keiner mehr Watson und Crick, wenn er was über die DNA-Struktur schreibt.“ Dennoch gibt es aus irgendwelchen Gründen, die Cooper nicht verstand, hin und wieder Ausreißer aus diesem Schema. Siehe Lowry und Laemmli.

Das ärgerte ihn zwar nur wenig, aber es relativierte für ihn doch erheblich deren Ruf als „meistzitierte Paper weltweit“.

Ralf Neumann

Bild: „White Wings“, Ölgemälde von Sylvain Loisant

Bessere Forscher nach frühen Fehlschlägen?

12. Juni 2019 von Laborjournal

Über Wohl und Wehe eines erfolgreichen Förderantrags entscheidet einzig und allein die wissen­schaftliche Exzellenz des Kandidaten und seines beantragten Projekts. Gerade die Programme zur Förderung des wissenschaftlichen Nachwuchses betonen dies immer wieder neu als oberste Maxime. Der Gedanke dahinter ist klar: Die Besten von heute werden ziemlich sicher auch die Besten von morgen sein — gerade, wenn man sie schon früh identifiziert und fördert. Hinterfragt hat das bislang nahezu niemand.

Umso überraschender verkünden jetzt drei Herren namens Wang, Jones & Wang von der North­western University in Evanston/USA, dass diese These von „Früh top, immer top“ womöglich stärker wackeln könnte als gedacht (arXiv:1903.06958v1).

Wie kommen sie darauf? Diesen Beitrag weiterlesen »

Monolog von einem, der sich auf die Sitzung einer Berufungskommission vorbereiten will

30. Januar 2019 von Laborjournal

(Szene: Professor Schneider sinnierend am Schreibtisch, seine Stimme ertönt aus dem Off…)

„Okay, die Zellbiologie-Professur — also schauen wir mal… Wie viele Bewerbungen waren es noch mal insgesamt? Egal, mehrere Dutzend. Jetzt sind also noch acht im Rennen. Hmm… nach Prüfung der Unterlagen schenken sie sich nix. Alle in etwa auf der gleichen Stufe.

Was also tun? Soll ich jetzt etwa die Publikationen jedes einzelnen studieren? Klar, damit würde ich den einzelnen Bewerbern am ehesten gerecht werden. Aber andererseits ist das wahre „Monsterarbeit“, da brauch’ ich ja ewig für…

Am besten schaue ich mir erstmal die einschlägigen Kennwerte an. Zitierzahlen zum Beispiel… Obwohl — dass hohe Zitierraten nicht unbedingt brillante Forschung widerspiegeln, weiß man ja inzwischen. Andererseits stehen hohe Zitierzahlen natürlich jeder Fakultät gut zu Gesicht — egal, wie sie zustande kommen.

 

Auch mit teurer Methodik erntet man zuweilen nur tiefhängende Früchte.

 

Aber was macht man beispielsweise mit einem Forscher, der viel zitiert wird, weil er eine ganz bestimmte Technik ziemlich exklusiv beherrscht — und wenn dann diese Technik zwei Jahre später wegen einer brandneuen, besseren und billigeren Methode plötzlich obsolet wird? Ist schließlich alles schon vorgekommen…

Na gut, dann schau’ ich mir doch mal an, wie viele Drittmittel die einzelnen Bewerber für ihre bisherigen Projekte eingeworben haben. Schließlich profitiert doch die gesamte Fakultät von Leuten, die ordentlich Fördermittel bei DFG & Co. loseisen können.

Allerdings wird nicht zu Unrecht kritisiert, dass eine zu starke Gewichtung von Drittmittelvolumen bei Berufungsverfahren die Forscher erst recht dazu treibt, vor allem teure Projekte zu verfolgen. Ob da nicht vielleicht doch manchmal eine brillante, aber „billige“ Idee zugunsten eines teuren Low Hanging Fruit-Projekts geopfert wird? Eben weil man dann mit dickerem Drittmittel-Volumen protzen kann?

Viele Kollegen lästern ja auch schon darüber. Da fällt mir ein, wie Kollege Maier das Ganze bei unserem Stammtisch mal als „wissenschaftlichen Benzinverbrauch“ betitelt hat — und weiter gespottet, dass einige Fahrer auch mit viel verfahrenem Benzin nur im nächsten Ort landen. War schon witzig. Und Kollege Müller ergänzte süffisant, dass man ja auch die Qualität eines Gemäldes nicht nach den Kosten für Pinsel, Farbe, Leinwand und so weiter beurteilt…

Tja, ganz klar: Da ist was dran, dass diese Kennzahlen allzu oft nicht das liefern, was man sich von ihnen erhofft. Ganz im Gegenteil! Es hilft also nichts, ich werde mir wohl doch zumindest einige Publikationen der Kandidaten etwas genauer anschauen müssen…“

Ralf Neumann

x

Zitat des Monats (17)

2. Januar 2014 von Laborjournal

What a let down for the running dogs of citationalism!

… schrieb ein Kommentator im Blog Retraction Watch. Dieser hatte über die Zurückziehung eines Cell-Papers wegen Datenmanipulationen berichtet, die ziemlich sicher noch weitere Retraktionen in Nature und anderen „hochrangigen“ Journals nach sich ziehen wird. Die Ironie an der Geschichte, auf die sich auch das Zitat bezieht: Das betroffene Flanders Institute for Biotechnology (VIB) in Ghent vergibt Prämien an Forscher, die regelmäßig „besonders hoch“ publizieren.