Zitierungen « Laborjournal Blog

Getrübte Titelfreuden?

11. Mai 2022 von Laborjournal

Könnte es eventuell eine zweifelhafte Freude sein, mit der eigenen Veröffentlichung auf dem Titelblatt einer Journal-Ausgabe zu landen?  …

Zu meiner eigenen aktiven Zeit im Labor – die mittlerweile schon eine ganze Weile her ist – lief es jedenfalls so: Jedes Mal, wenn das Paper einer Gruppe es bis auf das Cover eines guten Journals geschafft hatte, gab es eine zumindest mittelgroße Feier im gesamten Institut. Man wertete dies schlichtweg als ganz besondere Form der Wertschätzung für den jeweiligen Inhalt – und entsprechend groß war deshalb die Freude.

Bis heute scheint sich an dieser Freude nicht wirklich was geändert zu haben – wie ein kurzer Blick nach Twitter verrät. Da jubelt beispielsweise letzte Woche einer, dass eine Studie mit seiner Beteiligung durch die Cover-Illustration der Mai-Ausgabe von Lancet Oncology ganz besonders gewürdigt wird.

Einen Tag danach verkündet eine walisische Professorin:

Und wieder einen Tag später wird folgende Nachwuchsforscherin geradezu euphorisch:

„Doch wird die Freude allzu groß, legt irgendwo ein Spielverderber los.“ Und in diesem Fall könnten drei italienische Wirtschaftsforscher diese Rolle besetzen. „Cover effects on citations uncovered: Evidence from Nature“ übertitelten sie ihre Studie, die gerade frisch im Journal of Infometrics erschien (16(2): Art. 101293; im Preprint hier lesbar). Im Abstract schreiben sie:    Diesen Beitrag weiterlesen »

Irgendwie ein Corona-Paper

13. April 2022 von Laborjournal

In unserer Reihe „Forscher Ernst und die Corona-Pandemie“:

 

(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

 

Humor ist, wenn man trotzdem …

6. April 2022 von Laborjournal

 

Humor ist bekanntlich Geschmackssache. Schließlich können die Antennen dafür individuell stark variieren – und manchen fehlen sie gar völlig.

Wie aber sieht es damit in Wissenschaft und Forschung aus?

Als wir beispielsweise vor zwanzig Jahren Sidney Brenner – kurz bevor er den Nobelpreis kriegen sollte – fragten, wie wichtig für ihn Humor in der Wissenschaft sei, antwortete er:

Absolut essentiell. Ich denke, zu viele Wissenschaftler nehmen sich selbst zu ernst. Humor ist ein Teil des Lebens, und daher auch der Wissenschaft. Er dreht die Dinge herum und verschafft einem einen anderen Blickwinkel. Und so kann Humor auch zu neuen Erkenntnissen führen. Oder gar beim Entwickeln von Ideen helfen. In der Tat muss eine gute Idee nicht nur gut sein, sondern in gewissem Sinne auch witzig.

Im Geiste unterschrieben wir das. Schließlich ist ja auch von weiteren großen Namen aus der Wissenschaftsgeschichte durchaus bekannt, dass sie zum Lachen nicht unbedingt in den Keller gingen: Albert Einstein, Francis Crick, Kary Mullis, …

Bei anderer Gelegenheit schauten wir uns dann um, wie es mit dem Humor in wissenschaftlichen Originalartikeln – also „Papern“ – steht. Und tatsächlich spürten wir so manches Beispiel für einen gewissen „Guerilla-Humor“ in Abbildungen auf – siehe etwa hier, hier oder hier.

Und witzige Titel? Zumindest kann es wohl kaum als bierernst gelten, wenn Autorinnen und Autoren ihre Artikel mit abgewandelten Film-, Song- oder Literatur-Zitaten überschreiben – wie etwa „Everything you always wanted to know about sex … in flies“. Gerade hierfür fanden wir am Ende sogar richtig viele Beispiele, und hatten sie seinerzeit hier zusammengetragen.

Scheint also doch alles in allem ein eher lustiges Völkchen zu sein, diese Forscher.

Doch dann kam eine gewisse Ernüchterung. Diesen Beitrag weiterlesen »

Embargo-Verzerrungen

22. Dezember 2021 von Laborjournal

 

 

Bekanntlich gibt es einige Wege, wie man Zitierraten von Artikeln und Impact-Faktoren von Zeitschriften künstlich verzerren kann – siehe etwa hier und hier. Auf einen weiteren macht nun ein Quartett um den Kieler Wirtschaftsinformatiker Steffen Lemke aufmerk­sam. Schon der Titel des Artikels macht deutlich, wie der Hase konkret läuft: „Research articles promoted in embargo e-mails receive higher citations and altmetrics“ (Scientometrics, doi: 10.1007/s11192-021-04217-1).

Mittel zum Zweck sind also Embargo-E-Mails, mit denen die Fachblätter das Erscheinen von vermeintlich besonders wichtigen Artikeln weithin vorab ankündigen.

Im Abstract fassen Lemke et al. ihre Studie folgendermaßen zusammen:

Um gründlich und rechtzeitig über die neuesten wissenschaftlichen Forschungsergebnisse berichten zu können, sind Wissenschaftsjournalisten häufig auf Informationen angewiesen, die ihnen von den Herausgebern wissenschaftlicher Zeitschriften unter Embargo zugesandt werden. In solchen Embargo-E-Mails machen Verleger die Journalisten gezielt auf ausgewählte bevorstehende Veröffentlichungen aufmerksam – und zwar bereits ein paar Tage vor deren Erscheinen.

Indes ist kaum bekannt, wie sich diese frühzeitige Hervorhebung bestimmter Forschungsartikel auf deren spätere Zitierungen oder Altmetrics auswirkt. Hier präsentieren wir daher eine explorative Fallstudie mit dem Ziel, die Auswirkungen solcher Werbeaktivitäten auf die bibliometrischen und altmetrischen Indikatoren wissenschaftlicher Artikel zu untersuchen. In einem Treatment-Control-Design analysieren wir die Zitierzahlen sowie acht Arten alternativer Metriken von insgesamt 715 Artikeln, die zwischen 2016 und 2017 veröffentlicht wurden und deren DOIs in Embargo-E-Mails erwähnt wurden. Diese vergleichen wir mit Artikeln aus denselben Zeitschriftenausgaben, die nicht in Embargo-E-Mails hervorgehoben wurden.

Deskriptive Statistiken und Mann-Whitney-U-Tests offenbaren eine signifikante Bevorzugung von derart promoteten Artikel in sämtlichen betrachteten Metriken innerhalb von drei bis vier Jahren nach ihrer Veröffentlichung. Besonders große Unterschiede sind bei der Anzahl der Erwähnungen in den Mainstream-Medien, in Blogs, auf Twitter und auf Facebook zu erkennen.

Unsere Ergebnisse deuten darauf hin, dass wissenschaftliche Verlage einen erheblichen Einfluss darauf haben, welche Forschungsartikel in den verschiedenen (sozialen) Medien Aufmerksamkeit und Sichtbarkeit erhalten. Auch im Hinblick auf die Nutzung von Metriken zu Evaluationszwecken könnten die beobachteten Auswirkungen von Werbeaktivitäten auf Indikatoren einen unerwünschten Einflussfaktor darstellen, der derzeit in szientometrischen Bewertungen nicht in dem Maße berücksichtigt wird, wie dies eigentlich der Fall sein sollte.

Schön und gut. Aber wie sieht das neben den Altmetriken konkret für die Zitierraten der via Embargo-E-Mails beworbenen Artikel aus? In Tabelle 3 ihrer Publikation zeigen Lemke et al., dass diese im Schnitt knapp doppelt so oft zitiert werden als die nicht-beworbenen Artikel der Kontrollgruppe. In der „Discussion“ schreiben sie daher:

Die aufmerksamkeitssteigernde Wirkung der Embargo-E-Mails geht offenbar über die Medien hinaus, an die sie sich richten, wie die höhere Zahl der wissenschaftlichen Zitierungen […] der promoteten Artikel zeigt. Mit anderen Worten: Die Aufmerksamkeit, die Embargo-E-Mails in der öffentlichen Sphäre der Nachrichtenmedien auf sich ziehen, scheint auch in die wissenschaftliche Sphäre auszustrahlen. So zeigen es jedenfalls die Zitierzahlen.

Logisch, dass gerade angesichts der übermäßigen Bedeutung von Zitierzahlen für die Evaluation und Karriere von Wissenschaftlern das Fazit der Autoren entsprechend kritisch ausfällt:

Die Förderung ausgewählter Artikel durch Wissenschaftsverlage führt somit zu einem erheblichen Eingriff in das wissenschaftliche Belohnungssystem – und fügt zu den bereits bekannten Verzerrungen im Zusammenhang mit zitationsbasierten Bewertungen eine weitere hinzu.

Ralf Neumann

(Illustr.: thelyst.com)

 

Bremsen Reviews die Zitierraten von Originalartikeln aus?

29. September 2021 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern.

So begannen wir unseren Artikel „Der falsche Review zur falschen Zeit“, in dem wir an einem anekdotischen Einzelfall beschrieben, wie so etwas konkret passieren kann: Dass ein Review einem kurz zuvor erschienen Originalartikel viele wohlverdiente Zitierungen „klauen“ kann.

Aber ist das jenseits einzelner Anekdoten auch generell der Fall? Im Jahr 2014 erschien beispielsweise eine Studie mit dem Titel „The kiss of death? The effect of being cited in a review on subsequent citations“, in der die Autoren biomedizinische Originalartikel, die in Review-Artikeln zitiert wurden, mit solchen verglichen, die in keinem Review zitiert wurden (J. Assoc. Inf. Sci. Technol. 65(7): 1501-5). Damals fanden sie keinen Unterschied in der Lebensdauer der Zitate zwischen beiden Gruppen.

Eine deutlich umfangreichere Studie aus diesem Jahr bestätigt dagegen zunächst den obigen Verdacht (Am. Sociol. Rev. 86(2): 341-76). Die Autoren von der Stanford University in Kalifornien werteten dazu die Zitationsdaten von knapp sechs Millionen Originalartikeln aus, die zwischen 1990 und 2016 in 1.155 Forschungs-Zeitschriften erschienen und hinterher in einem Übersichtsartikel der Annual-Reviews-Serie zitiert wurden. Ergebnis: Die meisten dieser Originalarbeiten erlitten nach Referenzierung in den Annual Reviews einen Verlust von durchschnittlich vierzig Prozent an zukünftigen Zitierungen.

Allerdings nur „die meisten“! Einige wenige Originalartikel erhielten nach Erwähnung und Referenzierung in einem Übersichtsartikel der Annual Reviews hingegen einen deutlichen Zitationsschub. Als die Autoren sich diese Artikel gesondert anschauten, stellten sie fest, dass es sich bei der Mehrheit um eine ganz bestimmte Gattung handelte, die sie daraufhin als Bridging Papers bezeichneten. Diese „Brücken-Artikel“ zeichnen sich dadurch aus, dass sie Verbindungen zwischen Forschungsgebieten schaffen, die bis dahin kaum Austausch miteinander hatten – mit der Konsequenz, dass viele erst durch den entsprechenden Review auf das jeweilige Paper aufmerksam wurden und dessen Ergebnisse nachfolgend in die eigenen Forschungsprojekte integrierten.

Entsprechend zeigte die weitere Analyse nachfolgender Ko-Zitationsnetzwerke, dass solche durch einen Review hervorgehobenen Brücken-Artikel oftmals zu zentralen Brennpunkten künftiger Themen und Forschung wurden – und dass die Reviews selbst auf diese Weise ganze Forschungsfelder neu strukturierten. Womit in diesen Fällen wohl das Beste passiert ist, was ein Review leisten kann.

Hauptautor Peter McMahan, Soziologe an der McGill University in Montreal, war zum Schluss allerdings noch wichtig, die Ergebnisse seiner Studie auf Nature Index folgendermaßen zu relativieren: „Zitate sind eine wirklich starke Währung für Akademiker. Aber der Einfluss der Forschung oder eines bestimmten Projekts, das ein Team, ein Labor oder eine Einzelperson durchführt – dieser Einfluss ist eigentlich eine viel reichhaltigere, größere und komplexere Angelegenheit, als dass er alleine durch Zitate gemessen werden kann.“

Ralf Neumann

(Illustr.: GoGraph /OstapenkoOlena)

Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:    Diesen Beitrag weiterlesen »

Irgendwann ist’s einfach gut mit Zitieren

25. März 2020 von Laborjournal

Jeder Labor-Biologe stellt mit dem pH-Meter seine Puffer ein. Doch wer zitiert dafür den dänischen Chemiker Søren Peder Lauritz Sørensen, der 1909 erstmals das Konzept der pH-Skala vorstellte?

Oder ähnliche Frage: Welcher Arabidopsis-Forscher zitiert noch den Erfurter Arzt und Botaniker Johannes Thal, der 1577 erstmals das heutige Top-Modell der molekularen Pflanzenforschung beschrieb?

Sørensen und Thal könnten so gesehen gut und gerne zu den meistzitierten Köpfen der wissenschaftlichen Literatur gehören. Tun sie aber nicht — und das ist auch richtig so. Denn irgendwann gehören Dinge einfach zum allgemeinen (Fach-)Wissen oder Handwerk — und spätestens dann sollte es mal gut sein mit Zitieren.

Aus diesem Grund zitiert auch keiner mehr Darwin, wenn er den Begriff „natürliche Selektion“ verwendet. Oder Miescher beziehungsweise Watson und Crick, wenn er über DNA schreibt. Alle Vier würden sonst sicher mit zu den meistzitierten Autoren aller Zeiten gehören.

Allerdings: Was ist dann mit Ulrich Laemmli, der 1970 das erste SDS-Polyacrylamidgel fuhr? Oder mit Oliver Lowry und Marion Bradford, die 1951 und 1976 unterschiedliche Methoden zur Proteinbestimmung entwickelten? Seit Jahrzehnten gehören die drei Methoden zur absoluten Routine in jedem biochemisch-molekularbiologischen Labor. Dennoch werden die Drei bis heute weiterhin fleißig zitiert — zuletzt jeweils runde fünfzig Mal pro Jahr.

Irgendwie scheinen die drei einfach Glück gehabt zu haben. Im Gegensatz zu vielen anderen, wie etwa dem Schweden Arne Tiselius, der 1937 die Agarosegel-Elektrophorese in der heute noch üblichen Form veröffentlichte — aber schon lange in keiner Referenzliste mehr auftaucht. Und dieses „Glück“ sorgte letztlich dafür, dass die Artikel von Lowry, Bradford und Laemmli heute die drei meistzitierten wissenschaftlichen Veröffentlichungen aller Zeiten sind.

Schön für sie! Und klar, methodische Fortschritte sind enorm wichtig für den wissenschaftlichen Fortschritt. Aber dennoch stehen Lowry, Bradford und Laemmli diesbezüglich ja wohl kaum auf einer Stufe mit Darwin, Miescher oder Watson & Crick.

Wie bitte? Ach so, ja klar — hier geht‘s ja „nur“ um Zitierungen. Und was zählen die heute schon bei der Bewertung wissenschaftlicher Leistungen?…

Ralf Neumann

„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

Referenzlisten auf Schmalspur

2. Oktober 2019 von Laborjournal

Es gibt Dinge, die ärgern Forscher ganz besonders. Mit zu den „Highlights“ ge­hört sicherlich, wenn man ein frisches Paper liest, dessen Inhalt klar erfordert, dass es die ein oder andere eigene Ar­beit zitiert — aber nichts, nicht ein einziges Mal wird man in der Referenz­liste erwähnt.

Manchmal ruft man daraufhin den verantwortlichen Autor an. Schließlich arbeitet er im gleichen Feld, und man kennt sich ja. Doch die Antwort, die man dann bisweilen erhält, lässt den For­scherkamm nur noch dicker an­schwel­len:

„Ja, tut mir leid. Das war uns natürlich bewusst. Aber das blöde Journal akzeptiert nur maximal 25 Referenzen — da mussten wir zwangsweise das eine oder andere wichtige Paper weglassen.“

Ganz toll! Und dann fügt er noch hinzu:

„Weißt du, was mir zuletzt mit einem anderen Paper passiert ist? Da hat das Journal die Referenzliste sogar eigenmächtig auf Layout-freundliches Maß zurechtgestutzt.“

Geht‘s eigentlich noch?

Um das jetzt mal ganz klarzumachen: Life-Science-Forschung ist ein derart vielfältiges Gebiet, da können die Verlage unmöglich einfach mal festlegen, dass sich ein jedes Paper auf dieser Erde auf den Ergebnissen von nicht mehr als 25 oder 30 Referenzen aufbauen ließe. Manche brauchen die Vorarbeit von mehr als hundert, wobei jedes einzelne davon zu Recht in der Referenzliste steht!

Und ganz abgesehen davon: Sollte es nicht zu den Hauptaufgaben der Forschungsblätter gehören, dem geneigten Leser die Möglichkeit zu bieten, genauestmöglich nachvollziehen zu können, auf wessen „Schultern“ die präsentierten Ergebnisse tatsächlich stehen?

Klar, eine weitere Schlüsselaufgabe der Gutachter ist natürlich, gleichsam unnötige oder unverdiente Referenzen wieder auszusortieren — gerade um nicht immer ganz lautere „Über­zitie­rung“ zu vermeiden. Aber hier geht es um die vorweg festgelegten Limits für die Referenzlisten — und die sind oftmals viel zu niedrig.

Was daraus resultiert, klingt fast schon wie ein schlechter Witz: Für die Forscher sind Zitierungen heute so wichtig wie noch nie (wenn auch infolge eines zugegebenermaßen fehlgeleiteten Belohnungssystems) — während die Zeitschriften mit solchen schmalspurigen Maßnahmen den tieferen Zweck des wissenschaftlichen Referenzierens mit Füßen treten.

Ralf Neumann

(Eine etwas andere Version dieses Textes erschien bereits in unserer Printausgabe Laborjournal 12/2015.)

x

Steuert Google Scholar, was wir zitieren?

17. September 2019 von Laborjournal

Na ja, ganz so ist es natürlich nicht. Schließlich sind es immer noch die Autoren, die bestimmen, welche Paper sie in die Referenz­listen ihrer eigenen Manuskripte aufnehmen. Allerdings sind Autoren manchmal auch einfach faul — und dann bestimmt die allseits beliebte Literatur-Such­ma­schi­ne Google Scholar deren Zitierverhalten womöglich wirklich ganz schnell mit.

Vorletzte Woche tweetete beispielsweise der Scientific-American-Reporter George Musser folgendes über einen Vortrag beim Metascience 2019 Symposium an der Stanford University:

Demnach zeigte der Informationswissenschaftler Jevin D. West von der University of Washington („@jevinwest“) in seinem Vortrag Daten, nach denen Forscher wohl öfter schlichtweg diejenigen Paper zitieren, die Google Scholar ihnen bei oberflächlicher Recherche gleich „vorne“ anzeigt — auch wenn „weiter hinten“ in den Suchergebnissen womöglich Artikel folgen, die es viel mehr verdient hätten, für die jeweilige Studie zitiert zu werden.

Fachleute bezeichnen dies als “First Results Page Syndrome”, nach dem Suchmaschinen-Nutzer diejenigen Dokumente stark bevorzugen, die ihnen gleich auf der ersten Ergebnisseite angezeigt werden. Und im Gegensatz zu anderen wissenschaftlichen Literatur-Datenbanken sortiert Google Scholar eben nicht nach Datum, sondern nach Relevanz. Wobei Google Scholar „Rele­vanz“ insbesondere anhand der Zitierungen der einzelnen Artikel misst.

Zusammen mit dem First Results Page Syndrome und der Bequemlichkeit der Autoren sorgt dies dafür, dass die Zitierungen sich insgesamt immer stärker auf immer weniger sowieso schon viel­zitier­te Artikel konzentrieren. Diesen Beitrag weiterlesen »