Das schmackhafte Brot der Forschung

28. Februar 2024 von Laborjournal

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch trocken schmeckt es ihm nicht. Erst wenn ordentlich Butter und Belag in Form von Zitierungen draufgeschmiert werden, wird es ihm zum wirklichen Genuss. Und zwar je dicker, umso mehr – seit der Einfluss von Impact-Punkten und Zitierzahlen bei der Bewertung von Forschungsqualität fast schon ins Absurde gewachsen ist.

Seit Langem haben wir in mehreren Beiträgen versucht klarzumachen, dass die reine Zahl der Zitate den echten Einfluss der zitierten Arbeit auf nachfolgende Forschung nur sehr unzureichend widerspiegelt – und damit letztlich auch nicht ihre tatsächliche Qualität (siehe etwa „Wachsweiche Zitierzahlen“, „Zitierungen — Kein Maß für Qualität oder Einfluss“ oder „Mehr Zitate durch Open Data“).

Stimmt aber womöglich wenigstens der Umkehrschluss, dass Publikationen, die nicht zitiert werden, gar keinen Wert für nachfolgende Forschung haben? Dazu ein Zitat von Dag W. Aksnes, Professor am Nordic Institute for Studies in Innovation, Research and Education in Oslo:

So einfach ist es nicht, dass Artikel ohne Zitate wenig Wert haben. Sie können dennoch wichtig sein, um die Forschung voranzubringen. Sie können zum Beispiel die Ergebnisse früherer Studien bestätigen oder zeigen, dass zwei Dinge nicht miteinander verbunden sind.

Rein konfirmatorische Studien und negative Ergebnisse also. Genau das, was die Zeitschriften gerne ablehnen, da es den Zitatefluss für ihren Journal-Impact-Faktor zum Stottern bringt. Und was die Autorinnen und Autoren daher nicht nur den Belag, sondern oft genug gleich das ganze Brot kostet.

Dabei ist der wahre Wert konfirmatorischer Studien und negativer Ergebnisse für den wissenschaftlichen Fortschritt längst gezeigt (siehe etwa „Vom Triangulieren beim Experimentieren“, „Warum so negativ?“ oder „Negativ hilft“). So wäre beispielsweise die aktuelle Repliktionskrise sicherlich deutlich kleiner, würden mehr davon durchgeführt, publiziert – und auch trotz vergleichsweise magerer Zitierraten entsprechend honoriert.

Manche Scheibe Brot kann schlichtweg auch ohne fetten Belag ziemlich schmackhaft sein.

Ralf Neumann

(Illustration kreiert via Dall-E2)

 

Häufiger zitiert durch Twitter (X)?

27. September 2023 von Laborjournal

Dank Herrn Musk heißt Twitter heute bekanntlich X. Dennoch wird auch für X gelten, was ein US-Team gerade unter dem Titel „Controlled experiment finds no detectable citation bump from Twitter promotion“ veröffentlicht hat (bioRXiv, doi.org/kvk7). Demnach beobachteten die Beteiligten in ihrem Experiment keinen signifikanten Anstieg der Zitierzahlen von Forschungsartikeln, wenn diese zuvor auf Twitter angepriesen wurden.

Zitierzahlen interessieren den publizierenden Forscher respektive Forscherin natürlich sehr. Daher wundert auch kaum, dass zuvor bereits mehrere Handvoll ähnlicher Studien zum Thema durchgeführt wurden. Dummerweise jedoch lieferten diese in der Summe sehr gemischte Ergebnisse – von keinem Einfluss anpreisender Tweets auf die künftige Zitierrate (z.B. hier und hier) über allenfalls mäßige Folgen (z.B. hier und hier) bis hin zu einem deutlich positiven Effekt (z.B. hier und hier).

Jetzt also nochmal eine Studie zum gleichen Thema, wahrscheinlich die annähernd hundertste. Warum sollte man sich die überhaupt anschauen? Na ja, vielleicht weil sie gleich zu Beginn die allermeisten anderen erstmal in die Pfanne haut, indem es dort heißt:  Diesen Beitrag weiterlesen »

Viele Peer Reviews, viele Zitate

16. November 2022 von Laborjournal

Kaum etwas bietet Wissenschaftlerinnen und Wissenschaftlern derart viel Anlass zu Diskussionen wie der Peer-Review. Das Peer-Review-System sei veraltet, überlastet, Neuheits-feindlich, Missbrauchs-anfällig und und und.

Ob das Fazit „Wer viele Peer-Reviews erstellt, publiziert mehr und wird auch häufiger zitiert“ ebenfalls für derartige Diskussionen sorgen wird, sei einmal dahingestellt – auf jeden Fall verkündet ein Team kanadischer Epidemiologen dies als Schlussfolgerung in ihrem Artikel „Characteristics of ‘mega’ peer-reviewers“ (Res. Integr. Peer Rev. 7, 1).

Oder meinen sie es eher umgekehrt: Wer viel publiziert und häufig zitiert wird, schreibt auch mehr Peer-Reviews?

Okay, was haben die Kanadier also genau gemacht?

Aus der Peer-Review-Plattform Publons suchten sie sich 396 Gutachter heraus, die von Januar bis Dezember 2018 mindestens hundert Peer-Reviews abgeschlossen hatten. Diese bezeichneten sie als „Mega-Peer-Reviewer“ und stellten sie einer Kontrollgruppe von 1.200 „mittleren“ Peer-Reviewern gegenüber, die im selben Zeitraum zwischen einem und 18 Gutachten geschrieben hatten.

Die statistischen Analysen erbrachten als Ergebnisse:

  • Die Peer-Review-Texte waren in beiden Gruppen im Mittel gleich lang.
  • Die Mehrheit der Mega-Peer-Reviewer stammte aus Asien (33 %), Europa (37 %) und Nordamerika (19 %). In der Kontrollgruppe der Peer-Reviewer kamen 41 % aus Europa, 26 % aus Nordamerika und 21 % aus Asien.
  • Drei Viertel der Mega-Peer-Gutachter waren männlich, während der Männer-Anteil in der Kontrollgruppe 58 Prozent betrug.
  • Mega-Peer-Reviewer wiesen im Vergleich zur Kontrollgruppe eine signifikant höhere mittlere Anzahl an Gesamt-Publikationen und -Zitierungen auf; auch im Analysejahr 2018 allein publizierten sie im Mittel mehr und wurden häufiger zitiert. Ebenso kamen die Mega-Peer-Reviewer auf einen höheren h-Index-Schnitt.

In der Diskussion schreiben die Autoren vor allem zum letzten Punkt:

Unsere Studie war nicht darauf ausgerichtet, die Gründe für diese Unterschiede zu untersuchen. Beispielsweise könnten Mega-Peer-Reviewer von den Herausgebern häufiger zur Begutachtung eingeladen werden, oder sie könnten eine Vergütung für die Begutachtung erhalten.

Aber eine Vermutung haben sie dennoch:

Unsere Ergebnisse deuten darauf hin, dass Mega-Peer-Reviewer möglicherweise etablierter sind (beispielsweise mehr Zitierungen; hoher h-Index) als Nicht-Mega-Peer-Reviewer.

Womit am Ende klar geworden sein dürfte: Keineswegs bekommt man mehr Publikationen und Zitate, weil man viel begutachtet. Wäre ja auch zu schön gewesen. Nein, umgekehrt wird ein Schuh daraus: Wer viel publiziert und zitiert wird, der wird auch verstärkt zum Peer-Review herangezogen. Auch wenn der eine oder die andere das in diesem Ausmaß womöglich gar nicht will

Ralf Neumann

(Illustr.: L. Engler)

Getrübte Titelfreuden?

11. Mai 2022 von Laborjournal

Könnte es eventuell eine zweifelhafte Freude sein, mit der eigenen Veröffentlichung auf dem Titelblatt einer Journal-Ausgabe zu landen?  …

Zu meiner eigenen aktiven Zeit im Labor – die mittlerweile schon eine ganze Weile her ist – lief es jedenfalls so: Jedes Mal, wenn das Paper einer Gruppe es bis auf das Cover eines guten Journals geschafft hatte, gab es eine zumindest mittelgroße Feier im gesamten Institut. Man wertete dies schlichtweg als ganz besondere Form der Wertschätzung für den jeweiligen Inhalt – und entsprechend groß war deshalb die Freude.

Bis heute scheint sich an dieser Freude nicht wirklich was geändert zu haben – wie ein kurzer Blick nach Twitter verrät. Da jubelt beispielsweise letzte Woche einer, dass eine Studie mit seiner Beteiligung durch die Cover-Illustration der Mai-Ausgabe von Lancet Oncology ganz besonders gewürdigt wird.

Einen Tag danach verkündet eine walisische Professorin:

Und wieder einen Tag später wird folgende Nachwuchsforscherin geradezu euphorisch:

„Doch wird die Freude allzu groß, legt irgendwo ein Spielverderber los.“ Und in diesem Fall könnten drei italienische Wirtschaftsforscher diese Rolle besetzen. „Cover effects on citations uncovered: Evidence from Nature“ übertitelten sie ihre Studie, die gerade frisch im Journal of Infometrics erschien (16(2): Art. 101293; im Preprint hier lesbar). Im Abstract schreiben sie:    Diesen Beitrag weiterlesen »

Irgendwie ein Corona-Paper

13. April 2022 von Laborjournal

In unserer Reihe „Forscher Ernst und die Corona-Pandemie“:

 

(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

 

Humor ist, wenn man trotzdem …

6. April 2022 von Laborjournal

 

Humor ist bekanntlich Geschmackssache. Schließlich können die Antennen dafür individuell stark variieren – und manchen fehlen sie gar völlig.

Wie aber sieht es damit in Wissenschaft und Forschung aus?

Als wir beispielsweise vor zwanzig Jahren Sidney Brenner – kurz bevor er den Nobelpreis kriegen sollte – fragten, wie wichtig für ihn Humor in der Wissenschaft sei, antwortete er:

Absolut essentiell. Ich denke, zu viele Wissenschaftler nehmen sich selbst zu ernst. Humor ist ein Teil des Lebens, und daher auch der Wissenschaft. Er dreht die Dinge herum und verschafft einem einen anderen Blickwinkel. Und so kann Humor auch zu neuen Erkenntnissen führen. Oder gar beim Entwickeln von Ideen helfen. In der Tat muss eine gute Idee nicht nur gut sein, sondern in gewissem Sinne auch witzig.

Im Geiste unterschrieben wir das. Schließlich ist ja auch von weiteren großen Namen aus der Wissenschaftsgeschichte durchaus bekannt, dass sie zum Lachen nicht unbedingt in den Keller gingen: Albert Einstein, Francis Crick, Kary Mullis, …

Bei anderer Gelegenheit schauten wir uns dann um, wie es mit dem Humor in wissenschaftlichen Originalartikeln – also „Papern“ – steht. Und tatsächlich spürten wir so manches Beispiel für einen gewissen „Guerilla-Humor“ in Abbildungen auf – siehe etwa hier, hier oder hier.

Und witzige Titel? Zumindest kann es wohl kaum als bierernst gelten, wenn Autorinnen und Autoren ihre Artikel mit abgewandelten Film-, Song- oder Literatur-Zitaten überschreiben – wie etwa „Everything you always wanted to know about sex … in flies“. Gerade hierfür fanden wir am Ende sogar richtig viele Beispiele, und hatten sie seinerzeit hier zusammengetragen.

Scheint also doch alles in allem ein eher lustiges Völkchen zu sein, diese Forscher.

Doch dann kam eine gewisse Ernüchterung. Diesen Beitrag weiterlesen »

Embargo-Verzerrungen

22. Dezember 2021 von Laborjournal

 

 

Bekanntlich gibt es einige Wege, wie man Zitierraten von Artikeln und Impact-Faktoren von Zeitschriften künstlich verzerren kann – siehe etwa hier und hier. Auf einen weiteren macht nun ein Quartett um den Kieler Wirtschaftsinformatiker Steffen Lemke aufmerk­sam. Schon der Titel des Artikels macht deutlich, wie der Hase konkret läuft: „Research articles promoted in embargo e-mails receive higher citations and altmetrics“ (Scientometrics, doi: 10.1007/s11192-021-04217-1).

Mittel zum Zweck sind also Embargo-E-Mails, mit denen die Fachblätter das Erscheinen von vermeintlich besonders wichtigen Artikeln weithin vorab ankündigen.

Im Abstract fassen Lemke et al. ihre Studie folgendermaßen zusammen:

Um gründlich und rechtzeitig über die neuesten wissenschaftlichen Forschungsergebnisse berichten zu können, sind Wissenschaftsjournalisten häufig auf Informationen angewiesen, die ihnen von den Herausgebern wissenschaftlicher Zeitschriften unter Embargo zugesandt werden. In solchen Embargo-E-Mails machen Verleger die Journalisten gezielt auf ausgewählte bevorstehende Veröffentlichungen aufmerksam – und zwar bereits ein paar Tage vor deren Erscheinen.

Indes ist kaum bekannt, wie sich diese frühzeitige Hervorhebung bestimmter Forschungsartikel auf deren spätere Zitierungen oder Altmetrics auswirkt. Hier präsentieren wir daher eine explorative Fallstudie mit dem Ziel, die Auswirkungen solcher Werbeaktivitäten auf die bibliometrischen und altmetrischen Indikatoren wissenschaftlicher Artikel zu untersuchen. In einem Treatment-Control-Design analysieren wir die Zitierzahlen sowie acht Arten alternativer Metriken von insgesamt 715 Artikeln, die zwischen 2016 und 2017 veröffentlicht wurden und deren DOIs in Embargo-E-Mails erwähnt wurden. Diese vergleichen wir mit Artikeln aus denselben Zeitschriftenausgaben, die nicht in Embargo-E-Mails hervorgehoben wurden.

Deskriptive Statistiken und Mann-Whitney-U-Tests offenbaren eine signifikante Bevorzugung von derart promoteten Artikel in sämtlichen betrachteten Metriken innerhalb von drei bis vier Jahren nach ihrer Veröffentlichung. Besonders große Unterschiede sind bei der Anzahl der Erwähnungen in den Mainstream-Medien, in Blogs, auf Twitter und auf Facebook zu erkennen.

Unsere Ergebnisse deuten darauf hin, dass wissenschaftliche Verlage einen erheblichen Einfluss darauf haben, welche Forschungsartikel in den verschiedenen (sozialen) Medien Aufmerksamkeit und Sichtbarkeit erhalten. Auch im Hinblick auf die Nutzung von Metriken zu Evaluationszwecken könnten die beobachteten Auswirkungen von Werbeaktivitäten auf Indikatoren einen unerwünschten Einflussfaktor darstellen, der derzeit in szientometrischen Bewertungen nicht in dem Maße berücksichtigt wird, wie dies eigentlich der Fall sein sollte.

Schön und gut. Aber wie sieht das neben den Altmetriken konkret für die Zitierraten der via Embargo-E-Mails beworbenen Artikel aus? In Tabelle 3 ihrer Publikation zeigen Lemke et al., dass diese im Schnitt knapp doppelt so oft zitiert werden als die nicht-beworbenen Artikel der Kontrollgruppe. In der „Discussion“ schreiben sie daher:

Die aufmerksamkeitssteigernde Wirkung der Embargo-E-Mails geht offenbar über die Medien hinaus, an die sie sich richten, wie die höhere Zahl der wissenschaftlichen Zitierungen […] der promoteten Artikel zeigt. Mit anderen Worten: Die Aufmerksamkeit, die Embargo-E-Mails in der öffentlichen Sphäre der Nachrichtenmedien auf sich ziehen, scheint auch in die wissenschaftliche Sphäre auszustrahlen. So zeigen es jedenfalls die Zitierzahlen.

Logisch, dass gerade angesichts der übermäßigen Bedeutung von Zitierzahlen für die Evaluation und Karriere von Wissenschaftlern das Fazit der Autoren entsprechend kritisch ausfällt:

Die Förderung ausgewählter Artikel durch Wissenschaftsverlage führt somit zu einem erheblichen Eingriff in das wissenschaftliche Belohnungssystem – und fügt zu den bereits bekannten Verzerrungen im Zusammenhang mit zitationsbasierten Bewertungen eine weitere hinzu.

Ralf Neumann

(Illustr.: thelyst.com)

 

Bremsen Reviews die Zitierraten von Originalartikeln aus?

29. September 2021 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern.

So begannen wir unseren Artikel „Der falsche Review zur falschen Zeit“, in dem wir an einem anekdotischen Einzelfall beschrieben, wie so etwas konkret passieren kann: Dass ein Review einem kurz zuvor erschienen Originalartikel viele wohlverdiente Zitierungen „klauen“ kann.

Aber ist das jenseits einzelner Anekdoten auch generell der Fall? Im Jahr 2014 erschien beispielsweise eine Studie mit dem Titel „The kiss of death? The effect of being cited in a review on subsequent citations“, in der die Autoren biomedizinische Originalartikel, die in Review-Artikeln zitiert wurden, mit solchen verglichen, die in keinem Review zitiert wurden (J. Assoc. Inf. Sci. Technol. 65(7): 1501-5). Damals fanden sie keinen Unterschied in der Lebensdauer der Zitate zwischen beiden Gruppen.

Eine deutlich umfangreichere Studie aus diesem Jahr bestätigt dagegen zunächst den obigen Verdacht (Am. Sociol. Rev. 86(2): 341-76). Die Autoren von der Stanford University in Kalifornien werteten dazu die Zitationsdaten von knapp sechs Millionen Originalartikeln aus, die zwischen 1990 und 2016 in 1.155 Forschungs-Zeitschriften erschienen und hinterher in einem Übersichtsartikel der Annual-Reviews-Serie zitiert wurden. Ergebnis: Die meisten dieser Originalarbeiten erlitten nach Referenzierung in den Annual Reviews einen Verlust von durchschnittlich vierzig Prozent an zukünftigen Zitierungen.

Allerdings nur „die meisten“! Einige wenige Originalartikel erhielten nach Erwähnung und Referenzierung in einem Übersichtsartikel der Annual Reviews hingegen einen deutlichen Zitationsschub. Als die Autoren sich diese Artikel gesondert anschauten, stellten sie fest, dass es sich bei der Mehrheit um eine ganz bestimmte Gattung handelte, die sie daraufhin als Bridging Papers bezeichneten. Diese „Brücken-Artikel“ zeichnen sich dadurch aus, dass sie Verbindungen zwischen Forschungsgebieten schaffen, die bis dahin kaum Austausch miteinander hatten – mit der Konsequenz, dass viele erst durch den entsprechenden Review auf das jeweilige Paper aufmerksam wurden und dessen Ergebnisse nachfolgend in die eigenen Forschungsprojekte integrierten.

Entsprechend zeigte die weitere Analyse nachfolgender Ko-Zitationsnetzwerke, dass solche durch einen Review hervorgehobenen Brücken-Artikel oftmals zu zentralen Brennpunkten künftiger Themen und Forschung wurden – und dass die Reviews selbst auf diese Weise ganze Forschungsfelder neu strukturierten. Womit in diesen Fällen wohl das Beste passiert ist, was ein Review leisten kann.

Hauptautor Peter McMahan, Soziologe an der McGill University in Montreal, war zum Schluss allerdings noch wichtig, die Ergebnisse seiner Studie auf Nature Index folgendermaßen zu relativieren: „Zitate sind eine wirklich starke Währung für Akademiker. Aber der Einfluss der Forschung oder eines bestimmten Projekts, das ein Team, ein Labor oder eine Einzelperson durchführt – dieser Einfluss ist eigentlich eine viel reichhaltigere, größere und komplexere Angelegenheit, als dass er alleine durch Zitate gemessen werden kann.“

Ralf Neumann

(Illustr.: GoGraph /OstapenkoOlena)

Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:    Diesen Beitrag weiterlesen »

Irgendwann ist’s einfach gut mit Zitieren

25. März 2020 von Laborjournal

Jeder Labor-Biologe stellt mit dem pH-Meter seine Puffer ein. Doch wer zitiert dafür den dänischen Chemiker Søren Peder Lauritz Sørensen, der 1909 erstmals das Konzept der pH-Skala vorstellte?

Oder ähnliche Frage: Welcher Arabidopsis-Forscher zitiert noch den Erfurter Arzt und Botaniker Johannes Thal, der 1577 erstmals das heutige Top-Modell der molekularen Pflanzenforschung beschrieb?

Sørensen und Thal könnten so gesehen gut und gerne zu den meistzitierten Köpfen der wissenschaftlichen Literatur gehören. Tun sie aber nicht — und das ist auch richtig so. Denn irgendwann gehören Dinge einfach zum allgemeinen (Fach-)Wissen oder Handwerk — und spätestens dann sollte es mal gut sein mit Zitieren.

Aus diesem Grund zitiert auch keiner mehr Darwin, wenn er den Begriff „natürliche Selektion“ verwendet. Oder Miescher beziehungsweise Watson und Crick, wenn er über DNA schreibt. Alle Vier würden sonst sicher mit zu den meistzitierten Autoren aller Zeiten gehören.

Allerdings: Was ist dann mit Ulrich Laemmli, der 1970 das erste SDS-Polyacrylamidgel fuhr? Oder mit Oliver Lowry und Marion Bradford, die 1951 und 1976 unterschiedliche Methoden zur Proteinbestimmung entwickelten? Seit Jahrzehnten gehören die drei Methoden zur absoluten Routine in jedem biochemisch-molekularbiologischen Labor. Dennoch werden die Drei bis heute weiterhin fleißig zitiert — zuletzt jeweils runde fünfzig Mal pro Jahr.

Irgendwie scheinen die drei einfach Glück gehabt zu haben. Im Gegensatz zu vielen anderen, wie etwa dem Schweden Arne Tiselius, der 1937 die Agarosegel-Elektrophorese in der heute noch üblichen Form veröffentlichte — aber schon lange in keiner Referenzliste mehr auftaucht. Und dieses „Glück“ sorgte letztlich dafür, dass die Artikel von Lowry, Bradford und Laemmli heute die drei meistzitierten wissenschaftlichen Veröffentlichungen aller Zeiten sind.

Schön für sie! Und klar, methodische Fortschritte sind enorm wichtig für den wissenschaftlichen Fortschritt. Aber dennoch stehen Lowry, Bradford und Laemmli diesbezüglich ja wohl kaum auf einer Stufe mit Darwin, Miescher oder Watson & Crick.

Wie bitte? Ach so, ja klar — hier geht‘s ja „nur“ um Zitierungen. Und was zählen die heute schon bei der Bewertung wissenschaftlicher Leistungen?…

Ralf Neumann