Bremsen Reviews die Zitierraten von Originalartikeln aus?

29. September 2021 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern.

So begannen wir unseren Artikel „Der falsche Review zur falschen Zeit“, in dem wir an einem anekdotischen Einzelfall beschrieben, wie so etwas konkret passieren kann: Dass ein Review einem kurz zuvor erschienen Originalartikel viele wohlverdiente Zitierungen „klauen“ kann.

Aber ist das jenseits einzelner Anekdoten auch generell der Fall? Im Jahr 2014 erschien beispielsweise eine Studie mit dem Titel „The kiss of death? The effect of being cited in a review on subsequent citations“, in der die Autoren biomedizinische Originalartikel, die in Review-Artikeln zitiert wurden, mit solchen verglichen, die in keinem Review zitiert wurden (J. Assoc. Inf. Sci. Technol. 65(7): 1501-5). Damals fanden sie keinen Unterschied in der Lebensdauer der Zitate zwischen beiden Gruppen.

Eine deutlich umfangreichere Studie aus diesem Jahr bestätigt dagegen zunächst den obigen Verdacht (Am. Sociol. Rev. 86(2): 341-76). Die Autoren von der Stanford University in Kalifornien werteten dazu die Zitationsdaten von knapp sechs Millionen Originalartikeln aus, die zwischen 1990 und 2016 in 1.155 Forschungs-Zeitschriften erschienen und hinterher in einem Übersichtsartikel der Annual-Reviews-Serie zitiert wurden. Ergebnis: Die meisten dieser Originalarbeiten erlitten nach Referenzierung in den Annual Reviews einen Verlust von durchschnittlich vierzig Prozent an zukünftigen Zitierungen.

Allerdings nur „die meisten“! Einige wenige Originalartikel erhielten nach Erwähnung und Referenzierung in einem Übersichtsartikel der Annual Reviews hingegen einen deutlichen Zitationsschub. Als die Autoren sich diese Artikel gesondert anschauten, stellten sie fest, dass es sich bei der Mehrheit um eine ganz bestimmte Gattung handelte, die sie daraufhin als Bridging Papers bezeichneten. Diese „Brücken-Artikel“ zeichnen sich dadurch aus, dass sie Verbindungen zwischen Forschungsgebieten schaffen, die bis dahin kaum Austausch miteinander hatten – mit der Konsequenz, dass viele erst durch den entsprechenden Review auf das jeweilige Paper aufmerksam wurden und dessen Ergebnisse nachfolgend in die eigenen Forschungsprojekte integrierten.

Entsprechend zeigte die weitere Analyse nachfolgender Ko-Zitationsnetzwerke, dass solche durch einen Review hervorgehobenen Brücken-Artikel oftmals zu zentralen Brennpunkten künftiger Themen und Forschung wurden – und dass die Reviews selbst auf diese Weise ganze Forschungsfelder neu strukturierten. Womit in diesen Fällen wohl das Beste passiert ist, was ein Review leisten kann.

Hauptautor Peter McMahan, Soziologe an der McGill University in Montreal, war zum Schluss allerdings noch wichtig, die Ergebnisse seiner Studie auf Nature Index folgendermaßen zu relativieren: „Zitate sind eine wirklich starke Währung für Akademiker. Aber der Einfluss der Forschung oder eines bestimmten Projekts, das ein Team, ein Labor oder eine Einzelperson durchführt – dieser Einfluss ist eigentlich eine viel reichhaltigere, größere und komplexere Angelegenheit, als dass er alleine durch Zitate gemessen werden kann.“

Ralf Neumann

(Illustr.: GoGraph /OstapenkoOlena)

„Mein“ Paper musst du selber schreiben!

14. Juli 2021 von Laborjournal

Zählen wir mal alle diejenigen zusammen, die die akademische Welt sofort nach der Doktorarbeit oder dem ersten Postdoc ein für allemal verlassen. Oder gar mittendrin die Segel streichen. Damit wäre sicherlich bereits die klare Mehrheit all derer beisammen, die jemals eine Doktorarbeit oder einen Postdoc begonnen haben.

Und jetzt überlegen wir mal weiter, wie viele potenzielle Paper deswegen niemals geschrieben worden sind. Es dürften ziemlich viele sein!

Bei den Abbrechern ist es klar: Sie haben eine Weile Daten produziert, bis sie aus verschiedenen Gründen der Forschung plötzlich Knall auf Fall „Adieu“ sagen. Nur die allerwenigsten dürften danach noch erhebliche Zeit des neu begonnenen Lebensabschnitt dafür opfern, um dem Ex-Chef die „alten“ Daten für ein Manuskript aufzubereiten. Mit welcher Motivation auch?

Dummerweise haben aber ebenso oft diejenigen, die gleich nach abgeschlossenem „Doktor“ oder abgelaufenem „Postdoc“ umschwenken, noch genug selbstproduziertes und spannendes Daten-Rohmaterial für die eine oder andere weitere Veröffentlichung übrig. Doch haben diese Umsteigerinnen und Umsteiger jetzt noch genug Motivation, damit „posthum“ noch das eine oder andere Paper-Manuskript zu verfassen? Neben dem neuen und womöglich völlig anders gelagerten Job? In ihrer Freizeit? Sicherlich sehr selten!

Oftmals hilft dann auch kein Bitten und kein Flehen – vehementes Fordern oder gar Drohen sowieso nicht. Und auch ein schlechtes Gewissen lassen sich die Abwandernden kaum noch einreden – nach dem Motto: „Sowohl die Forschergemeinde als auch die Öffentlichkeit, die dich finanziert hat, haben ein Recht darauf, deine Erkenntnisse mitgeteilt zu bekommen.“

Also bleibt den Bossen und Chefinnen schließlich nichts, als über ehrlose Ex-Mitarbeiterinnen und -Mitarbeiter zu jammern und deren Daten selbst zu einem Manuskript zusammen zu puzzeln.

Doch wie kommt es überhaupt soweit? Vielleicht, weil erstere das Manuskriptverfassen nie mit in die Vertragslaufzeiten einplanen? Weil sie stattdessen alle und jeden bis zum Vertragsende experimentieren lassen – und darauf bauen, dass man die Paper ja irgendwie auch danach noch schreiben kann? Und dies wiederum, weil sie davon ausgehen, dass ihre Schützlinge selbstverständlich auch danach noch in der Forschung weitermachen – und die Veröffentlichungen daher für die eigenen Karriere brauchen?

So gesehen könnte es also durchaus sein, dass mancher Boss und manche Chefin selber schuld an dem Dilemma sind.

Ralf Neumann

 

Lobet und preiset saubere Retractions!

20. Januar 2021 von Laborjournal

Stellen Sie sich vor: Sie stoßen auf einen Artikel, der laut Titel für Ihr Forschungsprojekt interessant sein könnte – aber sehen sogleich, dass er zurückgezogen wurde. Einen Klick weiter landen Sie bei der Retraction Notice – und lesen lediglich die dünnen Worte: „This article has been withdrawn.“

„Kryptischer geht’s nicht mehr“, denken Sie. Und zurück bleiben Fragen. Wer hat den Artikel zurückgezogen? Waren es die Autoren, der Editor – oder alle zusammen? Und warum wurde das Paper zurückgezogen? Gab es Messfehler? War etwas nicht reproduzierbar – und wenn ja, was genau? Traten Inkonsistenzen in den Daten zutage, sodass die Schlussfolgerungen nicht mehr haltbar waren? Oder schlimmer: Hat da jemand schlampig gearbeitet? Womöglich sogar bewusst Daten gefälscht?

„Wenn die so wenig dazu schreiben, wird es wohl Fälschung sein“, denken Sie. „Die wollen die Autoren halt nicht an den Pranger stellen.“ Und schon haben Sie den Autoren womöglich Unrecht getan.

Wundern muss das bei derart „zurückhaltender“ Informationspolitik allerdings nicht. Zumal das Beispiel keinen Einzelfall darstellt. Kürzlich erst präsentierte etwa ein vietnamesischer Autor eine Analyse von zweitausend Retraction Notices aus den Jahren 1975 bis 2019 (Learn. Publ. 33: 119-130). Eines seiner Ergebnisse: Über die Hälfte spezifizierte nicht, wer die Retraction initiiert hatte, fast jede zehnte war gar ohne jegliche Notice erschienen. Und wenn die Gründe für die Rücknahme erklärt wurden, dann oft nur ansatzweise und kaum nachvollziehbar.

Diese fehlende Transparenz ist sicher ein Hauptgrund dafür, dass Retractions einen derart schlechten Ruf haben. Mit der Folge, dass Journals sie am liebsten vermeiden oder wenigstens ganz weit hinten verstecken möchten.

Schlimmer aber ist, dass die vielen ehrlichen Forscher, die redliche Mängel in ihren eigenen Artikeln aufspüren und sie via Retraction den Kollegen anzeigen wollen, daher Angst vor Stigmatisierung haben müssen. Weil es ihnen vorkommen muss, als schlüge ihnen ein zurückgezogenes Paper eine hässliche Narbe in die Publikationsliste. Und dass sie sich daher womöglich lieber still verhalten.

Dabei würden sie doch im anderen Fall einen der höchsten Werte unserer Wissenschaftskultur hochhalten: die Selbstkorrektur. Wofür sie – ganz im Gegenteil – eigentlich gelobt und gepreist gehörten.

Ralf Neumann

Grenzen erkennen, Grenzen benennen

30. Dezember 2020 von Laborjournal

 

Bescheidenheit ist eine Zier, hieß es früher einmal. In der Forschung jedoch scheint das immer weniger zu gelten. Da hat vielmehr die Unsitte des „Überverkaufens“ von Ergebnissen zuletzt immer stärker zugenommen.

Angesichts des stetig zunehmenden Publikations- und Karrieredrucks ist dies allerdings auch kein Wunder. Vom Ende seines Zeitvertrags oder Ähnlichem bedroht, bläst der eine oder die andere ein Fiat-Uno-Resultat im Paper-Manuskript gern zu einem Porsche auf. So manche Pressestelle verstärkt es umgehend nochmals – und in den sozialen Medien gerät es dann sowieso außer Kontrolle.

Dennoch ist solches „Überverkaufen“ von Forschungsergebnissen kein wirklich neues Phänomen. Wobei es bisher vielleicht noch eindrücklicher beim Beschreiben von Forschungsvorhaben auftrat. Denn zumindest beim Gerangel um Forschungsgelder wimmelt es schon seit Jahrzehnten in den Anträgen sinngemäß von deutlich übertriebenen Versprechungen wie: „Letztendlich könnten die Ergebnisse des Projekts in ein völlig neues Therapiekonzept für Krebs münden.“ Oder den Anbau und Ertrag aller möglichen Nutzpflanzen revolutionieren. Oder das Geheimnis lüften, wie in unseren Gehirnen Bewusstsein entsteht. Oder ähnliches überzogenes Antrags-Geklapper.

In diesem Zusammenhang hatte der Ökotoxikologe John Sumpter von der Londoner Brunel University zuletzt eine interessante Idee geäußert. In einem Essay in Times Higher Education schlägt er vor, in wissenschaftlichen Artikeln den Abschnitt „Conclusions“ durch „Limitations“ zu ersetzen. In den „Conclusions“ würde ohnehin nur wiederholt, was schon weiter vorne steht, so Sumpter. Müssten die Autoren dagegen gezielt formulieren, wo die Grenzen für die Interpretation ihrer Ergebnisse liegen, erhielte man am Ende womöglich deutlich robustere Paper.

Auf jeden Fall hätten auf diese Weise wohl arg überzogene Schlussfolgerungen wie die folgende ein Ende: „Weitere Forschung in dieser Richtung könnte es nun ermöglichen, die Ausprägung des Darm-Mikrobioms durch gezielte Interventionen so zu steuern, dass die kognitive Entwicklung von Kleinkindern unterstützt wird.“ (Biol. Psychiat. 83(2), 148-59) Argh! Nicht zu Unrecht zeichnete der US-Mikrobiologe Jonathan Eisen dieses Paper in seinem Blog Phylogenomics mit dem „Overselling the Microbiome Award“ aus.

Ralf Neumann

(Illustr.: R@TTENcomiCS)

 

Vergessliche Auftraggeber

25. November 2020 von Laborjournal

(In unserem Artikel „Verdient, aber verschwiegen“ vom 30.10.2020 berichteten wir über eine Studie, nach der auf jedem fünften Life-Science-Paper mindestens ein Nachwuchsforscher fehlt, der die Co-Autorschaft eigentlich verdient gehabt hätte. Der folgende Kommentar, den wir auf daraufhin erhielten, legt nahe, dass es im Forschungsgeschäft offenbar noch eine andere Gruppe gibt, die gerne mal bei der Zusammenstellung von Autorenlisten vergessen wird:…)

 

 

Zu Ihrem Artikel „Verdient, aber verschwiegen“ möchte ich folgendes beitragen: Aus eigener Erfahrung als langjähriger Leiter einer Core Facility für Proteinproduktion/Reinigung kann ich etliche Beispiele nennen, in denen Beiträge von Core-Facility-Mitarbeitern bestenfalls in den Acknowledgements auftauchen, obwohl der Beitrag nicht nur „technischer“ Natur war.

Darunter war beispielsweise die Strukturaufklärung eines Proteinkomplexes, an der die Strukturbiologie-Kollegen gescheitert waren – weswegen sie sich letztlich an unsere Core Facility gewandt haben, da sie eines der beiden Proteine nicht exprimiert bekamen. Wir haben diverse Konstrukte und Bedingungen ausgetestet und schließlich eine Ko-Expression vorgeschlagen, diese erfolgreich durchgeführt und gezeigt, dass der Komplex stabil durch die Gelfitration läuft und sich somit reinigen lässt. Nebenbei haben wir die Phosphorylierungs-Aktivität der Kinase in diesem Komplex gezeigt und zusammen mit der von uns beauftragten Massenspektrometrie-Facility die Phosphorylierungs-Sites des Komplex-Partners nach­ge­wie­sen.

Da die Publikation jedoch erst zwei bis drei Jahre später erschien, wurde der Beitrag beider Core Facilities im Nachhinein wohl nicht als substanziell angesehen. Vielleicht wurde er auch vergessen, man sollte nicht immer hinter allem böse Absicht vermuten. Immerhin wurden wir im Acknowledgement erwähnt – allerdings ohne ins Detail zu gehen, was wir genau beigetragen hatten.

Fairerweise muss man dazu sagen, dass nicht alle „Auftraggeber“ so vergesslich waren – aber mit der Zeit kamen doch einige „Einzelfälle“ zusammen.

Das Beispiel oben mag extrem sein. Allerdings gab es doch etliche solcher Fälle, in denen man als Labormitglied mit Sicherheit als Co-Autor auf dem Paper erschienen wäre – aber eben nicht als Core-Facility-Mitarbeiter. Da es indes immer mehr Core Facilities gibt, die den „richtigen“ Forschern ihre Arbeit erleichtern, indem sie ihnen in der Regel mehr als nur bei der Nutzung eines Geräts helfen und wichtige Ideen beitragen, vermute ich, dass ein hoher Anteil der verschwiegenen Co-Autoren in Core Facilities arbeitet.

Mit freundlichen Grüßen,

Ein ehemaliger Leiter einer Core Facility für Proteinexpression und -reinigung [Name ist der Redaktion bekannt]

(Illustr.: AdobeStock /Good Studio)

Auf welche Paper Forscher wirklich stolz sind

19. August 2020 von Laborjournal

Welche Ihrer Paper würden Sie als „groß“ bezeichnen? Oder anders gefragt: Auf welches Paper sind Sie am meisten stolz?

Sind es nur die „offensichtlichen“? Also diejenigen, die Sie in vermeintlich großen Journals mit hohem Impact-Faktor platzieren konnten — Nature, Science, Cell und Konsorten?

Oder wecken nicht vielleicht doch andere „Werke“ besonders tiefe Genugtuung in Ihnen — selbst wenn diese damals nur in Blättern aus der zweiten oder dritten Reihe erschienen?

Etwa dieses eine Paper, weil Sie gerade dafür besonders große Klippen umschiffen mussten — und hierbei eigentlich erst lernten, wie Forschung und Wissenschaft tatsächlich funktionieren?

Oder womöglich auch dieses andere, das zwar zugegebenermaßen ziemlich unausgegoren daherkam, aber nichtsdestotrotz die allerersten Hinweise enthielt, in welche Richtung Sie Ihr Forschertreiben nachfolgend lenken sollten?      Diesen Beitrag weiterlesen »

Gleich und Gleich gesellt sich … nicht immer gern

12. August 2020 von Laborjournal

Eine logische Konsequenz aus der stetigen Zunahme von Interdisziplinarität und Daten­vo­lu­men in wissenschaftlichen Publikatio­nen ist, dass immer öfter zwei oder mehr gleichwertige „Equally Contributing Authors“ die entspre­chen­den Autorenlisten anführen — meist durch Sternchen hinter den jeweiligen Namen gekennzeichnet. Da aber fast nichts in der Forschung eine derart heikle Angelegenheit darstellt wie die richtige Reihenfolge und Gewichtung der Autoren auf einem Paper, lauert durchaus hohes Konfliktpotenzial hinter der Abwägung, ob jemand jetzt etwa gleich viel dazu beigetragen hat — oder eben gerade nicht mehr.

Besonderes Konfliktpotenzial ist jedoch nur das eine, dazu kommt leider noch ein ebenfalls beträchtliches Missbrauchspotenzial. Denn wer weiß etwa schon, wie oft die Chefs ihren Lieblings-Postdoc mit einem „Gleichwertigkeits-Sternchen“ an Position 2 oder 3 einer Veröffent­li­chung hieven, zu der dieser nichts beigetragen hat, außer mal ein paar Röhrchen neben seinen eigenen Proben mitzuzentrifugieren? Nur um dessen Karriere noch ein kleines bisschen stärker anzuschieben…

Dass solch ein Szenario leider nicht nur reine Fantasie ist, bestätigte uns ein „Betroffener“ unlängst mit der folgenden E-Mail:    Diesen Beitrag weiterlesen »

Formatierst du noch oder publizierst du schon?

10. Dezember 2019 von Laborjournal

Kürzlich stolperte ich auf Twitter über folgenden Tweet:

Puh, ganz schön krass. Am Ende haben sie ihm womöglich sein Manuskript nur deswegen als „unsub­mit­ted“ zurückgeschickt, weil er in den Referenzen die Journal-Namen nicht kursiv gesetzt hatte…

Wie auch immer, letztlich deutet das Ganze auf ein großes generelles Ärgernis hin! Schließlich kommt es oft genug vor, dass jemand sein Manuskript erst im x-ten Journal unterbringt. Und für jede Einreichung muss er es nach den jeweils ganz eigenen Vorgaben des angepeilten Journals wieder aufwendig umfor­ma­tieren. Am Ende also x-1 Mal völlig umsonst.

Kein Wunder, fluchen viele über diesen Formatierungs-Wahnsinn, betiteln ihn als extrem nervige Zeitfresserei oder gar schlimmer. Dorothy Bishop, Professorin für Entwicklungsneuro­psy­cho­lo­gie an der Universität Oxford, schrieb beispielsweise vor einigen Jahren in ihrem BishopBlog:

For instance, many journals specify pointless formatting requirements for an initial submission. I really, really resent jumping through arbitrary hoops when the world is full of interesting things I could be doing. And cutting my toenails is considerably more interesting than reformatting references.

Entsprechend viel Zuspruch bekam auch Professor Timming für sein sarkastisches Gezwitscher oben. Doch mitten unter den zahlreichen Antworten dann plötzlich folgende:

Sogleich gruben sich tiefe Furchen in meine Stirn. Hatte ich da in einem Vierteljahrhundert editorialer Arbeit für Laborjournal irgendetwas falsch verstanden? Für mich stand immer fest, dass dies klar zu den Hauptaufgaben eines Editors gehört. Schließlich kommen auch bei uns Text- und Illustrationsmaterial weitgehend unformatiert rein — und es ist dann unsere Aufgabe, all den „Wildwuchs“ in ein einheitliches Seitenlayout einzupassen. Und ganz ehrlich: Soooo schlimm ist das gar nicht! Wir verbrauchen damit jedenfalls nicht den Hauptteil unserer Zeit…

Und siehe da, eine Minute später dann folgende zwei Tweets zum Thema:

Eben! Formatierung ist definitiv Aufgabe des Editorial Staff, und nicht diejenige der Autoren! Doch offenbar will man in den Wissenschaftsverlagen von dem, was im Journalismus selbstverständlich ist, nicht wirklich etwas wissen. Dabei verfügen diese — wie der letzte Twitterer richtig schreibt — meist tatsächlich über mehr Mittel, um solche editorialen Pflichtaufgaben zu erfüllen, als so mancher journalistische Verlag.

Ralf Neumann

 

Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Referenzlisten auf Schmalspur

2. Oktober 2019 von Laborjournal

Es gibt Dinge, die ärgern Forscher ganz besonders. Mit zu den „Highlights“ ge­hört sicherlich, wenn man ein frisches Paper liest, dessen Inhalt klar erfordert, dass es die ein oder andere eigene Ar­beit zitiert — aber nichts, nicht ein einziges Mal wird man in der Referenz­liste erwähnt.

Manchmal ruft man daraufhin den verantwortlichen Autor an. Schließlich arbeitet er im gleichen Feld, und man kennt sich ja. Doch die Antwort, die man dann bisweilen erhält, lässt den For­scherkamm nur noch dicker an­schwel­len:

„Ja, tut mir leid. Das war uns natürlich bewusst. Aber das blöde Journal akzeptiert nur maximal 25 Referenzen — da mussten wir zwangsweise das eine oder andere wichtige Paper weglassen.“

Ganz toll! Und dann fügt er noch hinzu:

„Weißt du, was mir zuletzt mit einem anderen Paper passiert ist? Da hat das Journal die Referenzliste sogar eigenmächtig auf Layout-freundliches Maß zurechtgestutzt.“

Geht‘s eigentlich noch?

Um das jetzt mal ganz klarzumachen: Life-Science-Forschung ist ein derart vielfältiges Gebiet, da können die Verlage unmöglich einfach mal festlegen, dass sich ein jedes Paper auf dieser Erde auf den Ergebnissen von nicht mehr als 25 oder 30 Referenzen aufbauen ließe. Manche brauchen die Vorarbeit von mehr als hundert, wobei jedes einzelne davon zu Recht in der Referenzliste steht!

Und ganz abgesehen davon: Sollte es nicht zu den Hauptaufgaben der Forschungsblätter gehören, dem geneigten Leser die Möglichkeit zu bieten, genauestmöglich nachvollziehen zu können, auf wessen „Schultern“ die präsentierten Ergebnisse tatsächlich stehen?

Klar, eine weitere Schlüsselaufgabe der Gutachter ist natürlich, gleichsam unnötige oder unverdiente Referenzen wieder auszusortieren — gerade um nicht immer ganz lautere „Über­zitie­rung“ zu vermeiden. Aber hier geht es um die vorweg festgelegten Limits für die Referenzlisten — und die sind oftmals viel zu niedrig.

Was daraus resultiert, klingt fast schon wie ein schlechter Witz: Für die Forscher sind Zitierungen heute so wichtig wie noch nie (wenn auch infolge eines zugegebenermaßen fehlgeleiteten Belohnungssystems) — während die Zeitschriften mit solchen schmalspurigen Maßnahmen den tieferen Zweck des wissenschaftlichen Referenzierens mit Füßen treten.

Ralf Neumann

(Eine etwas andere Version dieses Textes erschien bereits in unserer Printausgabe Laborjournal 12/2015.)

x