Bremsen Reviews die Zitierraten von Originalartikeln aus?

29. September 2021 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern.

So begannen wir unseren Artikel „Der falsche Review zur falschen Zeit“, in dem wir an einem anekdotischen Einzelfall beschrieben, wie so etwas konkret passieren kann: Dass ein Review einem kurz zuvor erschienen Originalartikel viele wohlverdiente Zitierungen „klauen“ kann.

Aber ist das jenseits einzelner Anekdoten auch generell der Fall? Im Jahr 2014 erschien beispielsweise eine Studie mit dem Titel „The kiss of death? The effect of being cited in a review on subsequent citations“, in der die Autoren biomedizinische Originalartikel, die in Review-Artikeln zitiert wurden, mit solchen verglichen, die in keinem Review zitiert wurden (J. Assoc. Inf. Sci. Technol. 65(7): 1501-5). Damals fanden sie keinen Unterschied in der Lebensdauer der Zitate zwischen beiden Gruppen.

Eine deutlich umfangreichere Studie aus diesem Jahr bestätigt dagegen zunächst den obigen Verdacht (Am. Sociol. Rev. 86(2): 341-76). Die Autoren von der Stanford University in Kalifornien werteten dazu die Zitationsdaten von knapp sechs Millionen Originalartikeln aus, die zwischen 1990 und 2016 in 1.155 Forschungs-Zeitschriften erschienen und hinterher in einem Übersichtsartikel der Annual-Reviews-Serie zitiert wurden. Ergebnis: Die meisten dieser Originalarbeiten erlitten nach Referenzierung in den Annual Reviews einen Verlust von durchschnittlich vierzig Prozent an zukünftigen Zitierungen.

Allerdings nur „die meisten“! Einige wenige Originalartikel erhielten nach Erwähnung und Referenzierung in einem Übersichtsartikel der Annual Reviews hingegen einen deutlichen Zitationsschub. Als die Autoren sich diese Artikel gesondert anschauten, stellten sie fest, dass es sich bei der Mehrheit um eine ganz bestimmte Gattung handelte, die sie daraufhin als Bridging Papers bezeichneten. Diese „Brücken-Artikel“ zeichnen sich dadurch aus, dass sie Verbindungen zwischen Forschungsgebieten schaffen, die bis dahin kaum Austausch miteinander hatten – mit der Konsequenz, dass viele erst durch den entsprechenden Review auf das jeweilige Paper aufmerksam wurden und dessen Ergebnisse nachfolgend in die eigenen Forschungsprojekte integrierten.

Entsprechend zeigte die weitere Analyse nachfolgender Ko-Zitationsnetzwerke, dass solche durch einen Review hervorgehobenen Brücken-Artikel oftmals zu zentralen Brennpunkten künftiger Themen und Forschung wurden – und dass die Reviews selbst auf diese Weise ganze Forschungsfelder neu strukturierten. Womit in diesen Fällen wohl das Beste passiert ist, was ein Review leisten kann.

Hauptautor Peter McMahan, Soziologe an der McGill University in Montreal, war zum Schluss allerdings noch wichtig, die Ergebnisse seiner Studie auf Nature Index folgendermaßen zu relativieren: „Zitate sind eine wirklich starke Währung für Akademiker. Aber der Einfluss der Forschung oder eines bestimmten Projekts, das ein Team, ein Labor oder eine Einzelperson durchführt – dieser Einfluss ist eigentlich eine viel reichhaltigere, größere und komplexere Angelegenheit, als dass er alleine durch Zitate gemessen werden kann.“

Ralf Neumann

(Illustr.: GoGraph /OstapenkoOlena)

Werden Corona-Artikel schlampiger begutachtet?

8. September 2021 von Laborjournal

 

Vor einem Jahr schrieben wir in unserem Heft 10/2020 auf Seite 10:

Die Qualität wissenschaftlicher Veröffentlichungen sinkt zu Zeiten der SARS-CoV­2-Pandemie. Das legt eine Metastudie aller COVID19-Publikationen des ersten Halbjahres 2020 nahe (Scientometrics 126831-42). Von 23.594 in Web of Science oder Scopus gelisteten Publikationen mussten 1,3 Prozent korrigiert oder binnen kurzer Zeit zurückgezogen werden, trotz vorherigem Peer Review. Vor 2020 traf dieses Schicksal im Durchschnitt nur vier von zehntausend Publikationen, also 0,04 Prozent. Infiziert SARS-CoV-2 zu allem Überfluss auch noch unsere wissenschaftliche Integrität?

In Heft 6/2021 legten wir dann auf Seite 8 unter „Inkubiert“ folgendermaßen nach:

Leider steht es mit [der Qualität] der Corona-Forschung bekanntlich nicht zum Allerbesten – auch wegen der enormen Dringlichkeit, Ergebnisse zu liefern. So sagen Experten, dass von der enormen Flut an Corona-Preprints rund siebzig Prozent deutliche Mängel aufweisen. Folgerichtig hielt schon vor einiger Zeit eine Metastudie fest, dass von tausend weltweit duchgeführten Studien zur Infection Fatality Rate von COVID-19 nur eine „sehr geringe Zahl“ den normalen methodischen Standards entsprach. Und selbst nach Peer Review und „ordentlicher“ Publikation in einem „richtigen“ Journal bleibt es oft zumindest schwammig. Nicht umsonst wurden innerhalb des letzten Jahres bereits über hundert Originalartikel rund um Corona wieder zurückgezogen.

Der Peer Review war also unter Verdacht. Diesen Beitrag weiterlesen »

„Mein“ Paper musst du selber schreiben!

14. Juli 2021 von Laborjournal

Zählen wir mal alle diejenigen zusammen, die die akademische Welt sofort nach der Doktorarbeit oder dem ersten Postdoc ein für allemal verlassen. Oder gar mittendrin die Segel streichen. Damit wäre sicherlich bereits die klare Mehrheit all derer beisammen, die jemals eine Doktorarbeit oder einen Postdoc begonnen haben.

Und jetzt überlegen wir mal weiter, wie viele potenzielle Paper deswegen niemals geschrieben worden sind. Es dürften ziemlich viele sein!

Bei den Abbrechern ist es klar: Sie haben eine Weile Daten produziert, bis sie aus verschiedenen Gründen der Forschung plötzlich Knall auf Fall „Adieu“ sagen. Nur die allerwenigsten dürften danach noch erhebliche Zeit des neu begonnenen Lebensabschnitt dafür opfern, um dem Ex-Chef die „alten“ Daten für ein Manuskript aufzubereiten. Mit welcher Motivation auch?

Dummerweise haben aber ebenso oft diejenigen, die gleich nach abgeschlossenem „Doktor“ oder abgelaufenem „Postdoc“ umschwenken, noch genug selbstproduziertes und spannendes Daten-Rohmaterial für die eine oder andere weitere Veröffentlichung übrig. Doch haben diese Umsteigerinnen und Umsteiger jetzt noch genug Motivation, damit „posthum“ noch das eine oder andere Paper-Manuskript zu verfassen? Neben dem neuen und womöglich völlig anders gelagerten Job? In ihrer Freizeit? Sicherlich sehr selten!

Oftmals hilft dann auch kein Bitten und kein Flehen – vehementes Fordern oder gar Drohen sowieso nicht. Und auch ein schlechtes Gewissen lassen sich die Abwandernden kaum noch einreden – nach dem Motto: „Sowohl die Forschergemeinde als auch die Öffentlichkeit, die dich finanziert hat, haben ein Recht darauf, deine Erkenntnisse mitgeteilt zu bekommen.“

Also bleibt den Bossen und Chefinnen schließlich nichts, als über ehrlose Ex-Mitarbeiterinnen und -Mitarbeiter zu jammern und deren Daten selbst zu einem Manuskript zusammen zu puzzeln.

Doch wie kommt es überhaupt soweit? Vielleicht, weil erstere das Manuskriptverfassen nie mit in die Vertragslaufzeiten einplanen? Weil sie stattdessen alle und jeden bis zum Vertragsende experimentieren lassen – und darauf bauen, dass man die Paper ja irgendwie auch danach noch schreiben kann? Und dies wiederum, weil sie davon ausgehen, dass ihre Schützlinge selbstverständlich auch danach noch in der Forschung weitermachen – und die Veröffentlichungen daher für die eigenen Karriere brauchen?

So gesehen könnte es also durchaus sein, dass mancher Boss und manche Chefin selber schuld an dem Dilemma sind.

Ralf Neumann

 

Gezwitscherte Paper-Probleme

28. April 2021 von Laborjournal

Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers – so lautet der Titel eines frischen Scientometrics-Papers von Robin Haunschild und Lutz Bornmann, beide Forschungsevaluations- und Bibliometrie-Spezialisten bei der Max-Planck-Gesellschaft. Ob man methodische Fehler, Daten-Irrtümer, falsche Interpretationen oder gar gezielte Manipulationen in Forschungsartikeln aufgrund entsprechender Hinweise auf Twitter womöglich frühzeitig erkennen könne, wollten sie also wissen.

Übersetzt fassen sie im Abstract als Ergebnis zusammen:

[…] In dieser Fallstudie analysierten wir Tweet-Texte von drei zurückgezogenen Publikationen über COVID-19 […] und deren Retraction Notices. Hinsichtlich einer dieser Publikationen fanden wir keine Frühwarnzeichen in Tweet-Texten, dagegen fanden wir aber Tweets, die bereits kurz nach dem jeweiligen Veröffentlichungsdatum Zweifel an der Gültigkeit der beiden anderen Publikationen aufkommen ließen.

Und sie schlagen daher vor:

Eine Erweiterung unserer aktuellen Arbeit könnte zu einem Frühwarnsystem führen, das die wissenschaftliche Gemeinschaft auf Probleme mit bestimmten Publikationen aufmerksam macht. Andere Quellen, wie beispielsweise Blogs oder Post-Publication-Peer-Review-Seiten könnten in ein solches Frühwarnsystem einbezogen werden. Die in dieser Fallstudie vorgeschlagene Methodik sollte daher anhand größerer Publikationsmengen validiert werden – und zudem Publikationen als Kontrollgruppe enthalten, die nicht zurückgezogen wurden.

Damit unterfüttern die beiden Autoren das, was unser „Wissenschaftsnarr“ in seiner Laborjournal-Kolumne vor einem halben Jahr folgendermaßen als Beobachtung preisgab:

[…] Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt.

Gerade in der Forschung finden ja nicht wenige Twitter und Co. „eher nervig“. Von solcher Art „Gezwitscher“ könnten wir uns aber dennoch alle sicherlich mehr wünschen.

Weitere Beobachtungen oder Meinungen dazu?

Ralf Neumann

 

Lobet und preiset saubere Retractions!

20. Januar 2021 von Laborjournal

Stellen Sie sich vor: Sie stoßen auf einen Artikel, der laut Titel für Ihr Forschungsprojekt interessant sein könnte – aber sehen sogleich, dass er zurückgezogen wurde. Einen Klick weiter landen Sie bei der Retraction Notice – und lesen lediglich die dünnen Worte: „This article has been withdrawn.“

„Kryptischer geht’s nicht mehr“, denken Sie. Und zurück bleiben Fragen. Wer hat den Artikel zurückgezogen? Waren es die Autoren, der Editor – oder alle zusammen? Und warum wurde das Paper zurückgezogen? Gab es Messfehler? War etwas nicht reproduzierbar – und wenn ja, was genau? Traten Inkonsistenzen in den Daten zutage, sodass die Schlussfolgerungen nicht mehr haltbar waren? Oder schlimmer: Hat da jemand schlampig gearbeitet? Womöglich sogar bewusst Daten gefälscht?

„Wenn die so wenig dazu schreiben, wird es wohl Fälschung sein“, denken Sie. „Die wollen die Autoren halt nicht an den Pranger stellen.“ Und schon haben Sie den Autoren womöglich Unrecht getan.

Wundern muss das bei derart „zurückhaltender“ Informationspolitik allerdings nicht. Zumal das Beispiel keinen Einzelfall darstellt. Kürzlich erst präsentierte etwa ein vietnamesischer Autor eine Analyse von zweitausend Retraction Notices aus den Jahren 1975 bis 2019 (Learn. Publ. 33: 119-130). Eines seiner Ergebnisse: Über die Hälfte spezifizierte nicht, wer die Retraction initiiert hatte, fast jede zehnte war gar ohne jegliche Notice erschienen. Und wenn die Gründe für die Rücknahme erklärt wurden, dann oft nur ansatzweise und kaum nachvollziehbar.

Diese fehlende Transparenz ist sicher ein Hauptgrund dafür, dass Retractions einen derart schlechten Ruf haben. Mit der Folge, dass Journals sie am liebsten vermeiden oder wenigstens ganz weit hinten verstecken möchten.

Schlimmer aber ist, dass die vielen ehrlichen Forscher, die redliche Mängel in ihren eigenen Artikeln aufspüren und sie via Retraction den Kollegen anzeigen wollen, daher Angst vor Stigmatisierung haben müssen. Weil es ihnen vorkommen muss, als schlüge ihnen ein zurückgezogenes Paper eine hässliche Narbe in die Publikationsliste. Und dass sie sich daher womöglich lieber still verhalten.

Dabei würden sie doch im anderen Fall einen der höchsten Werte unserer Wissenschaftskultur hochhalten: die Selbstkorrektur. Wofür sie – ganz im Gegenteil – eigentlich gelobt und gepreist gehörten.

Ralf Neumann

Vergessliche Auftraggeber

25. November 2020 von Laborjournal

(In unserem Artikel „Verdient, aber verschwiegen“ vom 30.10.2020 berichteten wir über eine Studie, nach der auf jedem fünften Life-Science-Paper mindestens ein Nachwuchsforscher fehlt, der die Co-Autorschaft eigentlich verdient gehabt hätte. Der folgende Kommentar, den wir auf daraufhin erhielten, legt nahe, dass es im Forschungsgeschäft offenbar noch eine andere Gruppe gibt, die gerne mal bei der Zusammenstellung von Autorenlisten vergessen wird:…)

 

 

Zu Ihrem Artikel „Verdient, aber verschwiegen“ möchte ich folgendes beitragen: Aus eigener Erfahrung als langjähriger Leiter einer Core Facility für Proteinproduktion/Reinigung kann ich etliche Beispiele nennen, in denen Beiträge von Core-Facility-Mitarbeitern bestenfalls in den Acknowledgements auftauchen, obwohl der Beitrag nicht nur „technischer“ Natur war.

Darunter war beispielsweise die Strukturaufklärung eines Proteinkomplexes, an der die Strukturbiologie-Kollegen gescheitert waren – weswegen sie sich letztlich an unsere Core Facility gewandt haben, da sie eines der beiden Proteine nicht exprimiert bekamen. Wir haben diverse Konstrukte und Bedingungen ausgetestet und schließlich eine Ko-Expression vorgeschlagen, diese erfolgreich durchgeführt und gezeigt, dass der Komplex stabil durch die Gelfitration läuft und sich somit reinigen lässt. Nebenbei haben wir die Phosphorylierungs-Aktivität der Kinase in diesem Komplex gezeigt und zusammen mit der von uns beauftragten Massenspektrometrie-Facility die Phosphorylierungs-Sites des Komplex-Partners nach­ge­wie­sen.

Da die Publikation jedoch erst zwei bis drei Jahre später erschien, wurde der Beitrag beider Core Facilities im Nachhinein wohl nicht als substanziell angesehen. Vielleicht wurde er auch vergessen, man sollte nicht immer hinter allem böse Absicht vermuten. Immerhin wurden wir im Acknowledgement erwähnt – allerdings ohne ins Detail zu gehen, was wir genau beigetragen hatten.

Fairerweise muss man dazu sagen, dass nicht alle „Auftraggeber“ so vergesslich waren – aber mit der Zeit kamen doch einige „Einzelfälle“ zusammen.

Das Beispiel oben mag extrem sein. Allerdings gab es doch etliche solcher Fälle, in denen man als Labormitglied mit Sicherheit als Co-Autor auf dem Paper erschienen wäre – aber eben nicht als Core-Facility-Mitarbeiter. Da es indes immer mehr Core Facilities gibt, die den „richtigen“ Forschern ihre Arbeit erleichtern, indem sie ihnen in der Regel mehr als nur bei der Nutzung eines Geräts helfen und wichtige Ideen beitragen, vermute ich, dass ein hoher Anteil der verschwiegenen Co-Autoren in Core Facilities arbeitet.

Mit freundlichen Grüßen,

Ein ehemaliger Leiter einer Core Facility für Proteinexpression und -reinigung [Name ist der Redaktion bekannt]

(Illustr.: AdobeStock /Good Studio)

Auf welche Paper Forscher wirklich stolz sind

19. August 2020 von Laborjournal

Welche Ihrer Paper würden Sie als „groß“ bezeichnen? Oder anders gefragt: Auf welches Paper sind Sie am meisten stolz?

Sind es nur die „offensichtlichen“? Also diejenigen, die Sie in vermeintlich großen Journals mit hohem Impact-Faktor platzieren konnten — Nature, Science, Cell und Konsorten?

Oder wecken nicht vielleicht doch andere „Werke“ besonders tiefe Genugtuung in Ihnen — selbst wenn diese damals nur in Blättern aus der zweiten oder dritten Reihe erschienen?

Etwa dieses eine Paper, weil Sie gerade dafür besonders große Klippen umschiffen mussten — und hierbei eigentlich erst lernten, wie Forschung und Wissenschaft tatsächlich funktionieren?

Oder womöglich auch dieses andere, das zwar zugegebenermaßen ziemlich unausgegoren daherkam, aber nichtsdestotrotz die allerersten Hinweise enthielt, in welche Richtung Sie Ihr Forschertreiben nachfolgend lenken sollten?      Diesen Beitrag weiterlesen »

Gleich und Gleich gesellt sich … nicht immer gern

12. August 2020 von Laborjournal

Eine logische Konsequenz aus der stetigen Zunahme von Interdisziplinarität und Daten­vo­lu­men in wissenschaftlichen Publikatio­nen ist, dass immer öfter zwei oder mehr gleichwertige „Equally Contributing Authors“ die entspre­chen­den Autorenlisten anführen — meist durch Sternchen hinter den jeweiligen Namen gekennzeichnet. Da aber fast nichts in der Forschung eine derart heikle Angelegenheit darstellt wie die richtige Reihenfolge und Gewichtung der Autoren auf einem Paper, lauert durchaus hohes Konfliktpotenzial hinter der Abwägung, ob jemand jetzt etwa gleich viel dazu beigetragen hat — oder eben gerade nicht mehr.

Besonderes Konfliktpotenzial ist jedoch nur das eine, dazu kommt leider noch ein ebenfalls beträchtliches Missbrauchspotenzial. Denn wer weiß etwa schon, wie oft die Chefs ihren Lieblings-Postdoc mit einem „Gleichwertigkeits-Sternchen“ an Position 2 oder 3 einer Veröffent­li­chung hieven, zu der dieser nichts beigetragen hat, außer mal ein paar Röhrchen neben seinen eigenen Proben mitzuzentrifugieren? Nur um dessen Karriere noch ein kleines bisschen stärker anzuschieben…

Dass solch ein Szenario leider nicht nur reine Fantasie ist, bestätigte uns ein „Betroffener“ unlängst mit der folgenden E-Mail:    Diesen Beitrag weiterlesen »

Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:    Diesen Beitrag weiterlesen »

Wirklich nur kleine Lügen?

24. Juni 2020 von Laborjournal

Forschung sei stets auf der Suche nach Wahrheit, heißt es ein wenig pathetisch. Dennoch greifen Forscherinnen und Forscher gerne zu kleinen Lügen — vor allem dann, wenn sie ihre Paper schreiben. Denn wären sie immer und überall grundehrlich, müssten sie die „Storys“ ihrer Erkenntnisse in den allermeisten Fällen nach ähnlichem Muster erzählen wie im Folgenden dieser Pflanzenforscher hier:

„Eigentlich hatten wir den Verdacht, dass Substanz X die Entwicklung von Wurzelhaaren beeinflusst. Doch als wir sie testeten, passierte nix mit den Wurzelhaaren. Zum Glück fiel uns bei älteren Pflanzen jedoch auf, dass mit den Blättern irgendetwas nicht stimmte: Die Leitbündel waren etwas weniger stark verzweigt als normal. Aus der Literatur weiß man nun aus völlig anderen Zusammenhängen, dass Substanz X die Aktivität einiger Kinasen blockiert. Zugegeben, wir hatten X getestet, weil wir ursprünglich vermuteten, dass Kinasen eine Rolle bei der Wurzelhaarbildung spielen. Jetzt scheint dies aber eher bei der Leitbündel-Differenzierung der Fall zu sein. Was ja auch nicht schlecht ist, oder?“

Klar, dieses hypothetische Szenario würde so nie in einem Journal stehen. Dort würde man eher eine „Story“ nach dem folgenden — verkürzten — Schema lesen:    Diesen Beitrag weiterlesen »

Info
Info
Info

Info

Info

Der neue Pipettierhelfer accu-jet® S von BRAND macht die Arbeit einfach, unkompliziert und effizient. mehr

Info

Info

Produktives Pipettieren von 1 bis 384 Kanälen mehr

Info

Info

Info

Optimiert in Form & Funktion. epT.I.P.S. ® Box 2.0! mehr

Info

Info

Info

Wagen Sie einen Blick über die Schulter von Experten und registrieren Sie sich jetzt kostenlos! mehr