Auf welche Paper Forscher wirklich stolz sind

19. August 2020 von Laborjournal

Welche Ihrer Paper würden Sie als „groß“ bezeichnen? Oder anders gefragt: Auf welches Paper sind Sie am meisten stolz?

Sind es nur die „offensichtlichen“? Also diejenigen, die Sie in vermeintlich großen Journals mit hohem Impact-Faktor platzieren konnten — Nature, Science, Cell und Konsorten?

Oder wecken nicht vielleicht doch andere „Werke“ besonders tiefe Genugtuung in Ihnen — selbst wenn diese damals nur in Blättern aus der zweiten oder dritten Reihe erschienen?

Etwa dieses eine Paper, weil Sie gerade dafür besonders große Klippen umschiffen mussten — und hierbei eigentlich erst lernten, wie Forschung und Wissenschaft tatsächlich funktionieren?

Oder womöglich auch dieses andere, das zwar zugegebenermaßen ziemlich unausgegoren daherkam, aber nichtsdestotrotz die allerersten Hinweise enthielt, in welche Richtung Sie Ihr Forschertreiben nachfolgend lenken sollten?      Diesen Beitrag weiterlesen »

Gleich und Gleich gesellt sich … nicht immer gern

12. August 2020 von Laborjournal

Eine logische Konsequenz aus der stetigen Zunahme von Interdisziplinarität und Daten­vo­lu­men in wissenschaftlichen Publikatio­nen ist, dass immer öfter zwei oder mehr gleichwertige „Equally Contributing Authors“ die entspre­chen­den Autorenlisten anführen — meist durch Sternchen hinter den jeweiligen Namen gekennzeichnet. Da aber fast nichts in der Forschung eine derart heikle Angelegenheit darstellt wie die richtige Reihenfolge und Gewichtung der Autoren auf einem Paper, lauert durchaus hohes Konfliktpotenzial hinter der Abwägung, ob jemand jetzt etwa gleich viel dazu beigetragen hat — oder eben gerade nicht mehr.

Besonderes Konfliktpotenzial ist jedoch nur das eine, dazu kommt leider noch ein ebenfalls beträchtliches Missbrauchspotenzial. Denn wer weiß etwa schon, wie oft die Chefs ihren Lieblings-Postdoc mit einem „Gleichwertigkeits-Sternchen“ an Position 2 oder 3 einer Veröffent­li­chung hieven, zu der dieser nichts beigetragen hat, außer mal ein paar Röhrchen neben seinen eigenen Proben mitzuzentrifugieren? Nur um dessen Karriere noch ein kleines bisschen stärker anzuschieben…

Dass solch ein Szenario leider nicht nur reine Fantasie ist, bestätigte uns ein „Betroffener“ unlängst mit der folgenden E-Mail:    Diesen Beitrag weiterlesen »

Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:    Diesen Beitrag weiterlesen »

Wirklich nur kleine Lügen?

24. Juni 2020 von Laborjournal

Forschung sei stets auf der Suche nach Wahrheit, heißt es ein wenig pathetisch. Dennoch greifen Forscherinnen und Forscher gerne zu kleinen Lügen — vor allem dann, wenn sie ihre Paper schreiben. Denn wären sie immer und überall grundehrlich, müssten sie die „Storys“ ihrer Erkenntnisse in den allermeisten Fällen nach ähnlichem Muster erzählen wie im Folgenden dieser Pflanzenforscher hier:

„Eigentlich hatten wir den Verdacht, dass Substanz X die Entwicklung von Wurzelhaaren beeinflusst. Doch als wir sie testeten, passierte nix mit den Wurzelhaaren. Zum Glück fiel uns bei älteren Pflanzen jedoch auf, dass mit den Blättern irgendetwas nicht stimmte: Die Leitbündel waren etwas weniger stark verzweigt als normal. Aus der Literatur weiß man nun aus völlig anderen Zusammenhängen, dass Substanz X die Aktivität einiger Kinasen blockiert. Zugegeben, wir hatten X getestet, weil wir ursprünglich vermuteten, dass Kinasen eine Rolle bei der Wurzelhaarbildung spielen. Jetzt scheint dies aber eher bei der Leitbündel-Differenzierung der Fall zu sein. Was ja auch nicht schlecht ist, oder?“

Klar, dieses hypothetische Szenario würde so nie in einem Journal stehen. Dort würde man eher eine „Story“ nach dem folgenden — verkürzten — Schema lesen:    Diesen Beitrag weiterlesen »

„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Formatierst du noch oder publizierst du schon?

10. Dezember 2019 von Laborjournal

Kürzlich stolperte ich auf Twitter über folgenden Tweet:

Puh, ganz schön krass. Am Ende haben sie ihm womöglich sein Manuskript nur deswegen als „unsub­mit­ted“ zurückgeschickt, weil er in den Referenzen die Journal-Namen nicht kursiv gesetzt hatte…

Wie auch immer, letztlich deutet das Ganze auf ein großes generelles Ärgernis hin! Schließlich kommt es oft genug vor, dass jemand sein Manuskript erst im x-ten Journal unterbringt. Und für jede Einreichung muss er es nach den jeweils ganz eigenen Vorgaben des angepeilten Journals wieder aufwendig umfor­ma­tieren. Am Ende also x-1 Mal völlig umsonst.

Kein Wunder, fluchen viele über diesen Formatierungs-Wahnsinn, betiteln ihn als extrem nervige Zeitfresserei oder gar schlimmer. Dorothy Bishop, Professorin für Entwicklungsneuro­psy­cho­lo­gie an der Universität Oxford, schrieb beispielsweise vor einigen Jahren in ihrem BishopBlog:

For instance, many journals specify pointless formatting requirements for an initial submission. I really, really resent jumping through arbitrary hoops when the world is full of interesting things I could be doing. And cutting my toenails is considerably more interesting than reformatting references.

Entsprechend viel Zuspruch bekam auch Professor Timming für sein sarkastisches Gezwitscher oben. Doch mitten unter den zahlreichen Antworten dann plötzlich folgende:

Sogleich gruben sich tiefe Furchen in meine Stirn. Hatte ich da in einem Vierteljahrhundert editorialer Arbeit für Laborjournal irgendetwas falsch verstanden? Für mich stand immer fest, dass dies klar zu den Hauptaufgaben eines Editors gehört. Schließlich kommen auch bei uns Text- und Illustrationsmaterial weitgehend unformatiert rein — und es ist dann unsere Aufgabe, all den „Wildwuchs“ in ein einheitliches Seitenlayout einzupassen. Und ganz ehrlich: Soooo schlimm ist das gar nicht! Wir verbrauchen damit jedenfalls nicht den Hauptteil unserer Zeit…

Und siehe da, eine Minute später dann folgende zwei Tweets zum Thema:

Eben! Formatierung ist definitiv Aufgabe des Editorial Staff, und nicht diejenige der Autoren! Doch offenbar will man in den Wissenschaftsverlagen von dem, was im Journalismus selbstverständlich ist, nicht wirklich etwas wissen. Dabei verfügen diese — wie der letzte Twitterer richtig schreibt — meist tatsächlich über mehr Mittel, um solche editorialen Pflichtaufgaben zu erfüllen, als so mancher journalistische Verlag.

Ralf Neumann

 

Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Die Angst des Forschers vor dem Kommentieren

5. Juni 2019 von Laborjournal

… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informations­wis­sen­­schaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.

Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:

  • Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Pro­zent der Artikel verteilten.
  • Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
  • Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
  • Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irr­tümer oder die Autorenreihenfolge korrigiert sowie auf weiter­füh­ren­de Links oder nachfolgende Medien­bericht­erstattung hingewiesen.
  • Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
  • Von diesen „akademischen“ Kommenta­ren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.

Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.

Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:

Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.

Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:

Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der techni­schen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.

Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.

 

(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog ver­öffent­li­chen wir ihn vorab.)

x

Die netten Gutachter von nebenan

22. Mai 2019 von Laborjournal

Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…

Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.

Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.

Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.)  Diesen Beitrag weiterlesen »

Info
Info
Info

Info

Info

Verbessern Sie die Ergonomie in Ihrem Labor und optimieren Sie Ihre Abläufe: Download Free Guide mehr

Info

Info

Lernen Sie die neue Transferpette® S kennen und sichern Sie sich jetzt Ihr kostenloses Testgerät. mehr

Info

Info

Info

Erfahren Sie mehr über unsere beliebtesten Produkte unter... mehr

Info

Info

INTEGRA Biosciences bietet Ihnen die Chance, ein VACUSAFE-Absaugsystem für Ihr Labor zu gewinnen. mehr

Info

Info

Exakte und reproduzierbare Daten sind Voraussetzung für erfolgreiches Publizieren. Erfahren Sie mehr! mehr