„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Formatierst du noch oder publizierst du schon?

10. Dezember 2019 von Laborjournal

Kürzlich stolperte ich auf Twitter über folgenden Tweet:

Puh, ganz schön krass. Am Ende haben sie ihm womöglich sein Manuskript nur deswegen als „unsub­mit­ted“ zurückgeschickt, weil er in den Referenzen die Journal-Namen nicht kursiv gesetzt hatte…

Wie auch immer, letztlich deutet das Ganze auf ein großes generelles Ärgernis hin! Schließlich kommt es oft genug vor, dass jemand sein Manuskript erst im x-ten Journal unterbringt. Und für jede Einreichung muss er es nach den jeweils ganz eigenen Vorgaben des angepeilten Journals wieder aufwendig umfor­ma­tieren. Am Ende also x-1 Mal völlig umsonst.

Kein Wunder, fluchen viele über diesen Formatierungs-Wahnsinn, betiteln ihn als extrem nervige Zeitfresserei oder gar schlimmer. Dorothy Bishop, Professorin für Entwicklungsneuro­psy­cho­lo­gie an der Universität Oxford, schrieb beispielsweise vor einigen Jahren in ihrem BishopBlog:

For instance, many journals specify pointless formatting requirements for an initial submission. I really, really resent jumping through arbitrary hoops when the world is full of interesting things I could be doing. And cutting my toenails is considerably more interesting than reformatting references.

Entsprechend viel Zuspruch bekam auch Professor Timming für sein sarkastisches Gezwitscher oben. Doch mitten unter den zahlreichen Antworten dann plötzlich folgende:

Sogleich gruben sich tiefe Furchen in meine Stirn. Hatte ich da in einem Vierteljahrhundert editorialer Arbeit für Laborjournal irgendetwas falsch verstanden? Für mich stand immer fest, dass dies klar zu den Hauptaufgaben eines Editors gehört. Schließlich kommen auch bei uns Text- und Illustrationsmaterial weitgehend unformatiert rein — und es ist dann unsere Aufgabe, all den „Wildwuchs“ in ein einheitliches Seitenlayout einzupassen. Und ganz ehrlich: Soooo schlimm ist das gar nicht! Wir verbrauchen damit jedenfalls nicht den Hauptteil unserer Zeit…

Und siehe da, eine Minute später dann folgende zwei Tweets zum Thema:

Eben! Formatierung ist definitiv Aufgabe des Editorial Staff, und nicht diejenige der Autoren! Doch offenbar will man in den Wissenschaftsverlagen von dem, was im Journalismus selbstverständlich ist, nicht wirklich etwas wissen. Dabei verfügen diese — wie der letzte Twitterer richtig schreibt — meist tatsächlich über mehr Mittel, um solche editorialen Pflichtaufgaben zu erfüllen, als so mancher journalistische Verlag.

Ralf Neumann

 

Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Die Angst des Forschers vor dem Kommentieren

5. Juni 2019 von Laborjournal

… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informations­wis­sen­­schaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.

Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:

  • Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Pro­zent der Artikel verteilten.
  • Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
  • Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
  • Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irr­tümer oder die Autorenreihenfolge korrigiert sowie auf weiter­füh­ren­de Links oder nachfolgende Medien­bericht­erstattung hingewiesen.
  • Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
  • Von diesen „akademischen“ Kommenta­ren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.

Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.

Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:

Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.

Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:

Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der techni­schen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.

Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.

 

(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog ver­öffent­li­chen wir ihn vorab.)

x

Die netten Gutachter von nebenan

22. Mai 2019 von Laborjournal

Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…

Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.

Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.

Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.)  Diesen Beitrag weiterlesen »

Die Geister des Peer Review

8. Mai 2019 von Laborjournal

Hand auf’s Herz, liebe Profs und Gruppenleiter: Wer von euch hat schon mal einen Postdoc oder anderen Mitarbeiter der eigenen AG ein Manuskript begutachten lassen, das ihm zum Peer Review geschickt wurde — und das Gutachten am Ende gänzlich unter eigenem Namen an den Journal-Editor zurückgeschickt? Rein statistisch müsste sich jetzt eigentlich jeder Zweite ertappt fühlen — jedenfalls, wenn man das Ergebnis einer aktuellen Befragung von Nachwuchsforschern durch US-Forscher mal herumdreht: Knapp die Hälfte von fünfhundert befragten Early Career Researchers gab darin an, bereits als Ghostwriter im Namen des Chefs einen Peer Review verfasst zu haben — ohne dass den Journal-Editoren deren Autorenschaft offenbart wurde (. Die große Mehrheit von ihnen kam aus den Life Sciences.

In der gleichen Umfrage verurteilten achtzig Prozent der Befragten diese Praxis der verschwie­genen Review-(Ko)-Autoren. Warum aber kommt es trotzdem zu derart vielen GhostwriterReviews?

Die Zielrichtung dieser Frage muss man vorab genauer erklären. Diesen Beitrag weiterlesen »

Für ein paar Referenzen mehr…

25. April 2019 von Laborjournal

Es war einmal ein Editor. Dies war er noch nicht lange, denn er war noch ein sehr junger Forscher. Umso stolzer machte ihn seine erste Berufung in ein Editorial Board. Schließlich durfte er das durchaus als unmittelbare Wertschätzung seiner Forschungsarbeiten deuten. Und als Aufnahme in einen gewissen, wie auch immer gearteten „Club“.

Jetzt stand sein erstes Treffen mit dem gesamten Board an, bei dem wie in jedem Jahr die Editorial Policy kritisch geprüft sowie die Schwerpunkte neu fokussiert wurden. Unser junger Mann war beeindruckt von der Routine, mit der die erfahrenen Forscher und langjährigen Editoren die Dinge auf den Punkt brachten. Alles war so, wie er es sich vorgestellt hatte.

Vor allem publikationsethisch schien unserem jungen Editor alles einwandfrei. Das war ihm besonders wichtig in diesen Tagen des „Publish or perish“ und der immer aggressiveren Konkurrenz zwischen den Journalen. „Nein, alles auf einem guten Weg hier“, dachte er. „Und ich bin dabei.“

Blieb nur noch das Abschluss-Bankett. Bei diesem nahm ihn plötzlich der Chief Editor persönlich beiseite. Diesen Beitrag weiterlesen »

Journal-Tuning

3. April 2019 von Laborjournal

Wir recherchieren gerade einen Fall, in dem ein Journal seinen Impact-Faktor offenbar auf unlautere Weise aufgeblasen hat — konkret durch übermäßiges Selbstzitieren. Dabei fiel uns ein, dass wir mal vor Jahren in einem fiktiven Stück beschrieben hatten, wie ein Chief Editor den Impact-Faktor „seines“ Journals auch ohne unlautere Mittel deutlich nach oben treiben könnte. Wir stellen es daher hier nochmals zur Diskussion:

——-

Zwanzig Jahre waren es bald, die Badguy nun Herausgeber von Molecular Blabology war. Eine Zeit, in der er viele Veränderungen erlebte. Vor allem in den letzten Jahren.

Lange war der „Chief Editor“ ein ungeheuer befriedigender Job gewesen. Immerhin war Molecular Blabology die offizielle Zeitschrift der größten blabologischen Fachgesellschaft der Welt — und vielen galt sie auch als die beste. Klar dass auch Badguy selbst im Licht der Zeitschrift erstrahlte, war er damit doch unzweifelhaft ein wichtiger und mächtiger Mann in der Szene.

Lange konnte er dieses Gefühl genießen — bis die Journal-Impact-Faktoren aufkamen. Und die bereiteten ihm eine herbe Überraschung: Molecular Blabology war in der Kategorie „Blabology and Gabblistics“ völlig unerwartet nur auf Platz sechs. Fünf Journals hatten bessere Impact-Faktoren. Und was das Schlimmste war: Auf Platz eins rangierte mit dem European Journal of Molecular Blabology ausgerechnet das Organ der konkurrierenden europäischen Fachgesellschaft.

Doch Badguy konnte nicht nur genießen, er konnte auch anpacken. Schnell wusste er bescheid, wie die Impact-Faktoren berechnet wurden — und bald hatte er auch einige Schwachstellen ausgekundschaftet, die er auf dem Weg zu einem besseren Faktor gnadenlos auszuschlachten gedachte.

Fallstudien und Essays bringen im Schnitt bei weitem nicht so viele Zitierungen wie Originalarbeiten und Technical Reports, hatte Badguy schnell herausgefunden. Zwar brachte Molecular Blabology keine Fallstudien, dafür aber vier Essays pro Heft. So schön diese in der Regel waren, Badguy würde sie streichen und statt dessen mehr Technical Reports aufnehmen. Oder besser noch: Die Zahl der Reviews pro Heft von bisher 2 auf 6 anheben, denn die bringen noch mehr Zitierungen.

Ebenso hatte Badguy spitz bekommen, dass die Zahl der Zitierungen in etwa proportional zu der Länge der einzelnen Artikel ist. Er würde also die Short Communications rausschmeißen und für die Artikel mehr Text — und damit zitierbaren „Content“ — verlangen. Seine einfache Rechnung: Weniger, aber längere Artikel, die zugleich jeder für sich häufiger zitiert werden — damit müsste der Impact-Faktor sofort einen Sprung machen. 

Badguy blieb auch nicht verborgen, dass die „Herren der Impact-Faktoren“ nur Artikel, Reviews und Notes für die Gesamtzahl der Artikel eines Journals berücksichtigten — „Citable Items“ nannten sie diese. Meeting Reports, Editorials und Correspondence-Briefe dagegen zählten sie nicht, obwohl deren Zitierungen wiederum in den Impact-Faktor eingingen. Eigentlich nicht zu verstehen, für Badguy war aber klar: Möglichst viele Meeting Reports, eine große Correspondence-Rubrik und knackige Editorials — das bringt noch mal zusätzlichen Schub.

Und dann hatte Badguy noch eine besondere Idee: Zweimal im Jahr wollte er eine Nomenklatur-Konferenz einberufen, deren Ergebnisse natürlich umgehend in Molecular Blabology erscheinen würden. Die bringen — das ist bekannt — wahnsinnig viele Zitierungen, da sämtliche nachfolgenden Originalarbeiten im betreffenden Feld diese zitieren müssen. 

Schnell hatte Badguy also ein feines „Maßnahmenbündel“ geschnürt. Der „Umbau“ würde zwar noch ein kleine Weile dauern. Aber dann wollte Badguy doch mal sehen, ob er dieses European Journal of Molecular Blabology nicht doch bald… 

——-

Tatsächlich nur Fiktion? Weit weg von der Realität?

Grafik: iStock / Jossdim

Zeigt her eure Ideen!

28. März 2019 von Laborjournal

Was macht einen guten Forscher generell aus? Mal ganz plakativ: Er sollte offene Probleme erkennen, die richtigen Fragen sowie plausible Hypothesen dazu formulieren — und insbesondere Ideen generieren, wie man dieHypothesen und Fragen auf elegante Weise testen und beantworten könnte.

Das Dumme dabei ist: Jemand, der wirklich gut in alledem ist, wird viel mehr Ideen produzieren, als er tatsächlich in konkreten Projekten verfolgen — geschweige denn zur „Erkenntnisreife“ bringen kann. Das ist die Kehrseite der immer engeren, zugleich aber immer aufwendigeren Spezialisierung der letzten Jahrzehnte. (Nicht umsonst kursiert zu diesem Dilemma schon lange der Spruch: „Wir erfahren immer mehr über immer weniger — und das wiederum mit immer höherem Aufwand.“)

Nehmen wir etwa Max Perutz, der bekanntlich die allermeiste Zeit seines Forscherlebens ausschließlich — und sehr erfolgreich — an Hämoglobin arbeitete. Glaubt jemand tatsächlich, dieser brillante Forscher hätte nur gute „Hämoglobin-Ideen“ gehabt? Sicher nicht. Die meisten davon hat er jedoch nicht weiter verfolgen können, weil sein Hämoglobin-Projekt schon sämtliche finanziellen, technischen und personellen Ressourcen komplett beanspruchte. Also wird Perutz die große Mehrheit seiner guten Ideen wie Sand zwischen den Fingern zerronnen sein — sofern er nicht mit der einen oder anderen davon jemand anderen anstecken konnte.

Und so wird es womöglich auch heute vielen gehen. Sie werden selbst erfahren haben, dass nur wenige ihrer initialen Ideen am Ende tatsächlich in ein Projektmünden — weil es unter den Zwängen des aktuellen Systems „gerade einfach nicht realisierbar ist“. Schade eigentlich! Und nicht auszudenken, wie viele überaus fruchtbare Körner da heranwachsen, die dann doch unbemerkt vertrocknen.

Der US-Physiker David Harris sah es vor vier Jahren offenbar genauso, als er sagte: „Gute Wissenschaftler haben in der Regel viel mehr Ideen, als sie verwerten können. Es wäre besser, wenn sie diese mit anderen teilen könnten.“ Zu eben diesem Zweck gründete er 2015 das Journal of Brief Ideas. „Citable ideas in fewer than 200 words“ sollte man dort wenigstens zur Diskussion stellen können.

Sicher keine schlechte Idee. Leider scheint es, als hätte sie bis heute nicht wirklich gezündet. Oder vielleicht doch? Woanders und auf andere Weise?

Ralf Neumann

Grafik: iStock / kutubQ
Information 1


Information 2


Info

Info

Info

Wie können Sie die Temperatur in Ihrer Probe überwachen und gleichzeitig eine Kontamination vermeiden? mehr