Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:

» Nehmen sie die Arbeiten in ihre Referenzlisten auf, die sie tatsächlich am meisten beeinflusst haben? Das wäre der „normative“ Ansatz.

» Oder zitieren sie vielmehr diejenigen Arbeiten, von denen sie meinen, dass ihre potenziellen Leser sie am meisten schätzen. Das wäre der „sozialkonstruktivistische“ Ansatz.

Aus den Antworten von insgesamt mehreren tausend Autoren schlossen die vier US-Innovationsforscher zunächst einmal, dass die Autoren die Inhalte der zitierten Paper umso weniger gut kannten, je „berühmter“ der Artikel in der jeweiligen Szene war.

Auch andere auffällige Muster gingen in eine ähnliche, wenig normative Richtung. Dennoch fassten die Studienleiter am Ende zusammen, dass die Autoren beim Zitieren normative und sozialkonstruktivistische Elemente kombinieren.

Dies allerdings nicht ohne großes „Aber“. Denn die normative Komponente spiele lediglich dadurch mit, dass die Autoren keine Werke zitieren, die nach ihrer Meinung eine gewisse Mindestqualität unterschreiten. Über diesem Schwellenwert dagegen würde die Auswahl der Referenzen nahezu ausschließlich von sozialkonstruktivistischen Elementen bestimmt. Es wird also vornehmlich zitiert, was dem eigenen Paper aus strategischen Gründen nützt — und nicht primär das, was die eigene Forschung tatsächlich beeinflusst hat.

Entsprechend ziehen die vier Harvard-Forscher am Ende das folgende Fazit: „Was auch immer Zitierzahlen signalisieren, sie sind jedenfalls kein Maß für Qualität oder Einfluss einer Arbeit.“ Und an anderer Stelle: „Unsere Befunde zur Motivation von Zitierentscheidungen untergraben ernsthaft einen normativen Antrieb für die Praxis des Zitierens, was eine radikale Neubewertung der Rolle von Zitaten in evaluativem Kontext erforderlich macht.“

Ralf Neumann

Formatierst du noch oder publizierst du schon?

10. Dezember 2019 von Laborjournal

Kürzlich stolperte ich auf Twitter über folgenden Tweet:

Puh, ganz schön krass. Am Ende haben sie ihm womöglich sein Manuskript nur deswegen als „unsub­mit­ted“ zurückgeschickt, weil er in den Referenzen die Journal-Namen nicht kursiv gesetzt hatte…

Wie auch immer, letztlich deutet das Ganze auf ein großes generelles Ärgernis hin! Schließlich kommt es oft genug vor, dass jemand sein Manuskript erst im x-ten Journal unterbringt. Und für jede Einreichung muss er es nach den jeweils ganz eigenen Vorgaben des angepeilten Journals wieder aufwendig umfor­ma­tieren. Am Ende also x-1 Mal völlig umsonst.

Kein Wunder, fluchen viele über diesen Formatierungs-Wahnsinn, betiteln ihn als extrem nervige Zeitfresserei oder gar schlimmer. Dorothy Bishop, Professorin für Entwicklungsneuro­psy­cho­lo­gie an der Universität Oxford, schrieb beispielsweise vor einigen Jahren in ihrem BishopBlog:

For instance, many journals specify pointless formatting requirements for an initial submission. I really, really resent jumping through arbitrary hoops when the world is full of interesting things I could be doing. And cutting my toenails is considerably more interesting than reformatting references.

Entsprechend viel Zuspruch bekam auch Professor Timming für sein sarkastisches Gezwitscher oben. Doch mitten unter den zahlreichen Antworten dann plötzlich folgende:

Sogleich gruben sich tiefe Furchen in meine Stirn. Hatte ich da in einem Vierteljahrhundert editorialer Arbeit für Laborjournal irgendetwas falsch verstanden? Für mich stand immer fest, dass dies klar zu den Hauptaufgaben eines Editors gehört. Schließlich kommen auch bei uns Text- und Illustrationsmaterial weitgehend unformatiert rein — und es ist dann unsere Aufgabe, all den „Wildwuchs“ in ein einheitliches Seitenlayout einzupassen. Und ganz ehrlich: Soooo schlimm ist das gar nicht! Wir verbrauchen damit jedenfalls nicht den Hauptteil unserer Zeit…

Und siehe da, eine Minute später dann folgende zwei Tweets zum Thema:

Eben! Formatierung ist definitiv Aufgabe des Editorial Staff, und nicht diejenige der Autoren! Doch offenbar will man in den Wissenschaftsverlagen von dem, was im Journalismus selbstverständlich ist, nicht wirklich etwas wissen. Dabei verfügen diese — wie der letzte Twitterer richtig schreibt — meist tatsächlich über mehr Mittel, um solche editorialen Pflichtaufgaben zu erfüllen, als so mancher journalistische Verlag.

Ralf Neumann

 

Das Recht am Peer Review

4. Juli 2017 von Laborjournal

Nette Geschichte, die Pandelis Perakakis auf seiner Academic Website über seinen Kollegen Angel Correa vom Brain, Mind & Behaviour Research Center der Universität Granada notiert hat. Dieser hatte von einem Elsevier-Editor die Einladung erhalten, ein eingereichtes Manuskript für eines ihrer Journals zu begutachten. Correa schrieb zurück, dass er dies gerne tun würde — allerdings unter einer Bedingung: Würde das Paper am Ende zur Veröffentlichung akzeptiert, sollte das Journal seinen Review in der gleichen Ausgabe mit veröffentlichen — als „Kommentar“ oder wie auch immer, aber auf jeden Fall frei zugänglich via Open Access.

Correa lieferte auch eine Begründung dafür. Als Wissenschaftler im Staatsdienst habe er entschieden, seine Arbeitszeit nicht völlig selbstlos in das Interesse von Journals zu investieren, die privatwirtschaftliche Zwecke verfolgen.

Der Editor antwortete daraufhin zunächst schnippisch, dass er Correas Entscheidung, nicht mehr am Scientific Process teilzunehmen, sehr bedauere. In einer zweiten Mail schob er jedoch nach, dass er nach seiner Auffassung gerade als Staatsbediensteter die Verpflichtung habe, der Peer Review-Anfrage nachzukommen. Dies nicht nur, weil auch seine Institution dafür zahle, dass dessen Verlag einen ordentlichen Peer Review-Prozess organisiert und durchführt — sondern weil die Wissenschaftsgemeinde schlichtweg auf diese Art funktioniere. Schließlich erwarte er ja auch, dass seine Paper von Peers begutachtet werden.

Correa bemühte daraufhin zunächst einige Höflichkeitsfloskeln, um dann zu folgendem Schluss zu kommen: „Ich denke, es würde meiner Selbstverpflichtung zu Open Science auch Genüge tun, wenn ich als Autor des Peer Reviews die Rechte daran behalte, so dass ich diesen selbst veröffentlichen kann — vorausgesetzt natürlich, das Manuskript wird veröffentlicht. Geben Sie mir also bitte bescheid, ob Ihr Journal in diesem Fall die Verwertungsrechte bei mir, also dem Autor des Reviews, belässt.“

Eine Antwort darauf blieb bis heute aus.

Ralf Neumann

(Illustr.: Fotolia)

x

Wie eine Autorin plötzlich unverschuldet als Plagiatorin dastand

22. Juli 2015 von Laborjournal

Gerade auf editage Insights eine skurrile Vermischung von blödem Fehler und schlimmem Missverständnis gelesen. Kurz zusammengefasst ging das Ganze so:

Journal X akzeptierte das Manuskript von Autorin A zur Veröffentlichung. Als die angepeilte Ausgabe erschien, musste A jedoch erstaunt feststellen, dass ihr Name unter einem völlig anderen Artikel stand. Umgehend kontaktierte sie den Journal-Editor und klärte ihn auf, dass sie nicht die Autorin dieses Artikels sei — und dass sie auch kein irgendwie ähnliches Manuskript eingereicht habe. Der Editor erklärte ihr, dass dem Journal hier ein dummer Fehler passiert sei und sie das natürlich in der nächsten Ausgabe korrigieren würden.

Soweit, so schlecht. Aber es kam noch deutlich krasser. Als A den „Autorendreher“ bemerkte, war die Ausgabe schon eine kleine Weile draußen. Und wie das heute so ist, wurde der Artikel mit ihr als falscher Autorin bereits in den gängigen sozialen (Forscher-)Medien zitiert und diskutiert. Dies bekam auch der „wahre“ Autor B des Artikels mit — und dachte natürlich, dass A ihm auf irgendeine Weise mit einem Plagiat zuvorgekommen sei.

Auch B kontaktierte daraufhin das Journal. Parallel aber klagte er A in den entsprechenden sozialen Medien schon mal sehr aggressiv des Plagiierens an. Was natürlich wiederum A nicht nur verwirrte, sondern verständlicherweise ziemlich aufbrachte. Schließlich stand plötzlich völlig unverschuldet und ungerechtfertigt ihr guter Ruf auf dem Spiel.

Also rief A wieder beim Journal-Editor an und verlangte aufgrund dieser Entwicklung schnelleres Handeln, als bis zur nächsten Ausgabe zu warten. Dies geschah dann auch: Der Editor informierte B umgehend über den Fehler und dessen daraus resultierenden Irrtum, B wusch A in den sozialen Medien von allen Verdächtigungen frei und entschuldigte sich dafür — und der Editor wiederum veröffentlichte gleich am nächsten Tag eine Erklärung samt Entschuldigung bei beiden, A und B, auf der Journal-Website. Letztere erschien dann auch noch als Erratum in der nächsten Printausgabe.

Eine blöde Geschichte, die sich aus einem seltenen dummen Fehler hochgeschaukelt hat. Allerdings kann man sich schon fragen, ob die Leute im Zeitalter sozialer Medien vielleicht immer mehr verlernen, dass man ja auch mal per Direktkontakt nachfragen kann. Denn hätte B umgehend direkt bei A angerufen, um die Sache zu klären, wäre die Angelegenheit wohl kaum derart hochgekocht.

Journals weisen Kunden ab — und sind stolz drauf

20. Januar 2015 von Laborjournal

In seinen Autoren-Richtlinien schreibt Nature, dass es nur 7 bis 8 % der jährlich eingereichten Manuskripte tatsächlich ins gedruckte Heft schaffen.

Bei Science dagegen erblicken nach eigenen Angaben weniger als 7 % der eingereichten Manuskripte das Licht der Publikation.

Ähnlich schwierig kommt man ins British Medical Journal, das umgekehrt eine Rejection Rate von 93 % angibt.

Doch es geht noch knauseriger: The Lancet druckt gerade mal jedes zwanzigste Manuskript ab, und auch das New England Journal of Medicine macht unter der Überschrift „What to expect“ gnadenlos klar:

We publish only the top 5% of the 5,000 research submissions we receive each year.

Mit Annahmequoten von 15 % nehmen sich dagegen etwa Cell und Cancer Research  fast schon großzügig aus.

Auf gleichem Level stand vor kurzem auch das Journal of Cell Biology — allerdings schien die Tendenz damals schon fallend:

[…] our acceptance rate continues to fall (currently at an incredibly selective ~15%)

Interessanterweise beteuern all diese Edelblätter immer wieder in trauter Einigkeit, dass sie ja keineswegs plusminus 90 % Schrott-Manuskripte geschickt bekommen. Vielmehr müssen sie zu ihrem extremen Bedauern all diese wunderschönen „1B-Arbeiten“ leider deswegen ablehnen, weil sie eben nur begrenzt Platz im gedruckten Heft haben. Wäre dies nicht der Fall, dann… ja, dann…

Warum haben dann aber manche E-Journale ähnlich hohe Ablehnungsraten?

Klar, die sogenannten Mega-Journals nicht — PLoS ONE nimmt knapp 70 %der Manuskripte an, Peer J ebenfalls zwischen 60 bis 70 %. Hier stehen ja auch bewusst „lockerere“ Konzepte im Hintergrund — wie Peer J es etwa beschreibt:

[…] journals that ask peer reviewers to judge the merits of a manuscript based solely on the soundness of its methodology and conclusions, rather than novelty or expected impact.

Bei eLife geht’s dann aber mit nur noch 25 % angenommenen Manuskripten wieder scharf runter. Und mit PLoS Biology und PLoS Medicine, die sich beide mit Ablehnungsraten von über 90 % rühmen, ist man dann endgültig wieder auf dem Niveau der altehrwürdigen, gedruckten Edelblätter angekommen.

Geht es denen — im Umkehrschluss des obigen Peer J-Zitats — mit der unverändert scharfen Selektion doch vor allem um das Zurechtkneten eines hohen Impact-Faktors? Nicht wenige vermuten es (siehe etwa hier).

Wenn aber all die abgelehnten Manuskripte tatsächlich so gut sind, wie alle beteuern — dann wird die ganze Absurdität dieses hochgezüchteten Selektionsprozesses durch die erwähnten E-Journals mit ihrem praktisch unbegrenzten Publikationsplatz nochmals eine Umdrehung weiter getrieben. Eine Absurdität, die der ehemalige Chief Editor des British Medical Journals, Richard Smith, vor einiger Zeit in seinem Blog-Post „Why not auction your paper?“ sehr treffend folgendermaßen zuspitzte:

High impact journals have high rejection rates (over 90 %) and are proud of it. Who else apart from editors boast about how many customers they reject?

Kooperationen klappen — oder nicht!

23. April 2014 von Laborjournal

Folgende Anekdote gestern am Telefon gehört [Namen geändert!]:

Forscher Müller hat eine Kooperation mit Meier. Eines Tages erhält Müller überraschend ein Manuskript von Meier. Er finde, dass die gemeinsamen Daten inzwischen für eine „nette, kleine Publikation“ reichen, schreibt Meier dazu. Müller findet das nicht. Er schreibt zurück, dass er lieber noch die ein oder andere Testreihe durchziehen wolle, um der „Story“ mehr Substanz zu verleihen. Meier entgegnet, dass dies seiner Meinung nach unnötig sei — die Geschichte wäre auch so schon klar. Und überhaupt habe dessen Gruppe ja nur etwa zwanzig Prozent zum aktuellen Manuskript beigetragen. Wenn er die jetzt wieder rausnehme und ein paar kleine Experimente selber mache, könne er das Paper auch gut ohne ihn veröffentlichen. „Tu, was Du nicht lassen kannst“, schreibt Müller sinngemäß zurück — und schmeißt das Manuskript in den Müll.

Einige Wochen später erhält Müller Post vom Journal of Any Results. Darin ein Manuskript samt einem Brief mit der Bitte, es für eine mögliche Publikation zu begutachten. Korrespondierender Autor des Manuskripts:… Meier.

Wie er jetzt mit dem Manuskript verfahren werde, wisse er noch nicht, erzählte uns Müller. Wahrscheinlich werde er es aber zurückschicken — mit dem Hinweis, dass er es wegen Befangenheit nicht begutachten kann.

Und die Moral von der Geschicht‘: Kooperationen klappen — oder nicht!

(Illustration: graphicgeoff / Fotolia.com)

 

Jede Woche ein Paper — Geht das?

6. März 2014 von Laborjournal

Mit Hochdruck arbeitet die Redaktion gerade parallel an den beiden fetten Laborjournal– und Lab Times-Ausgaben für die Analytica in München. Daher ist es von unserer Seite auch gerade so still hier im Blog.

Doch um folgendes kommen wir nicht umhin. Soviel Zeit muss sein!

Derek Lowe berichtete vor zwei Wochen auf seinem Blog In the Pipeline über die mehr als 2.200 Veröffentlichungen des kürzlich verstorbenen US-Chemiker Alan Katritzky. Ein Kommentator wandte daraufhin simple Mathematik an und berechnete, dass Katritzky demnach über 61 Jahre hinweg alle zehn Tage ein Paper veröffentlicht habe. Ein Fall von „Overpublishing“?

In unseren Laborjournal-Publikationsvergleichen hatten wir zuvor in Einzelfällen bereits ebenfalls solch „simple Mathematik“ angewendet. So schrieben wir 2002 im Publikationsvergleich „Strukturbiologie“ über die 103 Originalartikel, die der damalige Martinsrieder Nobelpreisträger Robert Huber in den drei Jahren von 1997 bis 1999 zeichnete:

Für Platz eins, den der bereits erwähnte Nobelpreisträger Robert Huber einnimmt, war dagegen die „Kleinigkeit“ von knapp 2500 Zitierungen nötig. Huber schaffte das unter anderem durch die „Masse“, die seine am Martinsrieder MPI für Biochemie eingerichtete „Proteinstrukturfabrik“ produzierte. Ganze 103 Publikationen zierte sein Name 1997-99, was im Schnitt alle 11 Tage ein Paper macht. Wahrscheinlich Spitze unter den deutschsprachigen Biologen.

Und das betraf nur die Originalartikel. Reviews, Konferenz-Beiträge, Buch-Kapitel und ähnliches waren bereits rausgenommen. Diesen Beitrag weiterlesen »

Best of Science Cartoons (23)

10. Januar 2014 von Laborjournal

xxxxx

(Von Ted Morrow via Twitter)

Seid kritisch mit „Invited Commentaries“!

6. Dezember 2013 von Laborjournal

Nicht nur Nature bringt wöchentlich seine “News & Views”, oder Science seine “Perspectives” — nein, inzwischen präsentieren auch viele, viele andere Journals unter jeweils eigenen Rubriknamen sogenannte “Invited Commentaries”. Kurz gesagt, schicken dafür die Editoren die ihrer Meinung nach heißesten Originalpaper jeder einzelnen Ausgabe vorab an ausgewählte „Experten“ und bitten diese die darin vorgestellten Ergebnisse hinsichtlich ihrer Bedeutung für das gesamte Feld zu kommentieren.

Diese Kommentare sind meist durchaus nett und gewinnbringend zu lesen — insbesondere auch für den Forscher, der gerne mal ein wenig über den Tellerrand schaut. Schließlich liefert solch ein Kommentar in der Regel einen knackigen und kompetenten Überblick über das gesamte Feld, präsentiert dazu die aktuell offenen Fragen und Probleme, ordnet die frischen Ergebnisse des neuen Papers samt Bewertung in diesen Rahmen ein — und wagt zudem noch einen Ausblick, welche weiteren Fragen durch die neuen Erkenntnisse nun womöglich leichter angegangen werden könnten.

Viele Autoren werten es daher als eine Art „Ritterschlag“ ihres Papers, wenn dieses durch einen „Eingeladenen Kommentar“ quasi geadelt wird. Allerdings sind solche „Invited Commentaries“ offenbar manchmal doch eher ein Quell des Ärgernisses für die Autoren des kommentierten Papers. Diesen Beitrag weiterlesen »

Zitat des Monats (11)

19. April 2013 von Laborjournal

 

Amos Bairoch, Swiss Institute of Bioinformatics,
in Nature Precedings, doi:10.1038/npre.2009.3092.1, posted 20 Apr 2009

Info
Info
Info

Info

Info

Erfahren Sie mehr über unsere beliebtesten Produkte unter mehr

Info

Info

INTEGRA Biosciences bietet Ihnen die Chance, ein VACUSAFE-Absaugsystem für Ihr Labor zu gewinnen. mehr