Journal-Tuning

3. April 2019 von Laborjournal

Wir recherchieren gerade einen Fall, in dem ein Journal seinen Impact-Faktor offenbar auf unlautere Weise aufgeblasen hat — konkret durch übermäßiges Selbstzitieren. Dabei fiel uns ein, dass wir mal vor Jahren in einem fiktiven Stück beschrieben hatten, wie ein Chief Editor den Impact-Faktor „seines“ Journals auch ohne unlautere Mittel deutlich nach oben treiben könnte. Wir stellen es daher hier nochmals zur Diskussion:

——-

Zwanzig Jahre waren es bald, die Badguy nun Herausgeber von Molecular Blabology war. Eine Zeit, in der er viele Veränderungen erlebte. Vor allem in den letzten Jahren.

Lange war der „Chief Editor“ ein ungeheuer befriedigender Job gewesen. Immerhin war Molecular Blabology die offizielle Zeitschrift der größten blabologischen Fachgesellschaft der Welt — und vielen galt sie auch als die beste. Klar dass auch Badguy selbst im Licht der Zeitschrift erstrahlte, war er damit doch unzweifelhaft ein wichtiger und mächtiger Mann in der Szene.

Lange konnte er dieses Gefühl genießen — bis die Journal-Impact-Faktoren aufkamen. Und die bereiteten ihm eine herbe Überraschung: Molecular Blabology war in der Kategorie „Blabology and Gabblistics“ völlig unerwartet nur auf Platz sechs. Fünf Journals hatten bessere Impact-Faktoren. Und was das Schlimmste war: Auf Platz eins rangierte mit dem European Journal of Molecular Blabology ausgerechnet das Organ der konkurrierenden europäischen Fachgesellschaft.

Doch Badguy konnte nicht nur genießen, er konnte auch anpacken. Schnell wusste er bescheid, wie die Impact-Faktoren berechnet wurden — und bald hatte er auch einige Schwachstellen ausgekundschaftet, die er auf dem Weg zu einem besseren Faktor gnadenlos auszuschlachten gedachte.

Fallstudien und Essays bringen im Schnitt bei weitem nicht so viele Zitierungen wie Originalarbeiten und Technical Reports, hatte Badguy schnell herausgefunden. Zwar brachte Molecular Blabology keine Fallstudien, dafür aber vier Essays pro Heft. So schön diese in der Regel waren, Badguy würde sie streichen und statt dessen mehr Technical Reports aufnehmen. Oder besser noch: Die Zahl der Reviews pro Heft von bisher 2 auf 6 anheben, denn die bringen noch mehr Zitierungen.

Ebenso hatte Badguy spitz bekommen, dass die Zahl der Zitierungen in etwa proportional zu der Länge der einzelnen Artikel ist. Er würde also die Short Communications rausschmeißen und für die Artikel mehr Text — und damit zitierbaren „Content“ — verlangen. Seine einfache Rechnung: Weniger, aber längere Artikel, die zugleich jeder für sich häufiger zitiert werden — damit müsste der Impact-Faktor sofort einen Sprung machen. 

Badguy blieb auch nicht verborgen, dass die „Herren der Impact-Faktoren“ nur Artikel, Reviews und Notes für die Gesamtzahl der Artikel eines Journals berücksichtigten — „Citable Items“ nannten sie diese. Meeting Reports, Editorials und Correspondence-Briefe dagegen zählten sie nicht, obwohl deren Zitierungen wiederum in den Impact-Faktor eingingen. Eigentlich nicht zu verstehen, für Badguy war aber klar: Möglichst viele Meeting Reports, eine große Correspondence-Rubrik und knackige Editorials — das bringt noch mal zusätzlichen Schub.

Und dann hatte Badguy noch eine besondere Idee: Zweimal im Jahr wollte er eine Nomenklatur-Konferenz einberufen, deren Ergebnisse natürlich umgehend in Molecular Blabology erscheinen würden. Die bringen — das ist bekannt — wahnsinnig viele Zitierungen, da sämtliche nachfolgenden Originalarbeiten im betreffenden Feld diese zitieren müssen. 

Schnell hatte Badguy also ein feines „Maßnahmenbündel“ geschnürt. Der „Umbau“ würde zwar noch ein kleine Weile dauern. Aber dann wollte Badguy doch mal sehen, ob er dieses European Journal of Molecular Blabology nicht doch bald… 

——-

Tatsächlich nur Fiktion? Weit weg von der Realität?

Grafik: iStock / Jossdim

Glücksbringer Impact-Faktor

18. Dezember 2015 von Laborjournal

Angeblich aktiviert der reine Anblick von Schokolade das Belohnungszentrum unseres Gehirns. Aber bei Schokolade ist natürlich noch lange nicht Schluss. Zumindest in Forscherhirnen meinen Lübecker Neurowissenschaftler mit funktionaler Magnet-Resonanz-Tomographie (fMRT) jetzt gar folgendes beobachtet zu haben:

Wenn Forscherinnen und Forscher eigene Publikationen in Fachzeitschriften mit hohem Journal Impact Factor (JIF) erwarten, wird ihr Belohnungszentrum im Gehirn aktiviert.

Konkret ging das so:

19 Neurowissenschaftlerinnen und -wissenschaftlern wurden in einem MRT-Gerät die vorbereiteten Titelseiten von hochrangigen Wissenschaftszeitschriften mit ihrem Namen gezeigt und dabei die Gehirnaktivitäten gemessen. […] Mit steigendem JIF einer antizipierten Publikation stieg die Aktivität im Nucleus Accumbens, einer zentralen Region im Belohnungszentrum des Gehirns. Es zeigte sich zudem, dass Forschende, die in der Vergangenheit mit höheren JIF publizierten, ein stärkeres Ansprechen des Belohnungssystems aufwiesen. Neben dem JIF einer Publikation modulierte auch die Reihenfolge der Autorenschaft die Aktivität im Nucleus Accumbens.

Diese Studie liefert einen ersten empirischen Beleg dafür, wie Forscherinnen und Forscher sich an die Anreizstrukturen des universitären Systems anpassen und den JIF als zentrales Bewertungskriterium ihrer Arbeit verinnerlichen.

Na ja, so skurril das klingt — wirklich verwunderlich ist es kaum. Hätten die Lübecker beliebige Leute von der Straße genommen und ihnen „vorbereitete“ Artikelseiten aus der ZEIT, der FAZ und dem Spiegel gezeigt, in denen ihre Namen in schmeichelhaftem Zusammenhang erwähnt sind — dann wären deren Nuclei vermutlich genauso angesprungen.

Allerdings scheinen die Autoren ihre Studie durchaus bewusst mit einem kleinen Augenzwinkern publiziert zu haben. Zumindest ein Indiz dafür bietet folgende Feststellung in den „Materials and Methods“ des Original-Papers (PLOS One 10(11): e0142537):

One participant was excluded from further analyses due to excessive sleepiness during the whole task. Notably, this was the only neuroscientist with a permanent position.

Noch größer wird das Augenzwinkern indes, wenn man ein Editorial dazu nimmt, das genau eine Woche später in Research Policy (Vol. 45(1): 1-7) erschien. Darin spricht Ben Martin, Professor für „Science and Technology Policy Studies“ an der University of Sussex in Brighton, dem Journal Impact Factor jegliche Glaubwürdigkeit ab, da ihn die Editoren der Forschungsblätter mittlerweile großflächig mit zweifelhaften Tricks und Kniffen nach oben frisieren:

Over time, editors have devised ingenious ways of enhancing their JIF without apparently breaching any rules. […] In the light of ever more devious ruses of editors, the JIF indicator has now lost most of its credibility.

Und nochmal an anderer Stelle:

We currently have a whole slew of editorial practices to boost JIF by fair means or foul. Consequently, in many cases all that the JIF indicator now measures is how assiduously a journal’s editors are playing the JIF ‘game’ (Metze, 2010, p. 939) and their willingness to steer as close as possible to, and perhaps even to cross, the boundary between appropriate and inappropriate behaviour in pursuit of that goal.

Keine wirklich neue Feststellung, aber das Ausmaß dieses JIF-Dopings scheint inzwischen doch erschreckend.

Und was hat das jetzt mit der obigen Lübecker Studie zu tun? Nun ja, in Kombination hieße das: Forscherhirne empfinden Glücksgefühle durch etwas, mit dem sie zunehmend verarscht werden.

Aber das geht ihren übrigen Artgenossen ja mit vielen anderen Dingen genauso.

Nach Leistung fördern! Aber wie Leistung messen?

27. November 2014 von Laborjournal

Bekanntlich kommen die medizinischen Fakultäten an deutschen Universitäten in den Genuss einer leistungsorientierten Verteilung von Landesforschungsmitteln. Klar, dass die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) diese Praxis niemals grundsätzlich in Frage stellen würde. Ein wenig Kritik übte sie jetzt aber schon.

„600 Mio. Forschungsgelder pro Jahr fehlverteilt?“ überschrieb die AWMF kürzlich eine Pressemitteilung. Und führte dann im Vorspann weiter aus:

AWMF fordert sachgerechte Zuweisung von Landesmitteln: Über 600 Mio. Euro an Forschungsgeldern aus Landeszuschüssen werden jedes Jahr an den medizinischen Fakultäten nach wissenschaftlich nicht ausreichend validen Leistungskriterien vergeben.

Anlass der Pressemitteilung — so stellte sich heraus — war die Delegiertenkonferenz der AWMF am 15. November in Frankfurt, bei der offensichtlich Christoph Herrmann-Lingen, Direktor an der Klinik für Psychosomatische Medizin und Psychotherapie der Universität Göttingen, als Sprecher der AWMF-Kommission für Leistungsevaluation in Forschung und Lehre zum Thema referierte.

Wie die AWMF jedoch darauf kommt, dass ausgerechnet 600 Mio. Euro fehlverteilt würden, erklärt sie zumindest in der Pressemitteilung nicht. Ebenso wenig verliert sie ein Wort darüber, wie gravierend die Fehlverteilungen tatsächlich sind — wurde größtenteils „krass“ fehlverteilt, oder hauptsächlich „nur ein bisschen“. Schade, das wäre interessant gewesen!

Stattdessen springt der Text ohne Differentialdiagnose unmittelbar weiter zu möglichen Therapien: Diesen Beitrag weiterlesen »