Zehn ketzerische Gebote zur wunderbaren Welt der Leistungsorientierten Mittelvergabe (LOM)

4. Oktober 2018 von Laborjournal

(Den folgenden Beitrag bekam unsere Redaktion unaufgefordert zugeschickt. Der Autor ist der Redaktion bekannt.)


"Every valuable human being
must be a radical and a rebel,
for what he must aim at
is to make things better than they are."

Niels Henrik David Bohr
(Dänischer Physiker, 1885-1962, Physik-Nobelpreis 1922)

 

Vor 14 Jahren konzipierte und propagierte die DFG die sogenannte Leistungsorientierte Mittel­ver­gabe (LOM) und entließ sie als groß angelegten Freilandversuch in die medizinische For­schungs­landschaft. Oder besser gesagt: Sie ließ sie auf die Forscher in den Medizinischen Fakultäten los.

Bei der LOM konkurrieren in der Regel die verschiedenen Institute einer Fakultät um einen fixen Geldtopf. Das heißt, wenn Institut A nach irgendwelchen Kriterien, deren Sinn zumindest zweifelhaft ist, besser „produziert“ als Institut B, dann bekommt Institut B weniger Geld zugeteilt. Auch innerhalb einzelner Institute werden in vielen Fällen Kollegen direkt miteinander verglichen — sowohl in der Forschung, wie auch teilweise in der Lehre (wo der dominante Parameter allerdings häufig Quantität ist). Typischerweise spielen Impact-Faktoren von Zeitschriften eine wesentliche Rolle bei der LOM-Berechnung von „Forschungsleistungen“, obwohl deren Eignung zur Evaluation von Instituten und Einzelpersonen inzwischen selbst von Top-Journalen wie Nature oder Science klar verneint wird.

Dennoch haben viele Fakultäten die LOM-Richtlinie der DFG geflissentlich umgesetzt, ohne dass nachfolgend jemals geklärt wurde, ob sie wirklich sinnvoll ist — das heißt, ob ein messbarer positiver Effekt erzielt wird. Ob die LOM nützlich war bzw. ist, oder ob sie vielleicht vielmehr insbesondere das kollegiale Klima vergiftet, bleibt daher bis heute ungeklärt. Was aber auf jeden Fall erreicht wurde, ist, dass mehr Verwaltungspersonal zur Datenbankpflege et cetera benötigt wird. Die Relation von Forschern zu Verwaltern verschiebt sich zu Ungunsten der Forschung.

Nachfragen an die DFG mit der Bitte um Stellungnahme über mögliche Hinweise zum belegbaren Nutzen (oder Schaden) der Impact-Faktor-basierten LOM zeigen deutlich, dass die DFG sich bis auf Weiteres nicht ihrer Verantwortung für die Folgen der LOM stellt — ja sogar, dass sie auch in absehbarer Zukunft keine rigorose Evaluation durchführen will, obwohl ihr die Problematik sehr wohl bewußt ist.

Wenn man das dennoch ändern möchte, darf man also nicht weiter stillhalten. Deshalb nachfolgend eine ketzerische Liste von zehn LOM-Geboten zur wohlfeilen Reflexion. Sie könnte leicht noch länger sein, aber die Zahl 10 ist ja so schön biblisch — und 10 Gebote sollten letztlich mehr als genug sein, um potenziell LOM-induzierte Denkweisen des Homo laborensis nonsapiens darzustellen:x

Die 10 Gebote der LOM


  1. Du sollst den Kollegen vom Nachbar-Institut nicht helfen, in hochrangigen Journalen zu publizieren — vor allem, wenn die Gefahr besteht, dass sie in der LOM an Deinem Institut vorbei ziehen könnten.
  2. Du sollst Deinen LOM-Mitbewerbern nur solche Experimente vorschlagen, die viel Zeit kosten und letztendlich möglichst nicht funktionieren.
  3. Du sollst die Drittmittel-Anträge Deiner lokalen Kollegen nur oberflächlich kritisieren und eklatante Schwachstellen nicht aufdecken. Ihr Erfolg ist Dein LOM-Verlust!
  4. Du sollst Verbund-Initiativen nur gerade soweit unterstützen, wie sie Dir selbst nützen. Erfolge in diesem Bereich bringen den leitenden Kollegen in der Regel viele LOM-Punkte — was wiederum heißt, dass Du schlechter aussiehst.
  5. Du sollst in Berufungskommissionen dafür sorgen, dass in Nachbar-Instituten möglichst zweitklassige Kollegen angeheuert werden. Deren LOM-Schwäche wird Deine LOM-Stärke.
  6. Wenn Du eine Core Facility leitest, sorge dafür, dass vor allem die Kollegen Deines Instituts, am meisten aber Deine eigenen Leute von den sauteuren Gerätschaften profitieren.
  7. Du sollst Gutachtern bei Begehungen unauffällig subtile Hinweise zuspielen, die Deine LOM-Konkurenten in schlechterem Licht darstellen. Auch nonverbale Kommunikation kann hier wahre Wunder wirken.
  8. Falls Review-Artikel LOM-fähig sind, hau‘ möglichst viel davon raus! Selbst wenn deren echter „Nährwert“ oft äußerst limitiert ist, ersetzen sie doch für die LOM-Kalkulation wunderbar die deutlich mühsameren und kreativeren Originalartikel.
  9. Du sollst Kontrollexperimente und Wiederholungen von Experimenten auf ein absolutes Minimum beschränken, da diese nichts zur LOM beitragen.
  10. Du sollst Deine Ergebnisse in möglichst viele Artikel aufspalten, da dies zu einer Optimierung Deiner LOM-Punkte beiträgt.

 

In diesem Sinne, liebe Kollegen, freuen wir uns alle auf weitere Dekaden in der wunderbaren Welt der LOM. Für weitere kreative Ideen, wie man bei der LOM als Sieger vom Platz geht, einfach abends mal eine schöne Serie anschauen — zum Beispiel das gute alte Dallas mit J.R. Ewing oder auch House of Cards.

Illustration: iStock / kmlmtz66

x

Was tun mit Mediziner-Habil und Dr. med.?

16. November 2017 von Laborjournal

In unserem aktuellen Heft 11/2017 schreiben wir ab Seite 16 unter der Überschrift „Mediziner-Habil durch Erbsenzählen“ über den Gemischtwarenladen, als der sich die hiesigen  Medizinischen Fakultäten präsentieren, wenn es darum geht, wie sie den Journal Impact-Faktor in ihre Habilitationskritierien hinein rechnen. Vielleicht war es bei dem Thema nicht zu vermeiden — aber ganz am Ende des Artikels werden schließlich Stimmen laut, dass man die Mediziner-Habilitation doch einfach ganz abschaffen und den Dr. med. zumindest stark vereinfachen könne. Konkret heißt es dort:

Unser E-Mail-Schreiber […] zieht folgendes Fazit: „Man schaffe Promotion und Habilitation in der Medizin endlich ab.“ Und quasi als Zugabe formuliert er — wenn auch etwas süffisant — einen einfachen Zwei-Punkte-Vorschlag, wie man dahin kommen könnte:

„1) Statt Promotion soll jeder Mediziner einen Dr. med. bekommen, der ein Erstautor-Paper nachweisen kann. Das zeigt doch ausreichend, dass der junge Doktor sich auch mal in eine wissenschaftliche Fragestellung verirrt hat. Alles, was sonst für die Wissenschaft wichtig ist, sollte ja bereits in einem guten Studium gelehrt worden sein. Und selbstständig wissenschaftlich arbeiten, lernt man während einer medizinischen Doktorarbeit in der Regel sowieso nicht, sondern ist nur der Gratis-Pipettierheini.

2) Statt der Habilitation gäbe es flächendeckend einen Professorentitel, wenn man zehn Paper geschafft hat — davon fünf als Erst- oder Letztautor. Dazu käme dann lediglich noch eine festzulegende Zahl von Semesterwochenstunden an Lehre, welche die Studierenden noch als ausreichend gut evaluieren müssten.“

Man stelle sich vor, wie entlastend das für unsere schuftenden Ärzte wäre, schließt er. All die gesparte Zeit käme den Patienten, der Familie — und vielleicht ja auch einer guten Lehre enorm entgegen.

Bleibt zum Abschluss noch der Kommentar eines Professors an einer deutschen Uniklinik, den wir um seine Meinung dazu baten. Dessen Antwort:

„Ich denke, eine globale Sicht auf die Dinge hilft hier weiter. Viele Länder kennen den Dr. med. für Ärzte gar nicht — eine Habilitation schon gar nicht. Und die Patienten sterben deswegen auch nicht früher, sofern genug Geld im System ist.

Man könnte also sicher auch hierzulande die Voraussetzungen schaffen, um die Habilitation zu streichen. Will man aber doch an der Habilitation festhalten — was ich befürchte, da man die Leute damit wunderbar am Nasenring hat –, ist es in keiner Weise angemessen, die Publikationen nur nach Anzahl beziehungsweise Journal Impact-Faktoren zu bewerten.“

Zum „Dr. med.“ erhielten wir daraufhin folgende Zuschrift:

Dr. med. oder nicht? Zur laufenden Diskussion um den Doktortitel für Mediziner.

Ich mache folgenden Vorschlag:

Alle Mediziner, die ihr Examen bestehen, dürfen sich „Doktor“ nennen. Sie werden im Beruf sowieso mit Herr/Frau Doktor angesprochen. „Doktor“ wäre hier also eine Berufsbezeichnung, kein Titel.

Alle diejenigen, die eine „qualifizierte“ Arbeit anfertigen, können sich einer Prüfungskommission stellen, in der auch Naturwissenschaftler vertreten sind — und sich in herkömmlicher Weise bewerten lassen. Wer eine entsprechend gute Note erhält, der darf dann den Titel „Dr. med.“ führen.

Weitere Äußerungen, Meinungen und Vorschläge zum Thema „Habil und Dr. med. in der Medizin“?

x

Die Lance Armstrongs der Tour de Science

3. Februar 2016 von Laborjournal

Und wieder ein Zitat aus einer E-Mail an unsere Redaktion. Ein Bio-Emeritus im aktiven Unruhestand prangert darin mit deutlichen Worten einige „Unsitten“ im aktuellen Forschungsbetrieb an:

Da die Zahl der für das öffentliche und private Leben relevanten Skandale meine Fähigkeit zu kotzen weit überfordert […], bemühe ich mich schon seit einiger Zeit um eine gewisse pragmatische Rangordnung. Im Hinblick auf Wissenschaftsskandale heißt das für mich, dass ich nach den Lance Armstrongs der internationalen Tour de Science und vor allem nach den Strukturen frage, die diesen Figuren zur Verfügung stehen.

Da komme ich dann auf Fragen zum Wahnsinn der Impact Faktoren und CNS-Publikationen als Kriterium wissenschaftlicher Befähigung. CNS hat nichts mit Gehirn zu tun, sondern steht für Cell, Nature, Science — und damit gleichsam für den Glauben an die Weisheit der Editoren von Journalen, deren Hauptziel darin besteht, den Impact Faktor ihres Journals zu steigern oder wenigstens zu halten.

Ich beschäftige mich weiter mit dem Problem, was alles „behind the scenes“ passiert und offenbar möglich ist. Ich frage mich, warum ich immer wieder auf Arbeiten stoße, die in High Impact-Journalen veröffentlicht wurden und die völlig perfekt erscheinen — abgesehen davon, dass sich die Hauptergebnisse nicht reproduzieren lassen.

Ich frage mich, warum viele Wissenschaftler das Gefühl haben, dass man in einem Manuskript die — oftmals ja leider berechtigten — eigenen Sorgen wegen der Grenzen der verwendeten Methoden, beispielsweise aufgrund unerwünschter, schwer zu kontrollierender Artefakte, besser gar nicht erst andiskutieren sollte.

Ich frage mich, warum es üblich scheint, Ergebnisse besser wegzulassen, die nicht ins Schema der perfekten Reproduzierbarkeit passen und die möglicherweise die Beweisführung für oder gegen eine bestimmte Hypothese untergraben könnten.

Ich frage mich, wie es dazu kommt, dass heute umgehend immer nur nach einem molekularen Mechanismus gefragt wird, selbst wenn die phänomenologischen Grundlagen des untersuchten biologischen  Systems noch weitgehend ungeklärt sind.

Ich frage mich, wie das Begutachtungssystem verändert werden sollte — und vor allen Dingen, wie es öffentlich gemacht werden kann. Ich für meinen Teil habe seit etwa einem Jahr begonnen, alle meine Zeitschriftengutachten mit meinem Namen zu zeichnen.

Ich frage mich, wie es kommt, dass Gutachter ihren Auftrag dahingehend missbrauchen, dass sie die Autoren eingereichter Arbeiten zwingen, eine To-do-Liste abzuarbeiten, nach der die geforderten zusätzlichen Experimente gar nichts mehr mit notwendigen Kontrollen zu tun haben, sondern lediglich willkürliche Erweiterungen nach dem Geschmack des Gutachters darstellen.

Fragen, die viele zwar schon lange kennen — die deswegen aber nicht aufhören zu schmerzen. Antworten und Meinungen dazu, wie immer, direkt unten als Kommentar zu diesem Blog-Beitrag, oder auch per E-Mail an redaktion@laborjournal.de.

(Foto: Fotolia/erkamit)

x

Journals weisen Kunden ab — und sind stolz drauf

20. Januar 2015 von Laborjournal

In seinen Autoren-Richtlinien schreibt Nature, dass es nur 7 bis 8 % der jährlich eingereichten Manuskripte tatsächlich ins gedruckte Heft schaffen.

Bei Science dagegen erblicken nach eigenen Angaben weniger als 7 % der eingereichten Manuskripte das Licht der Publikation.

Ähnlich schwierig kommt man ins British Medical Journal, das umgekehrt eine Rejection Rate von 93 % angibt.

Doch es geht noch knauseriger: The Lancet druckt gerade mal jedes zwanzigste Manuskript ab, und auch das New England Journal of Medicine macht unter der Überschrift „What to expect“ gnadenlos klar:

We publish only the top 5% of the 5,000 research submissions we receive each year.

Mit Annahmequoten von 15 % nehmen sich dagegen etwa Cell und Cancer Research  fast schon großzügig aus.

Auf gleichem Level stand vor kurzem auch das Journal of Cell Biology — allerdings schien die Tendenz damals schon fallend:

[…] our acceptance rate continues to fall (currently at an incredibly selective ~15%)

Interessanterweise beteuern all diese Edelblätter immer wieder in trauter Einigkeit, dass sie ja keineswegs plusminus 90 % Schrott-Manuskripte geschickt bekommen. Vielmehr müssen sie zu ihrem extremen Bedauern all diese wunderschönen „1B-Arbeiten“ leider deswegen ablehnen, weil sie eben nur begrenzt Platz im gedruckten Heft haben. Wäre dies nicht der Fall, dann… ja, dann…

Warum haben dann aber manche E-Journale ähnlich hohe Ablehnungsraten?

Klar, die sogenannten Mega-Journals nicht — PLoS ONE nimmt knapp 70 %der Manuskripte an, Peer J ebenfalls zwischen 60 bis 70 %. Hier stehen ja auch bewusst „lockerere“ Konzepte im Hintergrund — wie Peer J es etwa beschreibt:

[…] journals that ask peer reviewers to judge the merits of a manuscript based solely on the soundness of its methodology and conclusions, rather than novelty or expected impact.

Bei eLife geht’s dann aber mit nur noch 25 % angenommenen Manuskripten wieder scharf runter. Und mit PLoS Biology und PLoS Medicine, die sich beide mit Ablehnungsraten von über 90 % rühmen, ist man dann endgültig wieder auf dem Niveau der altehrwürdigen, gedruckten Edelblätter angekommen.

Geht es denen — im Umkehrschluss des obigen Peer J-Zitats — mit der unverändert scharfen Selektion doch vor allem um das Zurechtkneten eines hohen Impact-Faktors? Nicht wenige vermuten es (siehe etwa hier).

Wenn aber all die abgelehnten Manuskripte tatsächlich so gut sind, wie alle beteuern — dann wird die ganze Absurdität dieses hochgezüchteten Selektionsprozesses durch die erwähnten E-Journals mit ihrem praktisch unbegrenzten Publikationsplatz nochmals eine Umdrehung weiter getrieben. Eine Absurdität, die der ehemalige Chief Editor des British Medical Journals, Richard Smith, vor einiger Zeit in seinem Blog-Post „Why not auction your paper?“ sehr treffend folgendermaßen zuspitzte:

High impact journals have high rejection rates (over 90 %) and are proud of it. Who else apart from editors boast about how many customers they reject?

„Vorab Online“ verzerrt Impact-Faktoren

21. Januar 2013 von Laborjournal

Journals greifen ja mitunter zu allen möglichen Tricks, um ihre Impact-Faktoren (IF) zu erhöhen — zu lauteren, unlauteren und zu welchen, die irgendwie dazwischen liegen.

Ein solcher Trick eröffnete sich durch die Einführung, Artikel vorab online zu veröffentlichen, bevor sie in print erscheinen. Man nehme zunächst etwa Journal A, das dies nicht tut. Dessen IF des Jahres 2012 berechnet sich bekanntlich daraus, wie oft sämtliche Artikel des Journals aus den Jahren 2010 und 2011 insgesamt im darauf folgenden Jahr , also 2012, zitiert worden sind. Diesen Wert teilt man durch die Gesamtzahl der Artikel aus 2010/11 — und erhält den IF 2012.

Schauen wir uns im Vergleich Zeitschrift B an. Diese stellt schon seit geraumer Zeit die Artikel sofort nach Annahme durch die Gutachter online. Diesen Beitrag weiterlesen »

Über Zufall und Willkür beim Peer Review

31. August 2012 von Laborjournal

Publizieren scheint immer schwerer zu werden. Denn nicht nur Nature oder Science, nein auch viele Medium-Impact-Journals nehmen offenbar immer weniger Manuskripte zur Publikation an. Ein Herunterdrehen von 40% akzeptierter Manuskripte vor 15 Jahren auf heutzutage unter 15% ist beispielsweise keine Seltenheit.

In einem Editorial in Ideas in Ecology and Evolution (vol. 5: 9-12, 2012) beschrieb die Kanadierin Lonnie W. Aarssen solch „drakonische Standards“ nicht gerade schmeichelhaft als:

… product of gate-keeping elitism, motivated by self-serving goals of journal publishers and editors to elevate impact factor as a symbol of status, and to compete with other journals for that status.

Der Ökologe David Wardle von der Universität Umeå in Schweden untersuchte nun beispielhaft, welche Konsequenzen dieser „Gatekeeping Elitism“ für die Qualität ökologischer Veröffentlichungen hat (Ideas in Ecology and Evolution vol. 5: 13-15, 2012). Was er herausfand, ist durchaus alarmierend. Diesen Beitrag weiterlesen »

Flotter Impact-Dreier

10. Juli 2012 von Laborjournal

Dass Journals ihren jährlichen Impact-Faktor bisweilen gezielt durch zweifelhafte Selbstzitierungen hochhieven wollen, ist inzwischen bekannt. In schlimmeren Fällen übt der Verlag gar gezielt Druck auf Autoren und Gutachter aus, dass sie möglichst viele Referenzen aus dem eigenen Journal in die entsprechenden Publikationen einflechten.

Glücklicherweise sind solche Selbstzitat-Orgien relativ leicht aufzudecken. Und nicht zuletzt deshalb hat Thomson Reuters bereits vor einiger Zeit auf solche Machenschaften reagiert und schmeißt seitdem Journals mit auffällig hohem Anteil an Selbstzitaten rigoros aus seinem jährlichen Journal Citation Report raus.

Deutlich schwieriger ist dies bei sogenannten Zitier-Kartellen. Wie diese funktionieren, beschrieb vor einigen Wochen der ehemalige Forscher und Bibliothekar Phil Davis an einem realen Fall im Blog The Scholarly Kitchen (wohin übrigens auch alle obigen Links führen).

Davis fiel zunächst auf, dass das Journal Cell Transplantation, veröffentlicht von der Cognizant Communication Corporation in Putnam Valley, New York, seinen Impact Faktor zuletzt rapide steigern konnte: von 3,48 in 2006 auf 6,2 in 2010. Diesen Beitrag weiterlesen »

Von zweifelhaftem Verhalten der Journals

14. Februar 2012 von Laborjournal

Das Feld der wissenschaftlichen Journale scheint immer mehr zu verrotten. Und damit meinen wir gar nicht unbedingt das Geschäftsgebahren der großen Verlage à la Elsevier, Springer oder Thieme und Co. (siehe unseren früheren Beitrag „Boykott gegen Elsevier“ samt Kommentare).

Nein, eher passt in dieses Bild etwa die Zunahme sogenannter „Bogus Journals“, die auf nichts anderes aus sind, als das bei Open-Access-Online-Journals gängige „Author pays“-Modell auf unlautere Weise für einen schnellen Dollar auszunutzen. Auch hierüber berichteten wir kürzlich im Beitrag “’Junk Journals‘ und die ‚Peter-Panne’”.

Genauso passen in dieses Bild die zunehmenden Klagen von Forschern, dass Journals den Veröffentlichungswunsch von Manuskripten, deren Daten bereits publizierte Paper widerlegen, schlichtweg ignorieren, ablehnen oder zumindest stark erschweren. Ein Thema, dem wir das Editorial unserer neuesten Lab Times-Ausgabe gewidmet haben. Diesen Beitrag weiterlesen »

NatureScienceCell

5. Juli 2011 von Laborjournal

 

Was ist eine CNS Disease? Eine Central Nervous System Disease, eine Erkrankung des zentralen Nervensystems — klar. Harold Varmus, ehemaliger Chef der US-National Institutes of Health (NIH), deutete indes den Kürzel-Begriff sarkastisch um und meinte mit CNS Disease die ‚Krankheit‘, dass im biomedizinischen Publikationsuniversum die Dreifaltigkeit der Zeitschriften Cell, Nature und Science allzu große, zumal oftmals voreilige Verehrung erfährt.

(Des öfteren spricht man sie ja mittlerweile in einem Wort aus: Naturesciencecell. Oder wie ein US-Kollege jüngst spottete:

Perhaps a new word could be coined: naturescienceandcell [ney-cher-sahyuhns-uhnd-sel] -noun: 1. General science journals that cause researchers to temporarily lose their sanity.)

Diesen Beitrag weiterlesen »

Wir starten ins neue Jahr…

2. Januar 2010 von Laborjournal

… mit allem, was Forscherinnen und Forscher über ihre wahren Impact Faktoren wissen sollten:

(via PHD Comics)

In diesem Sinne: Ein ereignisreiches, gesundes und erfolgreiches Jahr 2010 für alle Laborjournal und Lab Times-Leser!

Information 1


Information 2





Information 4


Information 5


Information 7


Information 8