Info

Back to the Future

(02.02.2021) Ist ein Evaluations­system, das sich weltweit durchgesetzt hat, noch refor­mierbar? Unser Wissenschaftsnarr meint: „Aber sicher!“
editorial_bild

Info

Info

Venomtech® nutzt die Wirkung von natürlich produzierten Tiergiften. mehr

Wissenschaft verschlingt massiv gesell­schaftliche Ressourcen, nicht nur finanzielle. Insbe­sondere für die akademische Forschung, die sich selbst verwaltet und sich gerne auf die im Grund­gesetz verankerte Forschungs­freiheit beruft, stellt sich damit die Frage, wie sie die Mittel einteilt, die ihr von der Gesell­schaft zur Verfügung gestellt werden. Es gibt keine natürliche Begrenzung, wie viel geforscht werden könnte – aber sehr wohl eine Beschränkung der Mittel, die die Gesellschaft für Forschung einsetzen kann und will. Welche Forschung soll also gefördert, welche Wissen­schaftler ins Brot gesetzt werden?

Für die Beantwortung dieser zentralen Fragen für den akademischen Betrieb haben sich über viele Jahrzehnte gewisse Mecha­nismen evolutionär entwickelt. Diese Mechanismen steuern aber nicht nur die Verteilung der Mittel in und zwischen den Institutionen, sondern letztendlich auch die Inhalte und die Qualität der Forschung. Den individuellen Wissen­schaftlern, die in der Academia nicht nur ihrem Forscher­drang nachgehen, sondern auch ihren Lebens­unterhalt verdienen, geht dies in Fleisch und Blut über – sie halten das für so etwas wie eine natürliche Ordnung. Die Verteilungs- und Leistungs­bewertungs­mechanismen und die dazu­gehörige Indikatorik bestimmen ihren Tagesablauf samt der Art und Weise, wie sie forschen, mehr als die tägliche Lektüre von Fachliteratur, der Blick durchs Mikroskop oder Kongress­vorträge. Auch wenn das den Wenigsten wirklich bewusst ist.

Info

Info

Info

Neues Liquid End für die Liquid Handling Station von BRAND ermöglicht neue Anwendungen für Pipettierroboter. mehr

In der letzten Folge (LJ 12/2020: 18-19) hat der Wissen­schaftsnarr die Frage gestellt, wie sich das heute weltweit etablierte Karriere-, Belohnungs- und Begut­achtungs­system entwickeln konnte – von den Anfängen der modernen Wissenschaft im 17. Jahrhundert bis heute. Wie es dazu kommen konnte, dass quanti­tative Indikatoren wie der Journal-Impact-Factor (JIF) und die Höhe der Drittmittel­einwerbung bei der Beurteilung von Forschern und deren Anträgen eine wichtigere Rolle spielen als die Inhalte, Relevanz oder Qualität der Forschung selbst. Frei nach dem Motto: „Sag mir deinen JIF – und ich sage Dir, ob Du ge- oder befördert wirst.“

Dabei stellte sich heraus, dass dieses Beurtei­lungssystem nur wenige Dekaden alt ist; vermutlich ist erst eine Generation von Wissen­schaftlern komplett in ihm sozialisiert worden. Das System erwuchs im Wesent­lichen aus zwei Entwick­lungen. Zum einen aus der Industria­lisierung und massiven Ausweitung von akademischer Forschung. Diese wiederum ist das Resultat ihres eigenen immensen Erfolgs, aber gleichzeitig auch der mit diesem Erfolg abnehmenden Effizienz von Forschung geschuldet. Denn weil die „Früchte der Erkenntnis“ immer höher hängen, benötigt es einen immer größeren Einsatz an Forschung, um den Erkenntnis­gewinn pro eingesetztem Förder­betrag konstant zu halten, wenn nicht zu steigern. Zusammen­genommen führt dies zu einer immer weniger beurteilbaren Flut von Forschern, Projekten, Anträgen und Artikeln. Um da noch durch­zukommen, benötigen wir einfach und schnell zu erhebende Bewertungs­kriterien. Am besten welche, die man anwenden kann, ohne sich die Mühe zu machen, die eigentlichen Inhalte der Wissenschaft zu beurteilen.

Info

Info

Info

Med. Fachkräfte stehen unter Druck. Helfen Sie die Widerstandsfähigkeit Ihrer Mitarbeitenden zu stärken. mehr

Die zweite wesentliche Triebfeder der Entstehung des heutigen Beurteilungs­systems ist der nachvoll­ziehbare Wunsch nach Verteilungs­gerechtigkeit. Wir wünschen uns objektive Kriterien, die reprodu­zierbar sind und nicht der Willkür unter­worfen – und die eine eindeutige Diskrimi­nierung zwischen Bewerbern oder Anträgen erlauben, im besten Fall sogar ein einfaches Ranking. Niemand soll gefördert werden, weil sich ein mächtiger Mentor hinter den Kulissen eingemischt hat. Sondern weil man etwas geleistet hat, das jeder nach­vollziehen kann.

Und schon sind wir beim JIF und den akkumulierten Drittmitteln. Einfach, objektiv, quantifizierbar, nachvoll­ziehbar. Man muss weder einen Artikel eines Kandidaten gelesen haben noch dessen ganzen Lebenslauf. Ein Blick auf die Literaturliste (für die Doofen gerne mit dem auf 2 oder 3 Nach­komma­stellen genauen JIF hinter jedem Journal-Namen), dazu noch auf die Aufreihung der Drittmittel – das reicht völlig. Wer Übung hat und häufiger in Kommis­sionen sitzt oder begutachtet, schafft das locker in drei Minuten pro Kandidat.

Natürlich liegt genau hier der Hase im Pfeffer: Wie effizient und nützlich kann ein Verteilungs- und Bewertungs­system sein, dessen Mess- und Steue­rgrößen sich von den Inhalten, der Relevanz und der Qualität der zu steuernden Forschung verabschiedet haben? Nicht nur der Wissen­schaftsnarr schlägt hier Alarm. Die Spatzen pfeifen es von den Dächern, dass es so nicht weitergehen kann.

Info

Info

Mit einem Reaktionsgefäß und einer Deep-well-Platte erweitert BRAND das Programm für das Probenhandling. mehr

Wie aber könnte man es besser machen? Ist ein System überhaupt reformierbar, das sich weltweit durchgesetzt hat und dazu doch offen­sichtlich funktioniert – Stichwort CRISPR, SARS-CoV2-Vakzine et cetera? Nur ein Narr kann sich erlauben, diese Frage mit einem klaren „Ja“ zu beantworten – und gleich noch ein paar praktische Vorschläge hierfür zu formulieren.

Vorweg zunächst drei Prämissen:

1. Forschung kann nur beurteilen, wer sich kompetent und konkret mit deren Inhalten, Methoden, Ergebnissen und Inter­pretationen ausein­andersetzt. Das ist natürlich sehr unangenehm, denn das ist aufwendig, kann nicht automatisiert werden und ist nicht quantifizierbar.
2. Wir dürfen den gesell­schaftlichen Einsatz an Ressourcen für Forschung nicht reduzieren, sondern müssen die vorhandenen Ressourcen effizienter einsetzen. Man könnte nämlich darauf kommen, einfach weniger Forschung zu fördern. Auf diese Weise könnte man den Output so weit reduzieren, bis dieser am Ende wieder inhaltlich bewertbar würde. Allerdings würde man damit die Uhr mehr als hundert Jahre zurück­stellen und eine wissen­schaftliche Eiszeit induzieren – das geht natürlich gar nicht!
3. Die nötigen Veränderungen im Bewertungs- und Verteilungs­system müssen von außen kommen, also von den staatlichen Förder­einrichtungen, den Hochschulen und den außer­universitären Wissen­schaftsorga­nisationen. Die Wissen­schaftler, die ihren Weg in die Academia suchen, haben schließlich keine andere Wahl, als sich den Bedingungen der Konkurrenz um Fördermittel und berufliche Positionen zu stellen. Sie sind ja das Objekt der Bewertungs­mechanismen.

Info

Info

Einfache Protokolle, hoher Durchsatz, schnelle Prozesse: Wie Sie Ihre SARS-CoV-2 Forschung optimieren mehr

Womit könnte man beginnen? Um eine inhaltliche und qualitative Bewertung von Forschungs­leistungen durch­zusetzen, müsste man zunächst die Verwendung von abstrakten Indikatoren (JIF, Drittmittel­einwerbung et cetera) gezielt verhindern – und nicht nur deren sparsamen und nur unter­stützenden Gebrauch anmahnen! Dies bedeutet konkret: Die Angabe von JIF, h-Faktor und Co. verbieten und durch die obligatorische Verwendung von Narrativen zur Beschreibung des eigenen Beitrages ersetzen. Das Zitieren eigener Arbeiten in Lebensläufen und Anträgen sollte nur unter Angabe von Titel, Autoren sowie eines Identifiers wie etwa der PMID (PubMed Identifier) ohne Nennung des jeweiligen Journal-Namens erfolgen. Damit kann die Referenz aufgerufen und gelesen werden, das pure Durchsuchen von Literatur­listen nach Journal-Namen ist dann aber nicht mehr möglich. Diese Kurz­narrative würden auch ganz natürlich zu einer Beschränkung auf wenige relevante Literatur­stellen führen. Denn wer wollte schon mehr als zehn oder mehr davon schreiben?

Eine Fokussierung auf Erst- und Letztautor-Positionen ist dann auch nicht mehr nötig und sollte ganz entfallen. Schließlich handelt es sich hierbei ohnehin um eine potenziell schädliche Fiktion: Heutzutage liefern zu jeder relevanten biomedizinischen Arbeit eine Vielzahl von Wissen­schaftlern verschieden­artigste Beiträge. Diese lassen sich nicht auf zwei Positionen in der Autoren­liste reduzieren, die noch dazu gar nicht eindeutig definiert sind. Die geteilte Autorschaft mit Sternchen ist nichts weiter als der alberne Versuch, sich um diese Erkenntnis herumzumogeln.

Info

Info

Gesucht werden Patienten mit ungeklärter Entwicklungsstörung, Epilepsie und Sprachschwierigkeiten mehr

Damit zusammen­hängend müssten auch die Mindest­anzahlen von Publikationen fallen, wie sie derzeit für Promotion, Habilitation et cetera gefordert werden. All dies provoziert nur das Slicing von Studien in kleinere Einheiten, die Inflation von Publikationen, die keiner braucht, unsinnige und unnötige Diskussionen um Autoren­positionen – sowie noch andere Unsitten. Stattdessen sollte ein Narrativ den wissen­schaftlichen Beitrag individueller Wissen­schaftler darlegen. Ob dieser dann Promotions- oder Habilitations-würdig ist, müssen die zuständigen Kommissionen in einer inhaltlichen Ausein­andersetzung mit dem Œuvre der Kandidaten entscheiden, aber nicht wie derzeit üblich aus dem Studium eines Spreadsheet-Rankings ableiten.

Bei dieser Gelegenheit sollte man dann gleich versuchen, zu alphabetischen Autoren­listen überzugehen, wie in den Multiautor-Kollabo­rationen der Hochenergie-Physik schon lange erfolgreich praktiziert. Dafür gibt es unter https://casrai.org/credit bereits eine hervorragende Taxonomie, die sich auch für die Lebens­wissenschaften eignet.

Letztendlich ergeben sich Reputation und Renommee von Wissen­schaftlern doch aus ihren inhaltlichen Beiträgen und ihrem Standing in der Community. Daher sollten auch Reviews und Beurteilungen durch Peers Berück­sichtigung finden, die nach deren Publikationen entweder bei den Journalen (etwa nach Post-Publication-Review) oder aber auch auf sozialen Medien publiziert werden. Science Twitter ist in vielen Feldern bereits heute wesentlich transparenter, nachvoll­ziehbarer, aktueller und damit auch wissen­schaftlicher als alther­gebrachte Formate des Diskurses wie etwa Letters to the Editor oder Ähnliches.

Die Qualitätskontrolle wissen­schaftlicher Publikationen findet ohnehin in den sozialen Medien effizienter statt als im klassischen Peer Review. Ein Beispiel hierfür ist, dass die Qualitäts­probleme, die am Ende zur Retraktion von Papers aus hochrangigen Journalen führen, bereits seit einiger Zeit zuallererst auf Twitter oder in Blogs exponiert werden. Und vorher im Peer Review regelhaft übersehen wurden.

Die oben genannten Maßnahmen würden bereits eine massive Reduktion der Artikelflut bewirken, wodurch eine Ausein­andersetzung mit deren Inhalten erleichtert wird. Inhalte und Qualität können dann auch tatsächlich wissen­schaftliche Reputation und Renommee bestimmen, und nicht Proxies wie JIF und Drittmittel.

Es fehlt aber noch etwas Wesentliches: Die Karriere­wege in der Academia müssen sich ändern. 83 Prozent des wissen­schaftlichen Personals sitzt auf befristeten Stellen! Der immense Konkur­renzdruck, überhaupt im System bleiben zu können oder es gar von der Basis der Pyramide an die Spitze zu schaffen, führt zur Selektion von Eigenschaften, die weder förderlich für Qualität noch für Kooperation in der Wissenschaft sind. Die Pyramide muss vielmehr zu einem Trapez geformt werden. Dabei muss die Spitze flacher, und die Basis etwas weniger breit werden. Das bedeutet aber auch, weniger PhD-Studenten (als „billige“ Arbeitskräfte) ins System einzuschleusen als bisher. Wer den keineswegs unbeschwer­lichen Weg in die akademische Berufswelt nimmt, muss die reelle Chance haben, durch gute Wissenschaft (und nicht nur durch drei „Top-Publikationen“) langfristig ein Auskommen zu haben.

Und nun setzt der Narr zum letzten Schlag an: Nach Einführen eines rein inhalts- und qualitäts­orientierten Bewertungs­systems sowie Kappen der akademischen Karriere-Pyramide fehlt als drittes Element noch... der Zufall! Da echte Innovation nicht vorhersagbar ist und jeder wie auch immer geartete Begut­achtungs­prozess tendenziell den Mainstream begünstigt, sollte ein Teil der Förderung in Lotterien vergeben werden. Ja, Sie haben richtig gelesen: Verlost werden! Wer Näheres dazu wissen will, dem sei ein früherer Beitrag des Wissen­schaftsnarren empfohlen (LJ 04-2019: 18-19). Solch ein Vergabemodus würde uns auch mehr Zeit zum Forschen lassen, weil ein Teil der Antrag­schreiberei und deren Begut­achtung wegfallen würde. Sicher würde vieles gefördert werden, das eher mittelmäßig ist und nicht den versprochenen Durchbruch bringt – doch das ist ja jetzt auch schon so. Die Wahrschein­lichkeit aber, dass tatsächlich mal etwas bahnbrechend Neues gefördert würde, stiege indes erheblich.

Doch wie realistisch sind solch närrische Gedankenspiele? Kaum zu glauben, aber die DFG arbeitet derzeit tatsächlich an einem Positions­papier, das – abgesehen von der Lotterie – all dies und sogar noch mehr umzusetzen empfehlen soll, was der Narr sich hier gerade eben zusammen­gesponnen hat. Und das ist nicht nur eine der üblichen „Denkschriften“, mit denen man zeigt, dass man ein ‚Problem‘ erkannt hat und man sich viel vornimmt – aber wenig tut, weil alles so furchtbar komplex ist. Die DFG empfiehlt sich darin selbst, gleich und ganz konkret mit der Umsetzung zu beginnen! Wenn dieses Papier verab­schiedet wird, reiht sich also endlich auch unser wichtigster Forschungs­förderer ein in die weltweite Riege der Fördergeber und Institutionen – wie etwa der Wellcome Trust oder die holländische ZonMw –, die es ernst meinen damit, dass es so nicht weitergehen kann.

Sogar die Lotterie wird übrigens mancherorts schon ausprobiert, zum Beispiel bei der VolkswagenStiftung. Vielleicht ist also gar keine Zeitmaschine mehr nötig, und die Zukunft hat schon (ein bisschen) begonnen?

Ulrich Dirnagl

Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj



Letzte Änderungen: 02.02.2021

Diese Website benutzt Cookies. Wenn Sie unsere Website benutzen, stimmen Sie damit unserer Nutzung von Cookies zu. Zur ausführlichen Datenschutzinformation