Über den Unsinn, Forscher nach Höhe ihrer Fördermittel zu beurteilen

28. Juli 2021 von Laborjournal

Why you shouldn’t use grant income to evaluate academics“ war der Titel des Kurzvortrags, den Dorothy Bishop, Professorin für Experimentelle Psychologie an der Universität Oxford, kürzlich bei einem Meeting zum Thema „Irresponsible Use of Research Metrics“ hielt. Darin räumte sie auf mit der allzu simplen Logik, aufgrund derer die Summe der eingeworbenen Forschungsmittel inzwischen ein immer größerer Evaluations-Faktor geworden ist.

Wer viel Geld bewilligt bekommt, der kann nicht schlecht sein – so der Kerngedanke dahinter. Zumal die Kandidaten mit den entsprechenden ja immer wieder jede Menge kritische Kollegen überzeugen muss. Ganz klar also: Wo nach eingehender Prüfung stetig Geld hinströmt, da muss auch Qualität sein.

 

Auch mit teurer Technologie erntet man bisweilen nur tiefhängende Früchte.

 

Bis heute, so stellt Dorothy Bishop dazu klar, habe man keinerlei belastbare Korrelation zwischen Antragshöhe und Antragserfolg feststellen können – unter anderem, da bei letzterem einfach zu viel Glück und Zufall im Spiel ist. Man würde daher vor allem dafür belohnt, wie viel Glück man hat. Und das sei letztlich ziemlich demoralisierend für die Forscher, da sie sich nicht auf faire Weise evaluiert fühlen.

Wir nahmen dies in einem früheren Blog-Beitrag einmal folgendermaßen aufs Korn: 

Da fällt mir ein, wie Kollege Maier das Ganze bei unserem Stammtisch mal als „wissenschaftlichen Benzinverbrauch“ betitelt hat — und weiter gespottet, dass einige Fahrer auch mit viel verfahrenem Benzin nur im nächsten Ort landen. War schon witzig. Und Kollege Müller ergänzte süffisant, dass man ja auch die Qualität eines Gemäldes nicht nach den Kosten für Pinsel, Farbe, Leinwand und so weiter beurteilt…

Und an anderer Stelle versuchten wir das Dilemma, das sich aus solcher Evaluation nach der Höhe der eingeworbenen Forschungsmittel ergibt, durch folgende fiktive Anekdote zu illustrieren:

Denken wir uns mal ein nicht untypisches Szenario. Forscher Müller hat einen großen Grant bekommen, mit dem er nach allen Regeln der Kunst und mit neuester Technologie einen gewissen zellulären Steuermechanismus entschlüsseln darf. Fortan ackern drei Postdocs samt zig anderen Mitarbeitern unermüdlich am Projekt, der Maschinenpark läuft rund um die Uhr – und tatsächlich, nach zwei Jahren steht ein Major Paper an.

Nach dessen Einreichung erfährt Müller jedoch vom zuständigen Editor, dass ein gewisser Svensson gerade ebenfalls ein Manuskript zum gleichen Thema eingereicht hat. Die Resultate seien zu einem großen Teil deckungsgleich und würden sich wunderbar gegenseitig bestätigen. Daher würde man im Fall der Fälle gerne beide Artikel back to back in der gleichen Ausgabe veröffentlichen.

Kein Problem, denkt Müller – aber wer ist dieser Svensson? Er beginnt zu recherchieren und erfährt, dass Svensson Nachwuchsgruppenleiter an der Universität Umeå ist. „Hm“, denkt er, „viele Leute kann er demnach wohl nicht haben.“ Und tatsächlich bestätigt sich zwei Anrufe später Müllers unangenehm nagender Verdacht: Svensson hat das Problem mit einem erschreckend einfachen Ansatz gelöst – und damit viel billiger! Was ja auch klar ist: So große Grants wie Müller kann Nachwuchsforscher Svensson noch gar nicht haben.

So gesehen hat sich Svensson zumindest in dieser einen Frage als der „bessere“ Forscher erwiesen, schließlich hat er sie effizienter und eleganter gelöst. Doch was würde wohl passieren, wenn sich jetzt beide um die gleiche Stelle bewerben würden? Wer würde sie wohl bekommen? Ziemlich sicher Müller. Nicht zuletzt, da der neue Arbeitgeber von dessen großen Grants ordentlich mitprofitiert. Da lässt man auch mal einen hoffnungsvollen Nachwuchsforscher abblitzen.

Dorothy Bishop stellt klar, was generell passiert, wenn man derart ungeeignete Kriterien zur Evaluation von Forschern einsetzt: Deren Produktivität wird zerstört. Überdies würden Anreize geschaffen, welche die Forscher dazu treiben, vor allem teure Projekte zu verfolgen. Mit dem Resultat, dass womöglich manche brillante, aber „billige“ Idee zugunsten eines teuren Low-Hanging-Fruit-Projekts geopfert werde.

Die größte Crux jedoch sei, dass die Evaluation nach Höhe der eingeworbenen Fördermittel ein Input-Maß ist, das ein „End in itself“ darstellt. Der Output – also, was mit dem Geld am Ende tatsächlich herauskommt – wird nicht mehr wirklich evaluiert. Höchstens indirekt und an anderer Stelle über die Publikationen, die aus dem geförderten Projekt entstehen.

Ein Punkt, den Bishops Kollege Adrian Burgess auf Twitter folgendermaßen kommentiert:

Ich stimme allem zu, was Sie sagen – insbesondere Ihrem Punkt, dass die Fördermittel-Einnahmen eine Input-Maßnahme sind. Das führt zu perversen Anreizen, teure Forschung zu betreiben, und lenkt von kosteneffektiven Alternativen ab. Wo sonst belohnen wir Leute dafür, dass sie die gleiche Arbeit zu einem höheren Preis machen?

Ralf Neumann

 

Schlagworte: , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...