Info

Warum klemmt’s bei Open Science und der Reform des akademischen Bewertungssystems?

Ulrich Dirnagl


Narr

(13.06.2022) Schon lange herrscht weitgehende Einigkeit: Das wissenschaftliche Bewertungssystem gehört reformiert und Open Science flächendeckend eingeführt. Befriedigend realisiert wurden bisher nur Bruchteile davon. Ein Implementierungsdefizit, das auch die Wissenschaftler selbst zu verantworten haben.

Im November vergangenen Jahres haben die 193 Mitgliedstaaten der UNESCO, also alle von der UN anerkannten unabhängigen Länder dieser Erde, „Empfehlungen zur Offenen Wissenschaft (Open Science)“ unterzeichnet. Darin verpflichten sich die Staaten, eine Kultur der offenen Wissenschaft zu fördern, in diese zu investieren und Anreize für sie zu schaffen. Dies war wohl nur ein vorläufiger Höhepunkt eines wahren Tsunamis von Empfehlungen, Manifesten und Aufrufen mit dem Ziel, die Wissenschaft transparenter sowie ihre Ergebnisse robuster und werthaltiger zu machen, wie auch mehr zu kollaborieren und Ergebnisse zu teilen – und die Gesellschaft stärker in den Forschungsprozess einzubeziehen.

Info

Die Europäische Kommission, die Leading European Research Universities (LERU), die European University Alliance (EUA), Science Europe (ein Zusammenschluss der größten europäischen Forschungsförderer inklusive der Deutschen Forschungsgemeinschaft (DFG)) – um nur ein paar Organisationen zu nennen: Alle haben sie in den vergangenen Monaten mit teilweise länglichen Papieren keineswegs nur einfach zu Open Science aufgerufen, sondern nahmen gleich eine Reform des gesamten wissenschaftlichen Belohnungs- und Karrieresystems in den Fokus dieser Aktivitäten! Diese, so steht es in all diesen Papieren, sei der wichtigste Hebel, um die Wissenschaft offener zu machen – und müsse insbesondere eine Abnabelung von ungeeigneten und gar schädlichen Metriken wie dem Journal Impact Factor (JIF) erwirken. Stattdessen sollten wir zu einer inhaltlich orientierten Bewertung von Forschern und deren Produkten umschwenken. Aus diesem Grund organisiert etwa die EU derzeit eine „Koalition der Willigen“, in einem großangelegten „Process towards an agreement on reforming research assessment“.

So richtig bewusst wurde mir all dies, als ich im Februar auf eine Open-Science-Konferenz nach Paris eingeladen wurde, die der französische Staat veranstaltete. Zeitungsleser wissen, dass Frankreich derzeit die Ratspräsidentschaft der EU innehat. Und ob Sie es glauben oder nicht, die Franzosen haben glatt Open Science zu einer wesentlichen Priorität ihres Vorsitzes über die europäischen Staaten gemacht. Auf dieser Konferenz sprachen und diskutierten nun die Granden der EU-Wissenschaftspolitik und -Forschungsförderung – wie etwa Jean-Eric Paquet, Leiter der Generaldirektion Forschung und Innovation der Europäischen Kommission, Maria Leptin, die Präsidentin des European Research Council (ERC), oder Marc Schiltz, der Präsident von Science Europe. Und sie alle argumentierten, als hätten sie das Laborjournal abonniert und alle meine Kolumnen gelesen und verinnerlicht!

Das machte mich nachdenklich. Nachfolgend habe ich deshalb alle oben angedeuteten knapp zwanzig Aufrufe zur Durchsetzung von Open Science und einer Reform der akademischen Begutachtungssysteme studiert (eine Link-Liste hierzu finden Sie unter dirnagl.com/lj). Da steht viel Schlaues drin. Wenn Sie selbst davon nur ein Papier im Original lesen wollen, empfehle ich die UNESCO-Empfehlungen, diese haben ja schließlich alle Staaten unterzeichnet, natürlich auch Deutschland. Wenn Sie die Sache allerdings weiter abkürzen wollen, hier ist meine Zwei-Sätze-Zusammenfassung aller Dokumente:

„Wissenschaftliche Erkenntnisse sollen für jedermann offen verfügbar, zugänglich und wiederverwendbar gemacht werden, die wissenschaftliche Zusammenarbeit und der Informationsaustausch zum Nutzen von Wissenschaft und Gesellschaft gestärkt und die Prozesse der wissenschaftlichen Erkenntnisgewinnung, -bewertung und -vermittlung für gesellschaftliche Akteure über die traditionelle Wissenschaftsgemeinschaft hinaus geöffnet werden. Das System der Forschungsbewertung muss reformiert werden, damit Qualität, Leistung und Impact von Forschung und Forschern auf der Grundlage geeigneterer Kriterien und Verfahren bewertet werden.“

Spätestens jetzt werden Sie sich vermutlich die Augen reiben. Wenn Staaten, Forschungsförderer und die wichtigsten akademischen Institutionen das so wollen, wenn deren Vertreter reden wie Open-Science-Aktivisten der ersten Stunde – warum wird Ihr Antrag oder Ihre Bewerbung dann immer noch nach der Reputation der Journale bewertet, in denen Sie veröffentlich haben? Warum sind in Ihrer Einrichtung JIF und Drittmittel-Aufkommen immer noch die wesentlichen Kriterien für das akademische Fortkommen? Warum wird, wenn Sie an einer medizinischen Fakultät arbeiten, Ihre Forschungsleistung über den JIF mit einer Genauigkeit von drei Nachkommastellen sowie der Summe Ihrer Drittmitteleinwerbung berechnet – und als „Leistungsorientierte Mittelvergabe“ (LOM) honoriert?

Welches also sind die Gründe für dieses eklatante Implementierungsdefizit?

Die Problematik ist – wie sollte es anders sein – komplex. Und auch nicht wirklich neu. Vor ziemlich genau zwanzig Jahren forderte die Budapester Open-Access-Initiative, die Ergebnisse aus öffentlich geförderter Wissenschaft eben dieser Öffentlichkeit bitteschön auch kostenfrei und online zur Verfügung zu stellen. Mehr als 1.300 Institutionen und Organisationen und mehr als 6.000 teils sehr prominente Individuen haben dies bisher unterzeichnet. Mittlerweile ist Open Access (OA), das ja einen Teil des weit mehr umfassenden Konstrukts Open Science darstellt, zwar im wissenschaftlichen Publikationssystems etabliert. Allerdings ist ein substanzieller Teil der Literatur immer noch nicht OA verfügbar, die prestigereichsten Journale – das heißt diejenigen, die uns den für unsere Karrieren so wichtigen hohen JIF verkaufen – bieten gleich gar kein OA; oder die Kosten für OA sind so hoch, dass sie die Autoren beziehungsweise Institutionen finanziell ruinieren können. Dies führt letztlich dazu, dass Ungleichheiten im Wissenschaftssystem nicht beseitigt, sondern sogar verstärkt werden. OA muss man sich eben leisten können – als Land und auch als Forscher. Vom Manifest-Stadium hat die OA-Bewegung also zwei Jahrzehnte bis zu einer partiellen Umsetzung in ein alternatives Geschäftsmodell der Verlage mit teils zweifelhaften Resultaten benötigt!

In Open Science steckt aber noch viel mehr drin als offener Zugang zu wissenschaftlichen Artikeln. Dazu gehören weiterhin etwa die Verfügbarkeit von Daten und Code, die Einbindung gesellschaftlicher Akteure in den Forschungsprozess, Kollaboration und Team Science sowie eine faire Begutachtungs- und Evaluationspraxis. Diese Breite generiert natürlich noch mehr Komplexität. Es ist eben nicht damit getan, ein Manifest zu schreiben und dann zu erwarten, dass alle darin angesprochenen Akteure sogleich überzeugt und begeistert sind und sich umgehend an dessen Umsetzung machen. Irgendwie hängt alles mit allem zusammen: Die Auflagen der Forschungsförderer, die Policies, die die Universitäten sich geben, welche Anreize sie ihren Wissenschaftlern setzen und welche Ressourcen sie dafür bereitstellen – aber auch die gesetzlichen Vorgaben und die Berechnungsmodelle, mit denen die Länder die Universitäten finanzieren. Und natürlich das, was alles so in den Köpfen der Wissenschaftler herumspukt.

Wenn sich zum Beispiel die Finanzierung einer Hochschule durch das Land an deren Publikationsleistung und eingeworbenen Drittmitteln orientiert, wird die Leitung dieser Hochschule ihre Wissenschaftler genau hierauf verpflichten wollen. Überdies schielen Hochschulleitungen auch sehr auf ihre Positionierung in internationalen Rankings. Bei diesen spielt die offene Wissenschaft aber mal gar keine Rolle. Und dann natürlich die Ressourcenfrage: Zum Beispiel bräuchten Wissenschaftler zum FAIRen (findable – accessible – interoperable – reusable) Teilen von Forschungsdaten Unterstützung durch Data Stewards und IT-Infrastruktur. Bekanntermaßen sind die deutschen Unis aber strukturell massiv unterfinanziert – da muss jeder Groschen zweimal umgedreht werden, bevor er dann am Ende doch für die an den JIF gekoppelte Leistungsorientierte Mittelvergabe (LOM) ausgegeben wird.

Aber auch wir Wissenschaftler tun uns schwer mit Open Science. Vor allem weil wir in einem System sozialisiert wurden, in dem diese für unser Fortkommen bisher völlig irrelevant war. Durch die Allgegenwart und Allmacht reputationsbasierter Metriken setzen wir Drittmittelzuwendungen und Publikationen in hochangesehenen Journalen mit Forschungsleistungen gleich. Diese folgenschwere Verwechslung ist dabei nur allzu verständlich: Denn es sind genau diese „Forschungsleistungen“, die zur Professur und zum Drittmittelerfolg führen. Auch die besagte LOM gaukelt uns die Gleichsetzung von JIF mit Forschungsleistung vor. Was soll da jetzt plötzlich das Gerede von Open Data oder gar der Beteiligung gesellschaftlicher Akteure in unserer Forschung? Oder von der Präregistrierung von Studienprotokollen? Das würde ja glatt unsere nicht-offengelegte Freiheit in der (Nicht-)Verwendung von Studienergebnissen einschränken – und damit das Geschichtenerzählen entlang den typischen „Next-we“-Narrativen in unseren Publikationen erschweren.

Für diejenigen, die in Kommissionen sitzen und Professoren berufen oder Anträge begutachten, hat die Fokussierung auf JIF und Drittmittel nebenbei noch ganz andere, nämlich sehr praktische Vorteile: Sie erleichtern die Selektion ungemein. Man kann die Kandidaten anhand von Kennzahlen ganz einfach in Spreadsheets sortieren und muss sich nicht mühsam durch deren wissenschaftliches Oeuvre quälen. Und wird dazu noch mit einer auf Zahlen beruhenden, damit also objektiven und „gerechten“ Auswahl belohnt.

Nur den Fördergebern fällt es viel leichter, neue Kriterien für die Bewertung von Forschung sowie Open-Science-Praktiken durchzusetzen. Wer zahlt, schafft eben an. Deshalb kommt von diesen auch momentan der größte Druck auf das System. Sie können all diese „Neuheiten“ bei uns Antragstellern ganz einfach einfordern – und in den Begutachtungsprozess integrieren. Europäische Union, Wellcome Trust und auch das Bundesforschungsministerium beginnen hier die Daumenschrauben anzusetzen. Nur die DFG tut sich dabei noch schwer. Kein Wunder, sie ist ja das Organ der „Selbstverwaltung“ beziehungsweise „Selbstorganisation der deutschen Wissenschaft“ – oder anders ausgedrückt: Wir sind die DFG! Das bedeutet, dass die arrivierten Wissenschaftler bei uns das Sagen haben und nicht irgendwelche Apparatschiks. Und so schallt es denn aus dem Akademikerwald zurück wie in den beiden Absätzen zuvor beschrieben.

Wir brauchen also keine weiteren Manifeste, sondern mehr Pioniere („Champions“) in der Umsetzung. Und mehr Handreichungen, wie die Implementierung von Open-Science-Praktiken denn konkret geschehen soll. Unter den Wissenschaftlern brauchen wir beispielsweise mehr Mut bei denjenigen, die es im System schon „zu etwas gebracht“ haben – und nicht mehr das akademische Hamsterrad drehen müssen. Die jungen Wissenschaftler, die überwiegend hinter einer grundlegenden Reform des akademischen Systems stehen, geraten durch den Auftrag, der in den Manifesten an sie herangetragen wird, in einen „Double Blind“: Sie sollen neue Praktiken und Kriterien umsetzen, während sie gleichzeitig nach den alten beurteilt werden. Mal abgesehen davon, dass sie das schwächste Glied in der Kette sind.

Von den akademischen Institutionen braucht es mehr Unterstützung ihrer Wissenschaftler und Kommissionen, zum Beispiel in Form entsprechender Trainings. Noch wichtiger aber: Sie müssten zusätzliche Kriterien bei der Leistungsorientierten Mittelvergabe wie auch bei der Rekrutierung einführen. Das könnte die Belohnung von Open Data sein, kurze Narrative zum eigenen Beitrag in Sachen Open Science in den Lebensläufen – oder auch kurze Begründungen, warum bestimmte Publikationen als die eigenen „besten Fünf“ ausgewählt wurden. Allein dass sie in Cell, Nature oder Science veröffentlicht wurden, wäre dabei keine geeignete Antwort. Oder wie wäre es etwa mit einer Verblindung der Journal-Namen in der Literaturliste? Und stattdessen Links bei den Titeln, die direkt in das Paper führen. Dann müssten Kommissionsmitglieder die Artikel zumindest aufrufen, um herauszufinden, wo sie publiziert wurden – und könnten so vielleicht auch gleich was von den Inhalten der Artikel mitbekommen.

Natürlich gäbe es viele weitere Möglichkeiten. Von keiner wissen wir, wie praktikabel sie ist, ob sie tatsächlich ihren Zweck erfüllt oder eher gar nicht-intendierte, negative Auswirkungen hat. Aber nur in der Anwendung finden wir das heraus, durch Pilotprojekte und maßvolle Modifikation bestehender Verfahren. Was funktioniert, wird ausgebaut – was nicht funktioniert, wird verbessert oder aufgegeben. Und im Idealfall sollten solche Pilotprojekte gleich als „Interventionen“ verstanden und wissenschaftlich begleitet werden. Schließlich kann Evaluations- beziehungsweise Implementierungsforschung solide Evidenz liefern, um Institutionen, Fördergeber und Wissenschaftler bei der Umsetzung von spezifischen Maßnahmen rational zu beraten.

Die Fördergeber sollten all dies unterstützen, indem sie für solche Maßnahmen und Pilotprojekte Förderlinien ausschreiben – aber auch für die begleitende Implementierungsforschung. Auch sollten sie die Beantragung von Mitteln ermöglichen, die Open Science fördern. Also zum Beispiel für Forschungsdatenmanagement, wissenschaftliches Qualitätsmanagement, Data Stewards, Patienten- und Stakeholder-Engagement und so weiter.

Last but not least müssen auch die Geldgeber der Universitäten aktiv werden. Sie sollten die Berechnung der Landeszuführungsbeiträge auch an die Umsetzung von offener Wissenschaft knüpfen – so wie sie dies ja auch schon für Open Access und Gleichstellung mit einigem Erfolg gemacht haben.

Ob das alles dann weniger braucht als zwei Dekaden, wage ich zu bezweifeln. Aber das sollte uns nicht abhalten, jetzt aktiv zu werden. Gut Ding will eben Weile haben.


Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj