(03.07.2018) Ratings und Rankings stammen aus demselben Holz – meint der Bibliothekar Rafael Ball und fordert die Wissenschaft auf zu handeln: Denn nur sie selbst kann sich aus der Abhängigkeit der bibliometrischen Analysesysteme ziehen.
Das einstige Vorzeigeunternehmen Cambridge Analytica hat vor wenigen Wochen Konkurs angemeldet. Zu stark war das Big-Data- und Analytics-Unternehmen in den US-amerikanischen Wahlkampf um die Präsidentschaft involviert. Und zu stark waren die Verflechtungen von Cambridge Analytica mit dem Internet-und Datengiganten Facebook. Dass die Unternehmensleitung und führende Mitarbeiter von Cambridge Analytica längst wieder am Aufbau eines neuen Daten-Analyseunternehmens arbeiten, verwundert dagegen niemanden.
Zweites Beispiel: Die US-amerikanische Ratingagentur Standard & Poor‘s hat kurz nach Bekanntgabe der geplanten italienischen Regierungsmannschaft eine Abwertung des Landes fast auf Ramsch-Niveau angedroht.
Die Welt in der wir heute leben und die der ehemalige Schweizer Bundesrat Kaspar Villiger 2017 als eine „Durcheinanderwelt“ bezeichnet hat, ist vor allem durch eine Quantifizierungseuphorie charakterisiert. Der ubiquitäre Einsatz von Zahlen und die Übertragung quantitativer Parameter in numerische, leicht vergleichbare Zahlenangaben ist zwar keine Erfindung der digitalen Zeit. Doch die Quantifizierung ist seit der Digitalisierung und den damit einhergehenden Möglichkeiten, unvorstellbare Datenmengen in kürzester Zeit zu prozessieren, zu einem „echten“ Thema mutiert und geradezu entfesselt worden. So kommt es nicht von ungefähr, dass in weiten Teilen von Wirtschaft, Politik und Wissenschaft weniger auf die tatsächlichen Ergebnisse, Qualitäten, Prozesse und Urteile geschaut wird. Als eigentliches Ergebnis politischen, wirtschaftlichen oder wissenschaftlichen Handelns wird vielmehr deren Analyse und Wahrnehmung gesehen. Aus dem Anspruch „Being Good“ ist längst die Parole „Looking Good“ geworden. Und das könnte sich für die Wissenschaft, deren Anspruch es (hoffentlich) noch immer ist, ihre eigene Arbeit an der Objektivität und Wahrheitsfindung auszurichten und nicht an externen Bedingungen, als fatal erweisen.
Doch von Anfang an...
1792 entstand in den USA an der New Yorker Wall Street erstmals ein regelmäßiger Handel durch 24 Broker und mit ihm der Bedarf einer Bewertung der gehandelten Anleihen und Aktien. Kleine Ein-Mann-Unternehmen gaben Auskünfte über die Sicherheit von Krediten und Anleihen. Sie blieben aber unbedeutend.
Erst die Erschließung Nordamerikas durch die Eisenbahn im 19. Jahrhundert ließ die Börse zu einer bedeutenden Größe werden. Die Investition in die boomende Eisenbahnindustrie war ein beliebtes Spekulationsobjekt für Anleger. Börsenschwankungen und ein anschließender Börsencrash 1837 führten zum Bedarf und der Nachfrage nach Bewertungen zur Finanzlage und Geschäftsentwicklung der beteiligten Unternehmen. Es schlug die Zeit der ersten Ratingagenturen. Zu komplex waren die wirtschaftlichen Strukturen und Verhältnisse der Unternehmen, zu aufwendig war es für die Investoren, Geschäftsberichte und Unternehmensergebnisse zu analysieren und zu vergleichen, um diese als Basis für die Entscheidungen des Investments zu verwenden. Auch das Vertrauen in das Insiderwissen von Investmentbanken war nicht ausreichend. Schnell entstand der Wunsch nach unabhängigen Bonitätsanalysen von Schuldnern.
Ratingagenturen sind hier eingesprungen und haben sich mit der gesamten Bewertung der wirtschaftlichen Leistungsfähigkeit von Unternehmen und Staaten unabkömmlich gemacht. Zusammen mit einer staatlichen Akkreditierung und einer sehr engen Zulassungspraxis war das Monopol der Ratingagenturen gesichert. Bis heute bestimmen nur drei Ratingagenturen die Geschicke der globalen Wirtschafts- und Finanzinvestitionen – nämlich Standard & Poor`s, Moody`s und Fitch. Sie beherrschen 95 Prozent des Marktes.
Interessanterweise enthielten die frühen Reports der Ratingagenturen noch keine Wertungen, ihre Aussagen bezogen sich noch nicht auf die Zukunft, sondern bestanden nur in der Aufbereitung der Daten und Zahlen aus der Vergangenheit. Gedacht war das aufbereitete Datenmaterial als Ersatz für das ausführliche Selbststudium der Unternehmenszahlen und deren Angaben. Erst zu Beginn des 20. Jahrhunderts entstanden immer mehr statistische Publikationen und Reports durch die Ratingagenturen. 1923 wurde von „Standard Statistics“ (dem Vorläufer von Standard & Poor‘s) ein Index mit 223 Aktien entwickelt und eine Metrik mit der noch heute verwendeten Bewertungsskala von „AAA“ bis „D“ eingeführt.
Die Benennungsmacht geht dabei aus von der Vereinfachung der qualitativen Rahmenbedingungen und Grundlagen von Unternehmen und Staaten sowie deren Übersetzung in simple Zahlen und Noten. Schnell und unkompliziert kann so ein interessierter Investor entscheiden, ob er in ein Unternehmen oder einen Staat (beziehungsweise dessen Anleihen) mit der entsprechenden Note investiert oder aber nicht.
Bei Unternehmen und Staaten wird durch die Benennungsmacht der Notenindikatoren der Ratingagenturen aber gleichzeitig ein strategisches Verhalten verursacht. Denn wer eine gute Benotung durch die Ratingagentur braucht (und das brauchen alle), akzeptiert die von den Ratingagenturen als gut, wirtschaftlich erfolgreich und sinnvoll benannten Prozesse und Strukturen im Unternehmen. Nur dann besteht die Chance auf ein positives Rating durch die Agentur. Es gibt unzählige Beispiele von großen, global agierenden Unternehmen, die ihre Firmenstruktur, Governance und Managementprozesse den Vorgaben der Ratingagenturen angepasst haben. Auch Staaten ordnen sich den Kriterien der Agenturen unter. Jüngste Beispiele sind Griechenland und Italien.
Ihre Benennungsmacht haben die Ratingagenturen schnell in eine ökonomische Macht umgewandelt. Sie haben nur ein Produkt – und das ist die Note. Wer Geld von Investoren benötigt, muss eine Ratingagentur beauftragen, eine Bewertung vornehmen zu lassen, um dann eine Note zu erhalten. Wer das nicht tut, und sich der Bewertung durch einen der drei Oligopolisten entzieht, hat keine Chance, auf dem globalen Finanzmarkt Geld zu bekommen. Damit ist das perfekte Geschäftsmodell für einen nahezu unversiegbaren Goldesel entstanden. Zudem übernehmen die Ratingagenturen keinerlei Verantwortung für die Konsequenzen ihres Handelns. Formal bezeichnen die Ratingagenturen ihre Bewertungen und die zugrunde liegenden Analysepapiere als wissenschaftliche Informationen über ein Unternehmen oder einen Staat.
In der Ökonomie hat die Quantifizierung über die Noten der Ratingagenturen, zusammen mit der staatlich kontrollierten Akkreditierung der Agenturen zu einem Oligopol geführt, deren Abhängigkeit bis heute besteht und die trotz vorhandener und oft geäußerter Kritik nicht durchbrochen wird. Auch die Globalisierung des Finanzmarkts und ihrer Gesetze (und damit die internationale Vergleichbarkeit von Unternehmen) sind ein weiterer Grund für den Erfolg der Quantifizierung und Simplifizierung und der daraus folgenden Abhängigkeiten.
Alles Argumente, die so oder ähnlich auch für die Anwendung von Bibliometrie in der Wissenschaft gültig sind. Im Jahre 1963 entwickelte der US-amerikanische Chemiker Eugene Garfield ein System, mit dessen Hilfe Bibliotheken ihre Literaturauswahl und den Bestandsaufbau optimieren sollten. Denn bereits damals konnte sich nicht jede Bibliothek alle erscheinenden Zeitschriften leisten. Die Idee von Garfield war bestechend: Er zählte die Anzahl der erschienenen Artikel und ihrer Zitationen in wissenschaftlichen Zeitschriften. Je mehr Zitate die Artikel einer Zeitschrift auf sich versammeln konnten, desto besser und wichtiger mussten nicht nur die einzelnen Beiträge sein, sondern in der Summe auch die jeweiligen Zeitschriften, in denen sie erschienen waren. Diesen Indikator nannte er „Journal Impact-Faktor“ (und so heißt er noch heute). Er sollte als Maß für die Qualität einer Zeitschrift, und damit als Entscheidungshilfe für die Beschaffungspolitik der Bibliotheken dienen. Eugene Garfield wollte zunächst US-amerikanische staatliche Stellen für sein Projekt und das von ihm gegründete Institute for Scientific Information (ISI) gewinnen. Diese jedoch winkten ab und so entschloss sich Garfield zur Gründung eines privaten Unternehmens.
Dabei ist die Bibliometrie, also die Zählung und Messung von wissenschaftlichem Output und dessen Wahrnehmung, schon viel älter. 1917 haben Cole und Eales erste bibliometrische Untersuchungen über die erschienene Literatur zur Anatomie der Jahre 1550 bis 1860 angestellt. 1927 haben die beiden Bibliothekare P. und E. Gross die erste Zitatanalyse durch die Untersuchung von Fußnoten in chemischen Publikationen durchgeführt.
Schnell entwickelten sich die Indikatoren zur Publikationstätigkeit und deren Wahrnehmung weiter. Die ursprüngliche Idee, Bibliotheken beim Erwerb von Literatur mit diesen Indikatoren zu unterstützen, geriet dabei schnell in Vergessenheit.
Im Mittelpunkt stand und steht bis heute die Bewertung von Personen, Institutionen oder ganzen Ländern und deren wissenschaftlichem Output. Man mag beklagen, dass diese Instanzen heute privatwirtschaftliche Unternehmen sind (eben Analyseunternehmen), wird sich jedoch erinnern müssen, dass staatliche Stellen hier frühzeitig ihr Desinteresse bekundet hatten.
Die Benennungsmacht bei der Quantifizierung des wissenschaftlichen Outputs über die Indikatoren der Bibliometrie ist ganz parallel zur Benennungsmacht der Ratingagenturen und ihrer Notenindikatoren zu verstehen. Komplexe wissenschaftliche Inhalte werden nicht über eine qualitative Urteilsbildung bewertet und eingeordnet, sondern über das mittelbare System einer Quantifizierung der bloßen Wahrnehmung. Dabei wird eine hohe Wahrnehmung (viele Zitate) mit einer guten Qualität, eine geringere Wahrnehmung mit einer weniger guten Leistung gleichgesetzt. Nur wer diesen Zusammenhang (für den im statistischen Mittel einiges spricht) anerkennt, kann die Quantifizierung der Bibliometrie akzeptieren.
Während in der Ökonomie und Finanzwirtschaft die Leistungsfähigkeit und Bonität von Unternehmen und Staaten auf eine einzige Note reduziert werden, existieren in der Bibliometrie einige wenige Parameter, wie der Journal Impact-Faktor, die Zitierrate oder der H-Index, um aus den komplexen wissenschaftlichen Beiträgen auf die Qualität ihrer Autoren oder der Zeitschriften, in denen sie erschienen sind, rückzuschließen. Gleich ist jedoch das Prinzip, von der Quantität auf die Qualität zu schließen.
Auch hier wurde die Benennungsmacht schnell in eine ökonomische Macht übersetzt. Heute gibt es zwei zentrale Datenbanken („Scopus“ von Elsevier und „Web of Science“ von der Firma Clarivate Analytics), die die relevanten Indikatoren zur Bewertung wissenschaftlicher Publikationen und ihrer Wahrnehmung automatisiert erstellen. Auch sie sind – ähnlich wie die Ratingagenturen in der Wirtschaft – zu einem Oligopolsystem geworden, an dem niemand mehr in der Wissenschaft und im Wissenschaftsmanagement vorbeikommt. Sie setzen den Benchmark.
Doch die Übersetzung komplexer, qualitativer wissenschaftlicher Erkenntnisse in einige wenige Kennzahlen könnte sich für die Wissenschaft und ihr Selbstverständnis als problematisch erweisen. Anders als wirtschaftliche Prozesse, deren Erfolge sich ausschließlich durch Umsatz, Marktanteil und Gewinn definieren lassen, geht es in der Wissenschaft um Erkenntnis, Kreativität und Wahrheitsfindung. Erfolg oder Misserfolg sind in der Wissenschaft grundsätzlich anders definiert als in der Wirtschaft.
Die Fokussierung der Wissenschaftler, des Wissenschaftsmanagements und der Forschungsförderer auf wenige Kennzahlen der Bibliometrie, die nur Wahrnehmung, nie aber Qualität messen, führt schnell zu Anpassungsstrategien im Sinne der verwendeten Metriken und der jeweiligen Wertvorstellungen der wenigen Anbieter bibliometrischer Daten. Durch die breite Anwendung der Quantifizierung des wissenschaftlichen Outputs und vor allem der Publikationen in Form einiger weniger Indikatoren bei der Karriereplanung, bei Berufungsverfahren und der Vergabe von Forschungsfördermitteln perpetuiert und verstärkt sich das System permanent selbst. Die gezielte Ausrichtung an bibliometrischen Indikatoren in der Wissenschaft selbst kennzeichnet nicht nur eine Abkehr von ihrer eigenen inneren Logik, sondern führt – neben dem bereits genannten Looking-Good-Effekt – zu einer Konzentration auf „Mainstream-Themen“ und leicht verwertbaren Inhalten. Alternative Metriken, die Social Media Impact, Links, Likes und Downloads messen, mögen zwar das Oligopol der Bibliometrie-Datenanbieter ein wenig aufweichen, ändern jedoch nichts Prinzipielles an der problematischen Gleichsetzung von Wahrnehmung und Qualität.
Die Entwicklung zahlengeleiteter Bewertungssysteme in der Wissenschaft ist jedoch nicht nur auf den (inszenierten oder tatsächlichen?) Wettbewerb in der globalen Wissenschaft zurückzuführen. Sie ist auch bedingt durch die steigende Zahl von Wissenschaftlerinnen und Wissenschaftlern weltweit, die Diversifizierung und Zunahme der Disziplinen und die Explosion der Publikationszahlen.
Wer kann heute noch alle Veröffentlichungen seines Fachs (geschweige denn die interessanter Nachbarfächer) wahrnehmen, alle einschlägigen Konferenzen besuchen und (persönlichen) Kontakt zu Wissenschaftskollegen halten? Die Reduktion von Masse und Komplexität ist von Entscheidern (und das sind die Wissenschaftler häufig selbst) kaum mehr ohne quantitative Systeme zu bewältigen.
Wer heute Forschungsergebnisse soweit zerlegt (oder es von Doktoranden verlangt), dass eine „Last Publishable Unit“ herauskommt, darf sich weder über die Publikationsflut, steigende Zeitschriftenpreise oder den Einsatz von reduktionistischen, quantitativen Systemen in Wissenschaftsmanagement und Forschungsförderung beschweren, noch über den Verlust kritischer Urteilskraft und den Durchmarsch der Technokraten.
Insofern ist die berechtigte Kritik der Wissenschaft an der Quantifizierung des Wissenschaftsoutputs und der Reduktion von Qualität auf einige wenige Kennzahlen bei Ratings und Rankings auf sich selbst zurückzuverweisen. Nur die Wissenschaft selbst kann sich am eigenen Schopfe aus der (selbst-)verschuldeten Abhängigkeit der bibliometrischen Analysesysteme herausziehen.
Rafael Ball absolvierte eine postgraduale Ausbildung zum wissenschaftlichen Bibliothekar. Seit 2015 ist der promovierte Biologe und Wirtschaftshistoriker Direktor der ETH-Bibliothek in Zürich; zuvor war er der Direktor der Universitätsbibliothek in Regensburg. Seine Forschungsschwerpunkte sind die Bibliothek der Zukunft, Wissenschaftskommunikation und die Rolle des gedruckten Buches im digitalen Zeitalter.