Fern der Wirklichkeit

Das Centrum für Hochschulentwicklung (CHE) rühmt sich, das "differenzierteste Hochschulranking in Deutschland" zu erstellen. Ralf Neumann bezweifelt dies zumindest für die Biologie. Wozu das CHE wiederum Stellung nimmt.

(09.03.2005) Kürzlich veröffentlichte das CHE mit der ZEIT als Medienpartner das "Forschungsranking deutscher Universitäten". Darin listete es für insgesamt 14 Disziplinen jeweils die forschungsstärksten Hochschulen. Die Biologie war dabei, und die schauten wir uns natürlich an.

Schon bei Abbildung 1 runzelten wir die Stirn. Die Universitäten waren hier gelistet nach verausgabten Drittmitteln pro Jahr im Intervall 1999 bis 2001. Auf Platz 1 steht die Uni Bielefeld mit gut 9,5 Mio Euro pro Jahr, gefolgt von der Uni Hannover mit 8,7 Euro pro Jahr. Kann das sein? Vor allem im Vergleich mit der LMU München, die mit "nur" 3,3 Mio. Euro pro Jahr in der Liste steht, oder den Unis Düsseldorf (2,2 Mio. Euro), Mainz (1,7 Mio. Euro) und Ulm (1,3 Mio. Euro)?

Unmögliche Zahlen

Doch halt! Veröffentlichte nicht die DFG 2003 ein Förderranking über genau den gleichen Zeitraum 1999-2001? Richtig, also nachgeschaut. Dort stand seinerzeit etwa, dass das "Fachgebiet Biologie" der LMU München von 1999 bis 2001 allein von der DFG 32,2 Mio. Euro an Fördermitteln erhalten habe. Das CHE listet aber für dieselbe Uni und denselben Zeitraum nur knapp 10 Mio. Euro Fördermittel aus allen Quellen zusammen. Noch absurder wird das Ganze, wenn das CHE in Abbildung 3 festhält, dass lediglich etwa 55% der Drittmittel für die LMU-Biologen von der DFG kommen.

Nun nehmen wir an, dass die DFG ziemlich genau weiß, wieviel Geld sie welcher Uni zugeteilt hat. Überdies differenzierte sie auch bei interdisziplinären Fördermaßnahmen sehr fein, und rechnete etwa bei SFBs wirklich nur die zutreffenden Teilprojekte der Biologie zu.

Auch bei anderen Unis gab es solche "Unmöglichkeiten". Deutlich mehr DFG-Gelder alleine als CHE-ermittelte Gesamt-Drittmittel erhielten 1999 bis 2001 etwa noch die biologischen Fachbereiche der TU München, der FU Berlin, oder der Unis Würzburg, Bochum und Heidelberg.

Immerhin, auch dem CHE fiel das auf. Es schrieb: "Beim Abgleich der dem CHE vorliegenden Angaben der Fachbereiche und Fakultäten zu verausgabten DFG-Mitteln mit den Daten aus dem Förderranking der DFG ergaben sich [...] große Abweichungen, deren Ursache bislang auch in Zusammenarbeit mit der DFG nicht geklärt werden konnte."

"Da gab es wohl Abgrenzungsunterschiede", erklärte CHE-Koordinatorin Sonja Berghoff auf Nachfrage. "Im übrigen haben wir mit den Zahlen gearbeitet, die uns die Fakultäten selbst auf Anfrage geliefert haben".

Doch weiter im CHE-Text. Tabelle 3 listet die Universitäten nach Anzahl der Publikationen pro Jahr im Intervall 1999 bis 2001. Auch hier schlägt die Stirn schon beim ersten Blick sofort wieder Falten. Sicher, die biologischen Fakultäten der Unis Würzburg, Tübingen und München auf den ersten drei Plätzen sind unverdächtig - aber die Uni Heidelberg mit 16 Publikationen pro Jahr auf dem fünftletzten Platz? Weit hinter etwa Osnabrück mit 42, oder Hannover mit 53?

Das ließe sich spontan nur erklären, wenn das CHE das Zentrum für Molekularbiologie (ZMBH) und das Biochemie-Zentrum (BZH) der Uni Heidelberg nicht mitgerechnet hat. Beide gehören nicht unmittelbar zur biologischen Fakultät, sondern sind direkt dem Rektor unterstellt. Allerdings übernehmen sie die Lehre ihrer Disziplinen für Studenten der Chemie, Medizin und vor allem der Biologie. Und die Forschung sowieso. Jede Menge biologischer Diplom- und Doktorarbeiten entstehen daher dort. Nicht zuletzt deshalb sind zahlreiche Köpfe der beiden Zentren auch als Professoren an der Biologischen Fakultät gelistet - darunter solche Hochkaräter wie Konrad Beyreuther, Bernd Bukau, Ed Hurt oder Dirk Görlich.

Allein Beyreuther zeichnete 1999-2001 insgesamt 75 Artikel als Autor. Aber selbst ohne die ZMBH und BZH-Leute: Die beiden "reinen" Bio-Professoren Mark Stitt und Michael Wink kommen schon alleine auf die 48 Veröffentlichungen der Jahre 1999-2001, die das CHE der gesamten Fakultät zuschreibt.

Wegen solcher Publikationsleistungen landete die Uni Heidelberg etwa auch bei einer bibliometrischen Analyse der Jahre 1998-2002, die das Schweizer Center for Science and Technology Studies (CEST) kürzlich durchführte, gleich mit mehreren biologischen Fächern in der "International Champions League" - darunter die Kerndisziplinen "Molecular Biology & Genetics", "Cell & Developmental Biology" und "Plant Sciences".

Kommentar der CHE-Koordinatorin Sonja Berghoff wiederum: "Die Fakultät hat uns die Namen ihrer Professoren mitgeteilt. Deren Publikationen haben wir dann in Datenbanken abfragen lassen." Man kann das aus den CHE-Daten leicht errechnen: Lediglich 15 Heidelberger Bio-Professoren kamen in die Wertung.

Wer nicht liefert, wird mit Null bestraft

Kommen wir zur Uni Köln. Diese streitet schon seit einiger Zeit heftig mit dem CHE. Warum, das erklärte uns Diethard Tautz, Professor für Evolutionsgenetik und Fachgruppenvorsitzender Biologie an der Kölner Universität, in folgender E-Mail:

"Seit das CHE-Forschungsranking raus ist, streiten wir uns mit dem CHE wegen grob fehlerhafter Darstellung der Kölner Statistik. Für Köln stehen 11 evaluierte "Fakultäten" in der Auswertung, wovon vier in die Spitzengruppe eingeordnet werden. Tatsache ist, dass das CHE für die Kölner Biologie, Physik und Chemie überhaupt keine Daten hat. Bleiben für die Uni Köln nur acht tatsächlich evaluierte "Fakultäten". Folglich müsste die Uni Köln mit mit vier forschungstarken von acht Fakultäten (50%) in der Spitzengruppe stehen.

Jedoch - statt die mathematisch-naturwissenschaftlichen Fachbereiche im Ranking überhaupt nicht aufzuführen, lässt das CHE sie mit Null-Werten, die ja gar nicht stimmen können, in der Statistik. Im letzten Jahr hatten die CHE-Leute immerhin noch unter die Tabelle geschrieben, dass ihnen keine Daten aus Köln vorliegen. Dies fehlt jedoch diesmal - und es gab auch keinerlei Versuche des CHE die Daten noch einzuholen (im Gegensatz zu dessen eigener Aussage, dass die Hochschulen die Daten überprüfen können). Resultat: Die Uni Köln steht mit vier forschungsstarken von insgesamt elf Fakultäten (36,4%) auf Platz 16 des Hochschul-Rankings.

Warum aber hat das CHE keine Daten für die mathematisch-naturwissenschaftliche Fakultät der Uni Köln? Das CHE-Ranking basiert ja praktisch ausschließlich auf den Daten, die die Universitäten selbst liefern. Unsere Fakultät hat jedoch vor zwei Jahren beschlossen nicht für private Ranking-Agenturen zu arbeiten und daher keine Daten mitgeteilt (das mag ein Fehler gewesen sein...). Da wir ja wissen, dass zumindest unsere Biologie und Physik in der Spitzengruppe mit dabei wären, ist dies natürlich sehr ärgerlich. Meine Versuche, sowie die unseres Dekans und zukünftigen Rektors Axel Freimuth, hier eine Korrektur zu erreichen, haben nichts genützt.

Ich frage mich, wieviele Fehler da noch unerkannt drin stecken. Offensichtlich betreibt das CHE kaum eigene Recherche, sondern übernimmt einfach, was ihnen mitgeteilt wird. Wenn es sich um ein beliebiges Ranking handeln würde, dann wäre mir das relativ egal. Aber das CHE hat sich ja fast schon eine halbstaatliche Position erarbeitet - auch unser Ministerium arbeitet mit diesen Zahlen.

Das CHE selbst nennt sein Ranking "fair, informativ und qualifiziert" - nachdem mir jetzt langsam klar geworden ist, wie es zu Stande kommt, möchte ich an diesen Adjektiven doch etwas zweifeln...."

Wer hat den Schwarzen Peter?

Dem ist wenig hinzuzufügen. Und wieder das gleiche Argument: Die Unis sind selbst verantwortlich (schuld?), mit welchen Daten sie in das Ranking eingehen. Und wer gar überhaupt keine Daten liefert, wird mit völlig irrealen Null-Werten abgestraft. In letzter Konsequenz allerdings ist es völlig egal, wer auf welche Weise die unsauberen Daten zu verantworten hat. Auch ohne noch weitere merkwürdige Details zu testen, bleibt schon jetzt als Fazit: In der Biologie spiegelt das CHE-Forschungsranking die Realität nicht wider. Ärgerlich ist das insofern, da das CHE-Ranking - wie Diethard Tautz schon erwähnt - medial sehr stark aufgeblasen und entsprechend breit wahrgenommen wird. Die Verantwortung ist also zu groß, um zweifelhafte Daten zu veröffentlichen - egal, woher sie kommen. Zumal das CHE von einigen erheblichen Widersprüchen gewusst hat, siehe DFG-Förderranking - für andere gab es deutliche, leicht zu überprüfende Hinweise.

"Differenziertestes Hochschulranking in Deutschland"? Nicht für die Biologie.



(Der Text erscheint in gekürzter Version in Laborjournal 03/2005. Zum ausführlichen CHE-Hochschulranking kommt man über http://www.zeit.de/hochschule/forschung/index)

--------------------------------



Zur Kritik am CHE-Forschungsranking für das Fach Biologie

Mit beiden Beinen in den Fakultäten

Im vorangehenden Artikel setzt sich Laborjournal-Chefredakteur Ralf Neumann kritisch mit dem CHE-Forschungsranking für das Fach Biologie auseinander. Er hinterfragt die ausgewiesenen Zahlen für Drittmittel und Publikationen und kommt am Ende zu dem Schluss, das CHE-Forschungsranking spiegele die Realität nicht wieder. Eine Antwort von CHE-Projektleiterin Sonja Berghoff.

Neumanns Kritik setzt sich aus zwei Einschätzungen zusammen: Die vom CHE ausgewiesenen Drittmittelzahlen passten nicht zu denen, die die DFG veröffentlicht hat (1) und die Zahlen zu den Publikationen seien unzutreffend, insbesondere für Heidelberg (2).

Ad 1: In der Tat weichen die Drittmittelzahlen im CHE-Forschungsranking für Biologie von den DFG Zahlen ab. Dies ist bemerkenswert, da Biologie die Ausnahme ist. Die Korrelation der DFG- und der CHE-Zahlen ist ansonsten in den Naturwissenschaften sehr hoch. Im Fach Mathematik 0,94, in der Medizin 0,93, in der Physik 0,87, in Chemie/Lebensmittelchemie/ Biochemie/Pharmazie 0,79, obwohl es nicht unwesentliche Unterschiede in der Datenerhebung gibt:

- Die DFG ordnet einzelne Projekte einem Fach oder einer Fächergruppe zu, während die Daten beim CHE sich auf Fachbereiche als Untersuchungs- / Organisationseinheit beziehen.

- Die DFG arbeitet mit bewilligten, das CHE mit verausgabten Drittmitteln im Bezugszeitraum.

Es zeigt sich, dass trotz dieser Unterschiede DFG- und CHE-Zahlen in der Regel eine hohe Übereinstimmung aufweisen. Einzige Ausnahme ist die Biologie mit einem Korrelationskoeffizienten von 0,57. Bevor man aber von Realitätsferne spricht, sollte man gutem Wissenschaftsbrauch folgen und nach dem Warum fragen.

Nicht über die Köpfe der Hochschulen hinweg

In der Biologie sind die Differenzen in der Tat an unterschiedlichen Zurechnungsmethoden begründet: Die Biologie als Fach ist in sehr unterschiedlichen Fachbereichen und Studiengängen vertreten. Im CHE-Ranking sind wie gesagt die Fachbereiche bzw. Fakultäten die Bezugsgröße. Deren Drittmittel werden herangezogen, während bei der DFG gegebenenfalls auch biologische Forschung an einer Medizinischen Fakultät mitgerechnet wird. Sicherlich gibt es für beide Zuordnungsverfahren gute Gründe. Sie können dann, wie sich insbesondere an einzelnen Standorten der Biologie zeigt, zu unterschiedlichen Ergebnissen führen. Abgrenzungsprobleme entstehen auch bei Personalidentitäten von universitären und außeruniversitären Einrichtungen. Aus der Zuordnung der Forschungsleistung zum Lehrstuhl einer Universität, zur außeruniversitären Einrichtung oder zu einem An-Institut ergeben sich jeweils abweichende Ergebnisse. Wir bemühen uns hier gemeinsam mit den Universitäten um sachgerechte Zuordnungen.

Denn die Herkunft und Qualität der Daten ist für uns wesentlich. Die vom CHE veröffentlichten Zahlen beruhen überwiegend auf den Angaben der Fachbereiche und Fakultäten. Der Leistungsvergleich erfolgt nicht über die Köpfe der Hochschulen hinweg. Alle Daten werden vor Veröffentlichung an die Fachbereiche und Hochschulleitungen zurückgespielt. Dass hier trotz Erinnerung nicht immer eine Reaktion erfolgt, müssen wir hinnehmen.

Ein weiteres spezifisches Merkmal des CHE-Ansatzes ist die Rückkoppelung mit Fachvertretern. Dabei werden Fragen der Datenrelevanz, -erhebung und -prüfung ebenso ausgiebig diskutiert wie die Ergebnisse insbesondere der Drittmittel- und Publikationsanalysen. Für das Fach Biologie haben die Herren Prof. Dr. Hans-Jörg Jacobsen (Universität Hannover), Präsident des Verbandes Deutscher Biologen, und Prof. Dr. Reinhard Paulsen (Universität Karlsruhe) vom Mathematisch-Naturwissenschaftlichen Fakultätentag, Bereich Biologie mitgewirkt. Diese Praxis - enge Abstimmung mit Fachvertretern und Zusammenarbeit mit Hochschulen - sichert in erheblichem Maße die Aussagekraft des Rankings.

Ad 2: Auch bei den Publikationsanalysen arbeitet das CHE mit den Hochschulen zusammen. Damit eine Publikation für das Fach Biologie zählt, muss sie im Science Citation Index auftauchen. Das ist aber nur eine Bedingung. Sie muss zusätzlich von einem Professor oder einer Professorin stammen, der/die von der Hochschule selbst zum Fachbereich bzw. zur Fakultät gezählt wird. Dass jemand, der viel und relevant publiziert, von der Hochschule nicht benannt wird, kann leider nicht ausgeschlossen werden, ist aber eigentlich wenig wahrscheinlich. Für die von Ralf Neumann genannten Professoren vom Zentrum für Molekularbiologie (ZMBH) und dem Biochemie-Zentrum (BZH) der Uni Heidelberg ist das offenbar der Fall: Sie wurden von der Universität nicht dem Fachbereich Biologie zugerechnet, der Gegenstand des CHE-Forschungsrankings ist. Wir sind zugegebenermaßen nur begrenzt in der Lage bei mehr als 10.000 Professorennamen in den Naturwissenschaften, diese Zuordnungen fachgerecht zu überprüfen und verlassen uns auf die Angaben der Hochschulen.

Verstecken ist keine Option

Der Vorwurf, dass fehlende Daten das Ranking verzerrten, wird manchmal erhoben. Wenige fordern, Fakultäten, die keine Daten liefern - auch das gibt es -, sollten ganz aus der Darstellung genommen werden. Das wäre zwar möglich, würde aber zu anderen, aus unserer Sicht größeren Problemen führen. Das CHE wird aus zwei Gründen weiter fehlende Daten als fehlend ausweisen. Würden fehlende Daten nicht ausgewiesen, wäre es, das ist der erste Grund, möglich, weniger gute Fakultäten zu ­versteckenÕ, indem Hochschulen nur wenige, dann aber die hervorragenden Fakultäten bzw. Fachbereiche ins Ranking gelangen lassen. Beispiele aus den englischen Research Assessments zeigen, dass diese Vermutung nicht so fern liegt. Zweitens steigt die Motivation der Hochschulen, sich am Ranking zu beteiligen, wenn auf fehlende Daten aufmerksam gemacht wird. Seit der ersten Veröffentlichung des Forschungsrankings ist die Datenqualität deutlich gestiegen. Und da - wie ausgeführt - die Zusammenarbeit mit den Hochschulen Kern des Vorhabens ist und bleibt, ist das wünschenswert und erfreulich.

Die von Ralf Neumann bemängelte "Wirklichkeitsferne" wäre dann in der Tat gegeben, wenn nur noch die Teile einer Universität im Ranking auftauchten, die von der Institution für gut genug gehalten werden. Transparenz herrscht aber nicht nur durch unser Ranking, sondern auch über unser Ranking und in unserem Ranking. Zum Teil geht es dabei um Setzungen bei der Datenerhebung, die wir (und andere) für sinnvoll und begründbar halten, wo es aber auch alternative Möglichkeiten gibt. Für andere Fälle, in denen Merkwürdigkeiten vermutet werden, bitten wir um einen Blick in den hinzu gehörigen Methodenband. Und natürlich auch um direkte Rücksprache mit uns. Das kann uns gegebenenfalls auf Fehler aufmerksam machen, es kann aber auch uns und andere vor manch vorschneller Kritik bewahren.

Dr. Sonja Berghoff, CHE Centrum für Hochschulentwicklung



Letzte Änderungen: 24.03.2005