Zitationsrankings — eine sensible Sache

28. Juni 2011 von Laborjournal

Ein Beitrag in etwas eigener Sache. In einer E-Mail schrieb uns jemand kürzlich zum Thema Zitations-Ranking:

Vielleicht solltet ihr allerdings beim Laborjournal mal etwas kritisch überdenken. Zu recht kritisiert ihr die vielen fragwürdigen Autorenschaften. Andererseits ist der Druck auf den Wissenschaftlern hoch viele Paper zu produzieren. Er ist unter anderem deswegen so hoch, weil es Listen gibt wie Eure Rankings mit Zitationsvergleich, in denen jeder im Feld danach geiert möglichst weit vorne zu stehen. Außerdem lasst ihr z. B. in eurem letzten Ranking jemand hochleben, der 180 Paper in drei Jahren publiziert hat. (Mehr als ein Paper pro Woche… Respekt)

Diese „Kritik“ ist uns nicht neu. Jede Menge solcher Rückmeldungen haben wir bekommen, seit wir solche Rankings machen. Und wir sind uns der angesprochenen Problematik durchaus bewusst. Schon lange werden unsere Listen für ganz andere Dinge benutzt, als wir zunächst dachten. Unsere ursprüngliche Intention war, den vielen Doktoranden und Postdoks für deren Laborsuche anhand eines Kriteriums zu zeigen, wo publikationstechnisch ‚was läuft‘. Schon bald jedoch bedankten sich Forscher explizit bei uns, da deren Position in unserem Zitationsranking offenbar maßgeblich zu deren Ruf auf den ein oder anderen Lehrstuhl beigetragen hätte.

Da wurde uns schon mulmig. Ist das nicht ein bisschen viel Gewicht für ein derart schwaches Kriterium, dachten wir. Denn da wir ja die Listen eigenhändig erstellten, wussten wir schließlich auch um deren mannigfaltigen Schwachpunkte. Deren waren gar so viele, dass wir sie in den fast 30 Teilen unserer Begleitserie „Was können Zitationsvergleiche … nicht unbedingt?“ einzeln zu verdeutlichen versuchten.

Zudem waren wir stets bestrebt, in den Begleittexten der Rankings die nötige Distanz aufrecht zu erhalten. So schrieben wir nie von „besseren“ Forschern, sondern immer von „höher zitierten“. Und sogar solche Dinge, wie in obiger Mail beschrieben, prangerten wir durchaus an. So heißt es etwa in einem Ranking aus dem Jahre 2002:

Die letzten Worte beim Blick auf den Publikationsvergleich sollen indes einem nicht ganz unheiklen Thema gehören: Schön hat man hier klinische und nicht-klinische Forscher nebeneinander […]. Doch welch ein Unterschied in der Publizierfreudigkeit. Spitzenvirologen und Instituschefs wie Will und Roggendorf schaffen gerade 34 bzw. 33 Originalartikel in drei Jahren, Spitzen-Kliniker wie der Hannoveraner Michael Manns (3.) oder der Ulmer Guido Adler (4.) im gleichen Zeitraum über hundert. Und die Reviews sind dabei herausgerechnet; nimmt man die hinzu, listet der Science Citation Index für Michael Manns beispielsweise 153 Artikel für die drei Jahre auf. Das macht alle sieben Tage einen Artikel, Wochenenden inklusive.

Dennoch hatten wir weiterhin das Gefühl, dass die Forscher, die ja gewohnt sein sollten mit Daten kritisch umzugehen, bei unseren Zitationsdaten diese kritische Distanz komplett ablegen — trotz aller „Zaunpfähle“ unsererseits. Deshalb genügte auch der simple Rückzug darauf nicht mehr, dass wir letztlich ja nur Daten präsentieren, diese vermeintlich angemessen analysieren und dann nichts mehr dafür können, was andere damit machen.

Wir erwägten daher tatsächlich, unser Zitationsranking einzustellen. Doch dann kam die Überraschung. Als wir diesen Gedanken auch nur leise verlauten ließen, erhielten wir von allen möglichen Seiten die Rückmeldung, wie wertvoll und wichtig unsere Rankings seien und dass wir doch bitte damit weitermachen sollten. Wir waren platt. Und als am Ende die Menge der Bitten die kritischen Rückmeldungen weit übertrafen, war klar: Wir machen weiter damit.

Das ändert natürlich nichts an der vielen berechtigten Kritik, auf die hin wir unsere Rankings natürlich weiterhin kritisch reflektieren werden.

Ein Ergebnis solcher Reflexionen allerdings ist, dass der Bibliometrie womöglich allzu schnell ein wenig zu viel der bekannten Missstände des Wissenschaftssystems untergeschoben wird. Ob solche Rankings tatsächlich (Mit-)Ursache für die steigende Zahl schlechter, schlampiger oder gar getürkter Publikationen sein können? Wir glauben, nicht maßgeblich. Denn Paper braucht der Forscher mit oder ohne Rankings. (Ohne bibliometrische „Hausnummern“ würde man sie indes schlichtweg lesen oder wenigstens begutachten lassen müssen — was für Karriere-relevante Evaluationen sicherlich fairer wäre.) Das Hauptproblem ist unserer Meinung nach vielmehr, dass den (Jung-)Forschern aufgrund der steigend asthmatischen Förderstrukturen immer weniger Zeit bleibt, bis zum nächsten Antrag die nötigen Paper zu produzieren. Da braucht es nicht zu wundern, dass in der Not dann die ein oder andere unlautere Abkürzung eingeschlagen wird.

Aber wie auch immer, weitere Meinungen zu Sinn und Unsinn unserer bibliometrischen Rankings sind jederzeit willkommen — und helfen uns auf jeden Fall bei deren stetiger Reflexion.

Schlagworte: , , , , ,

4 Gedanken zu „Zitationsrankings — eine sensible Sache“

  1. Roland sagt:

    sehr gut….die frage ausgewogen und gut diskutiert. ich denke ihr habt recht, damit weiter zu machen. als leser schaut man sich, bei aller möglichen Kritik, die Rankings einfach gerne an.

  2. Markus sagt:

    “He produces one paper a week but they are almost never of any solid substance.” from Observation of the Owl (8): Paper Diarrhoea: http://www.labtimes.org/labtimes/issues/lt2007/lt05/lt_2007_05_14_14.pdf

  3. Ralf Neumann sagt:

    Ja, ja — Vögel sind eben auch nur Menschen 😉

  4. cb sagt:

    Ich empfehle alte ‚Nature‘ oder ‚Science‘ Ausgaben zu lesen und mal nachzusehen, was aus so mancher Idee geworden ist.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...