„Vorab Online“ verzerrt Impact-Faktoren

21. Januar 2013 von Laborjournal

Journals greifen ja mitunter zu allen möglichen Tricks, um ihre Impact-Faktoren (IF) zu erhöhen — zu lauteren, unlauteren und zu welchen, die irgendwie dazwischen liegen.

Ein solcher Trick eröffnete sich durch die Einführung, Artikel vorab online zu veröffentlichen, bevor sie in print erscheinen. Man nehme zunächst etwa Journal A, das dies nicht tut. Dessen IF des Jahres 2012 berechnet sich bekanntlich daraus, wie oft sämtliche Artikel des Journals aus den Jahren 2010 und 2011 insgesamt im darauf folgenden Jahr , also 2012, zitiert worden sind. Diesen Wert teilt man durch die Gesamtzahl der Artikel aus 2010/11 — und erhält den IF 2012.

Schauen wir uns im Vergleich Zeitschrift B an. Diese stellt schon seit geraumer Zeit die Artikel sofort nach Annahme durch die Gutachter online. (Was ja prinzipiell lobenswert ist, da die Community auf diese Weise umso schneller an die Information gelangt!). Allerdings dauert es im Schnitt ein ganzes Jahr, bis die betreffenden Artikel tatsächlich im gedruckten Heft erscheinen. Woraus folgt, dass sie bisweilen schon eine erquickliche Zahl an Zitierungen einsammeln, bevor sie überhaupt „offiziell“ erscheinen.

Und nun die Crux an der ganzen Sache: Thomson Reuters‘ „Web of Science“ nimmt bis heute bei Printveröffentlichungen den Erscheinungstermin des gedruckten Hefts als Stichtag. Unabhängig davon, wie lange die entsprechenden Artikel bereits zuvor im Web existierten.

Für den IF 2012 unserer Zeitschrift B hieße das zwar erstmal genauso, dass alle 2012er-Zitierungen derjenigen Artikel zählen, die 2010 und 2011 in print erschienen sind. Nur sind diese durch die Online-Vorabveröffentlichungen de facto schon ein Jahr länger zitierfähig „auf dem Markt“.

Dies kann in der Tat erhebliche Unterschiede bewirken und bisweilen die „wahre“ Listung der Journals nach IF stark verzerren. Das frische Paper „Rising Publication Delays Inflate Journal Impact Factors“ (PLoS ONE 7(12): e53374. doi:10.1371/journal.pone.0053374) demonstriert diese Verzerrung  beispielsweise sehr eindrucksvoll für neurowissenschaftliche Zeitschriften. Im Abstract fassen die Autoren zusammen:

We analyze 61 neuroscience journals and show that delays between online and print publication of articles increased steadily over the last decade. Importantly, such a practice varies widely among journals, as some of them have no delays, while for others this period is longer than a year. Using a modified impact factor based on online rather than print publication dates, we demonstrate that online-to-print delays can artificially raise a journal’s impact factor, and that this inflation is greater for longer publication lags. We also show that correcting the effect of publication delay on impact factors changes journal rankings based on this metric. We thus suggest that indexing of articles in citation databases and calculation of citation metrics should be based on the date of an article’s online appearance, rather than on that of its publication in print.

Die entsprechend „entzerrten“ IFs weichen also deutlich von den „offiziellen“ ab. Dabei wäre die Lösung, wie die Autoren ja schreiben, so einfach: Als Stichtag für jede einzelne Veröffentlichung gilt „offiziell“ das Datum des ersten Erscheinungstags — ganz egal, ob online oder print. Kann doch nicht so schwer sein.

(Illustration: © style-o-mat – Fotolia.com)

Schlagworte: , , , , , ,

3 Gedanken zu „„Vorab Online“ verzerrt Impact-Faktoren“

  1. Da die Impact Factoren ja sowieso zwischen Verlag und Thomson verhandelt werden:
    http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0030291
    http://bjoern.brembs.net/comment-n817.html
    finde ich das mit dem Zitate sammeln, wirklich ziemlich marginal. Da tut man ja fast so, als wären die Impact Factoren berechnet und reproduzierbar:
    http://www.jcb.org/cgi/content/full/179/6/1091
    Mal ganz abgesehen davon, dass man spätestens im Grundstudium nach „Statistik für Naturwissenschaftler I“ wissen sollte, dass die Formel, nach der Impact Factoren angeblich berechnet werden, ja völlig falsch ist, wie bereits die International Mathematical Union vor etlichen Jahren festgestellt hat:
    http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

    In anderen Worten: die Autoren des zitierten Artikels tun gerade so, als wären Impact Factoren nicht die verhandelbare, unreproduzierbare, unwissenschaftliche Zahl eines internationalen Konzerns, sondern ernst zu nehmende Metriken.

  2. Panagrellus sagt:

    Volle Zustimmung, @Björn Brembs.

    Wobei ich auch Problem mit den neuen „Alternativ-Metriken“ habe, da sie oft einfach den Aufregungsfaktor im Internet messen und nicht die wissenschaftliche Qualität. Wir sollten uns ganz von der Idee verabschieden, Forscherleistung auf eine Zahl reduzieren zu wollen. Aber dann müssten die Berufungskommissionen sich ja richtig anstrengen..

    Wie twitterte Mike Taylor neulich:
    „Any selection or promotion committee that asks you for impact factors is probably a second-rate organization.““

  3. Der Abkehr von Metriken würde ich, unter anderem aus den von Panagrellus angesprochenen Gründen, in der besten aller Welten im Prinzip zustimmen.
    Allerdings passieren sind unserer Realität Nepotismus, Sexismus und andere der Meritokratie im Wege stehenden -ismen an der Tagesordnung. Zudem ist die Büchse mit den Metriken nunmal seit ein paar Jahrzehnten offen und der Zeitraum sie wieder zu verschliessen aus Gründen der vorgenannten -ismen vermutlich unwiederbringlich verflossen.
    Folglich halte ich die angesprochene Abkehr, obwohl erstrebenswert, für sehr unrealistisch. Die realistischere Alternative ist natürlich, wissenschaftliche Masstäbe an die Metriken zu legen, so wie sich das für Wissenschaftler gehört. Siehe dazu, z.B. unseren Übersichtsartikel zu der empirischen Datenlage im Bezug auf die Zeitschriftenhierarchie:
    http://arxiv.org/abs/1301.3748

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...