Ein weiterer Sargnagel für den Journal-Impact-Faktor?

30. November 2022 von Laborjournal

Braucht es eigentlich immer noch mehr Indizien, dass der Journal-Impact-Faktor nicht zur Evaluation der Qualität wissenschaftlicher Journals taugt? Schließlich gab sich erst im Oktober unser „Wissenschaftsnarr“ alle erdenkliche Mühe, mit massenweise Evidenz „den Tag, an dem der Journal-Impact-Faktor starb“, auszurufen.

Falls trotzdem noch mehr Sargnägel eingeschlagen werden müssen, liefert jetzt ein japanisch-guayanisches Autoren-Duo einen weiteren – wenn auch womöglich nur einen kleinen. Und der verbirgt sich in deren Paper „When a journal is both at the ‘top’ and the ‘bottom’: the illogicality of conflating citation-based metrics with quality“ (Scientometrics 127: 3683–94).

Darin formulieren sie zunächst eine ganz einfache Frage:

Forschende auf der ganzen Welt stehen unter dem Druck, in den „Top“-Zeitschriften zu veröffentlichen. Was aber, wenn eine Zeitschrift gleichzeitig als „Top“-Zeitschrift und als „Bottom“-Zeitschrift angesehen wird?

Was meinen sie damit? Schauen wir uns an, was die beiden gemacht haben – dann wird’s klarer: Diesen Beitrag weiterlesen »

Über den Unsinn, Forscher nach Höhe ihrer Fördermittel zu beurteilen

28. Juli 2021 von Laborjournal

Why you shouldn’t use grant income to evaluate academics“ war der Titel des Kurzvortrags, den Dorothy Bishop, Professorin für Experimentelle Psychologie an der Universität Oxford, kürzlich bei einem Meeting zum Thema „Irresponsible Use of Research Metrics“ hielt. Darin räumte sie auf mit der allzu simplen Logik, aufgrund derer die Summe der eingeworbenen Forschungsmittel inzwischen ein immer größerer Evaluations-Faktor geworden ist.

Wer viel Geld bewilligt bekommt, der kann nicht schlecht sein – so der Kerngedanke dahinter. Zumal die Kandidaten mit den entsprechenden ja immer wieder jede Menge kritische Kollegen überzeugen muss. Ganz klar also: Wo nach eingehender Prüfung stetig Geld hinströmt, da muss auch Qualität sein.

 

Auch mit teurer Technologie erntet man bisweilen nur tiefhängende Früchte.

 

Bis heute, so stellt Dorothy Bishop dazu klar, habe man keinerlei belastbare Korrelation zwischen Antragshöhe und Antragserfolg feststellen können – unter anderem, da bei letzterem einfach zu viel Glück und Zufall im Spiel ist. Man würde daher vor allem dafür belohnt, wie viel Glück man hat. Und das sei letztlich ziemlich demoralisierend für die Forscher, da sie sich nicht auf faire Weise evaluiert fühlen.

Wir nahmen dies in einem früheren Blog-Beitrag einmal folgendermaßen aufs Korn:  Diesen Beitrag weiterlesen »

Hundehaufen erweisen Ig-Nobel-Preis und Altmetrics einen Bärendienst

23. September 2014 von Laborjournal

Sie heißen hierzulande „Spaß-Nobelpreise“ und wurden Ende letzter Woche wieder verliehen: die Ig-Nobel-Preise. Eine Gelegenheit, die auch unser Autor Hans Zauner umgehend zu einem Plädoyer für die skurrile Seite der Wissenschaft nutzte — siehe Laborjournal online-Editorial vom 21.9.2014.

Auch der Gewinner des Biologie-Ig-Nobels dürfte inzwischen hinlänglich bekannt sein: Die wahrlich skurrile Studie eines Teams um den Zoologen Hynek Burda von der Universität Duisburg-Essen zum vermeintlichen Magnetsinn von Hunden. Einen solchen Magnetsinn hatten Burda und Co. bereits seit vielen Jahren in vielen anderen großen Tieren zu zeigen versucht — zum Teil in Studien, die gar nicht mal viel weniger skurril waren als die jetzt preisgekrönte Hunde-Studie. Vom Magnetfeld der Erde sollte demnach tierisches Orientierungsverhalten gesteuert sein, wie etwa:

Den (Spaß-)Vogel schoss jetzt jedoch besagte Hundestudie ab, in der Burda et al. proklamieren, dass Hunde sich signifikant häufiger mit Längsachse in Nord-Süd-Richtung erleichtern als beliebig ausgerichtet — egal ob „fest“ oder „flüssig“. Klar, dass die Ig-Nobel-Jury daran einfach nicht vorbei konnte — und folglich verschaffte sie Burdas Hundescheiße ein weiteren Höhenflug an weltweiter Aufmerksamkeit. Diesen Beitrag weiterlesen »