Über den Unsinn, Forscher nach Höhe ihrer Fördermittel zu beurteilen

28. Juli 2021 von Laborjournal

„Why you shouldn’t use grant income to evaluate academics“ war der Titel des Kurzvortrags, den Dorothy Bishop, Professorin für Experimentelle Psychologie an der Universität Oxford, kürzlich bei einem Meeting zum Thema „Irresponsible Use of Research Metrics“ hielt. Darin räumte sie auf mit der allzu simplen Logik, aufgrund derer die Summe der eingeworbenen Forschungsmittel inzwischen ein immer größerer Evaluations-Faktor geworden ist.

Wer viel Geld bewilligt bekommt, der kann nicht schlecht sein – so der Kerngedanke dahinter. Zumal die Kandidaten mit den entsprechenden ja immer wieder jede Menge kritische Kollegen überzeugen muss. Ganz klar also: Wo nach eingehender Prüfung stetig Geld hinströmt, da muss auch Qualität sein.

 

Auch mit teurer Technologie erntet man bisweilen nur tiefhängende Früchte.

 

Bis heute, so stellt Dorothy Bishop dazu klar, habe man keinerlei belastbare Korrelation zwischen Antragshöhe und Antragserfolg feststellen können – unter anderem, da bei letzterem einfach zu viel Glück und Zufall im Spiel ist. Man würde daher vor allem dafür belohnt, wie viel Glück man hat. Und das sei letztlich ziemlich demoralisierend für die Forscher, da sie sich nicht auf faire Weise evaluiert fühlen.

Wir nahmen dies in einem früheren Blog-Beitrag einmal folgendermaßen aufs Korn:  Diesen Beitrag weiterlesen »

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere, Wissenschaftspolitik | Keine Kommentare »

Gezwitscherte Paper-Probleme

28. April 2021 von Laborjournal

Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers – so lautet der Titel eines frischen Scientometrics-Papers von Robin Haunschild und Lutz Bornmann, beide Forschungsevaluations- und Bibliometrie-Spezialisten bei der Max-Planck-Gesellschaft. Ob man methodische Fehler, Daten-Irrtümer, falsche Interpretationen oder gar gezielte Manipulationen in Forschungsartikeln aufgrund entsprechender Hinweise auf Twitter womöglich frühzeitig erkennen könne, wollten sie also wissen.

Übersetzt fassen sie im Abstract als Ergebnis zusammen:

[…] In dieser Fallstudie analysierten wir Tweet-Texte von drei zurückgezogenen Publikationen über COVID-19 […] und deren Retraction Notices. Hinsichtlich einer dieser Publikationen fanden wir keine Frühwarnzeichen in Tweet-Texten, dagegen fanden wir aber Tweets, die bereits kurz nach dem jeweiligen Veröffentlichungsdatum Zweifel an der Gültigkeit der beiden anderen Publikationen aufkommen ließen.

Und sie schlagen daher vor:

Eine Erweiterung unserer aktuellen Arbeit könnte zu einem Frühwarnsystem führen, das die wissenschaftliche Gemeinschaft auf Probleme mit bestimmten Publikationen aufmerksam macht. Andere Quellen, wie beispielsweise Blogs oder Post-Publication-Peer-Review-Seiten könnten in ein solches Frühwarnsystem einbezogen werden. Die in dieser Fallstudie vorgeschlagene Methodik sollte daher anhand größerer Publikationsmengen validiert werden – und zudem Publikationen als Kontrollgruppe enthalten, die nicht zurückgezogen wurden.

Damit unterfüttern die beiden Autoren das, was unser „Wissenschaftsnarr“ in seiner Laborjournal-Kolumne vor einem halben Jahr folgendermaßen als Beobachtung preisgab:

[…] Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt.

Gerade in der Forschung finden ja nicht wenige Twitter und Co. „eher nervig“. Von solcher Art „Gezwitscher“ könnten wir uns aber dennoch alle sicherlich mehr wünschen.

Weitere Beobachtungen oder Meinungen dazu?

Ralf Neumann

 

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Publikationswesen, Wissenschaftliches Fehlverhalten | Keine Kommentare »

„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere, Publikationswesen | 1 Kommentar »

Hauptsache, man braucht Förderanträge!

17. Dezember 2019 von Laborjournal

Was wäre, wenn jeder Forscher einfach erstmal Geld bekäme? Ganz ohne Antrag, geschweige denn Peer Review? So wie einst­mals Otto Warburg, der lediglich schrieb: „Ich benötige 10.000 Mark. Otto Warburg“. Und sie tatsächlich bekam.

„Ja ja, träum‘ weiter“, mögen jetzt viele denken. Doch gemach, blättern wir hierzu ruhig mal in ein etwas älteres Heft von Accountability in Research — und reiben uns angesichts einer kanadischen Studie ungläubig die Augen (Band 16(1), S. 13-40). Da teilen uns die Autoren mit, dass ein sogenannter „Direct Baseline Discovery Grant“ des Natural Science and Engineering Research Council Canada (NSERC) im Durchschnitt 30.000 kanadische Dollar wert ist. Und dem setzen sie entgegen, was der ganze Prozess des Antragschreibens samt anschließender Bewilligung oder Ablehnung (!) durch Peer Review — nach Arbeitszeit et cetera bemessen — insgesamt kostet: nämlich satte 40.000 kanadische Dollar pro Antrag.

Selbst nach mehrmaligem Augenreiben bleibt somit das Fazit: Ein abgelehnter Antrag verbrät 10.000 Dollar mehr, als das Projekt bei Bewilligung überhaupt bekommen könnte. Da muss doch was faul sein! Und natürlich brauchen die Autoren auch keine höhere Mathematik um zu folgern, dass der NSERC sogar noch Geld sparen würde, wenn er jedem „qualifizierten Forscher“ den 30.000-Dollar-Baseline Grant einfach auf Anfrage direkt in die Hand drücken würde.

Sicher, 30.000 Dollar sind für diejenigen, die materialaufwändige Forschung betreiben, nicht viel. Dennoch spekulieren die Autoren, dass durch solcherart „effizientere“ Verteilung von Fördermitteln deutlich mehr und bessere Forschung laufen könnte — insbesondere im „Critical-Idea-or-Discovery“-Stadium. Wenn dann die ersten Ergebnisse tatsächlich vielversprechend wären, hätte man immerhin schon etwas in der Hand, um nachfolgend einen größeren — und natürlich begutachteten — Grant zu beantragen.

Bleibt noch die Frage, ob nach diesem Schema nicht Hinz und Kunz Geld bekommen könnten — und eben nicht nur „qualifizierte Forscher“. Dazu lediglich folgender Blog-Kommentar eines Forschers:

Bei jedem Karriereschritt, bei jedem einzelnen Paper werden wir immer wieder neu evaluiert. So sorgfältig und eindringlich, dass man uns doch irgendwann einmal genau in diesem einen Punkt trauen können sollte — nämlich dann, wenn wir neue Forschung anpacken.

Ralf Neumann

[Addendum: Fairerweise muss abschließend noch erwähnt werden, dass ein kanadischer Physiker die Kalkulation des Arbeitsaufwands von 40.000 kanadischen Dollar pro Antrag nachfolgend als viel zu hoch kritisierte (Accountability in Research 16(4): 229-31). Ein weiteres Paper dagegen kalkulierte für die Bearbeitung von Forschungsanträgen in Australien ähnlich hohe Ausgaben (BMJ Open 2013;3:e002800).]

 

Schlagworte: , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere, Wissenschaftspolitik | 2 Kommentare »

Gutachten immer und überall

3. Dezember 2019 von Laborjournal

 

 

Wohl kaum eine andere Berufsgruppe wird derart oft und ausgiebig evaluiert wie die Forscher. Diplom- und Doktorarbeit, Bewerbungsgespräche und Berufungskommissionen — geschenkt, das gibt‘s woanders auch. Dann aber jedes einzelne Manuskript und jeder Förderantrag — das macht bisweilen Dutzende von kritischen bis kleinkarierten Gutachten im Jahr, die man erst mal schlucken muss. Dazu noch die regelmäßigen Berichte an Förderorganisationen, Verwaltung, Fakultätsleitung oder Trägergesellschaft — alles ebenfalls durchaus existentiell hinsichtlich Finanzierung, Gehalt, Verteilung von (Service-)Pflichten, Gewährung von Rechten und anderem mehr. Und wenn einer dann noch lehrender Forscher ist, muss er sich auch noch der Bewertung seiner Lehrleistung durch Studenten und Institutskollegen stellen…

Zusammen macht das eine Evaluationslast, über die eine US-Professorin einmal schrieb:

Nimmt man die Menge und Intensität all dieser Evaluationen, muss man sich wundern, ob ohne ein titanisches Ego überhaupt jemand diesen Prozess überleben kann. Allerdings, die meisten können!

Natürlich wird man bei dieser Evaluationsmasse auch immer wieder mit ungerechten, schlampigen, rüden und manchmal auch schlichtweg dummen Antworten konfrontiert. Das kann einen dann — je nach Naturell — auch mal richtig wütend oder niedergeschlagen werden lassen.

Dennoch muss man als Forscher über kurz oder lang grundsätzlich akzeptieren, dass Gutachten von ihrer reinen Intention her kritisch sein sollen. Schlussendlich sollte diese Kritik in einer idealen Welt mit perfekt funktionierendem System die Arbeit der Forscher am Ende des Tages gar verbessern helfen.

Doch gerade die Egos vieler Jungforscher müssen dies erst lernen und begreifen — vor allem den Unterschied zwischen schonungslos kritischen, aber dennoch konstruktiven Gutachten einerseits sowie rein bösartiger Gutachter-Willkür auf der anderen Seite.

Die erwähnte US-Professorin dokumentiert das sehr nett in folgender kleinen Anekdote:

Immer wieder kam einer meiner Mitarbeiter wegen eines vermeintlich absolut grausamen Gutachtens völlig zerknirscht zu mir. Und fast genauso oft habe ich dann nach eigenem Durchlesen gedacht: „Großartiges Gutachten. Mit richtig hilfreichen Kommentaren.“

Ralf Neumann

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere | 1 Kommentar »