„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

Hauptsache, man braucht Förderanträge!

17. Dezember 2019 von Laborjournal

Was wäre, wenn jeder Forscher einfach erstmal Geld bekäme? Ganz ohne Antrag, geschweige denn Peer Review? So wie einst­mals Otto Warburg, der lediglich schrieb: „Ich benötige 10.000 Mark. Otto Warburg“. Und sie tatsächlich bekam.

„Ja ja, träum‘ weiter“, mögen jetzt viele denken. Doch gemach, blättern wir hierzu ruhig mal in ein etwas älteres Heft von Accountability in Research — und reiben uns angesichts einer kanadischen Studie ungläubig die Augen (Band 16(1), S. 13-40). Da teilen uns die Autoren mit, dass ein sogenannter „Direct Baseline Discovery Grant“ des Natural Science and Engineering Research Council Canada (NSERC) im Durchschnitt 30.000 kanadische Dollar wert ist. Und dem setzen sie entgegen, was der ganze Prozess des Antragschreibens samt anschließender Bewilligung oder Ablehnung (!) durch Peer Review — nach Arbeitszeit et cetera bemessen — insgesamt kostet: nämlich satte 40.000 kanadische Dollar pro Antrag.

Selbst nach mehrmaligem Augenreiben bleibt somit das Fazit: Ein abgelehnter Antrag verbrät 10.000 Dollar mehr, als das Projekt bei Bewilligung überhaupt bekommen könnte. Da muss doch was faul sein! Und natürlich brauchen die Autoren auch keine höhere Mathematik um zu folgern, dass der NSERC sogar noch Geld sparen würde, wenn er jedem „qualifizierten Forscher“ den 30.000-Dollar-Baseline Grant einfach auf Anfrage direkt in die Hand drücken würde.

Sicher, 30.000 Dollar sind für diejenigen, die materialaufwändige Forschung betreiben, nicht viel. Dennoch spekulieren die Autoren, dass durch solcherart „effizientere“ Verteilung von Fördermitteln deutlich mehr und bessere Forschung laufen könnte — insbesondere im „Critical-Idea-or-Discovery“-Stadium. Wenn dann die ersten Ergebnisse tatsächlich vielversprechend wären, hätte man immerhin schon etwas in der Hand, um nachfolgend einen größeren — und natürlich begutachteten — Grant zu beantragen.

Bleibt noch die Frage, ob nach diesem Schema nicht Hinz und Kunz Geld bekommen könnten — und eben nicht nur „qualifizierte Forscher“. Dazu lediglich folgender Blog-Kommentar eines Forschers:

Bei jedem Karriereschritt, bei jedem einzelnen Paper werden wir immer wieder neu evaluiert. So sorgfältig und eindringlich, dass man uns doch irgendwann einmal genau in diesem einen Punkt trauen können sollte — nämlich dann, wenn wir neue Forschung anpacken.

Ralf Neumann

[Addendum: Fairerweise muss abschließend noch erwähnt werden, dass ein kanadischer Physiker die Kalkulation des Arbeitsaufwands von 40.000 kanadischen Dollar pro Antrag nachfolgend als viel zu hoch kritisierte (Accountability in Research 16(4): 229-31). Ein weiteres Paper dagegen kalkulierte für die Bearbeitung von Forschungsanträgen in Australien ähnlich hohe Ausgaben (BMJ Open 2013;3:e002800).]

 

Gutachten immer und überall

3. Dezember 2019 von Laborjournal

 

 

Wohl kaum eine andere Berufsgruppe wird derart oft und ausgiebig evaluiert wie die Forscher. Diplom- und Doktorarbeit, Bewerbungsgespräche und Berufungskommissionen — geschenkt, das gibt‘s woanders auch. Dann aber jedes einzelne Manuskript und jeder Förderantrag — das macht bisweilen Dutzende von kritischen bis kleinkarierten Gutachten im Jahr, die man erst mal schlucken muss. Dazu noch die regelmäßigen Berichte an Förderorganisationen, Verwaltung, Fakultätsleitung oder Trägergesellschaft — alles ebenfalls durchaus existentiell hinsichtlich Finanzierung, Gehalt, Verteilung von (Service-)Pflichten, Gewährung von Rechten und anderem mehr. Und wenn einer dann noch lehrender Forscher ist, muss er sich auch noch der Bewertung seiner Lehrleistung durch Studenten und Institutskollegen stellen…

Zusammen macht das eine Evaluationslast, über die eine US-Professorin einmal schrieb:

Nimmt man die Menge und Intensität all dieser Evaluationen, muss man sich wundern, ob ohne ein titanisches Ego überhaupt jemand diesen Prozess überleben kann. Allerdings, die meisten können!

Natürlich wird man bei dieser Evaluationsmasse auch immer wieder mit ungerechten, schlampigen, rüden und manchmal auch schlichtweg dummen Antworten konfrontiert. Das kann einen dann — je nach Naturell — auch mal richtig wütend oder niedergeschlagen werden lassen.

Dennoch muss man als Forscher über kurz oder lang grundsätzlich akzeptieren, dass Gutachten von ihrer reinen Intention her kritisch sein sollen. Schlussendlich sollte diese Kritik in einer idealen Welt mit perfekt funktionierendem System die Arbeit der Forscher am Ende des Tages gar verbessern helfen.

Doch gerade die Egos vieler Jungforscher müssen dies erst lernen und begreifen — vor allem den Unterschied zwischen schonungslos kritischen, aber dennoch konstruktiven Gutachten einerseits sowie rein bösartiger Gutachter-Willkür auf der anderen Seite.

Die erwähnte US-Professorin dokumentiert das sehr nett in folgender kleinen Anekdote:

Immer wieder kam einer meiner Mitarbeiter wegen eines vermeintlich absolut grausamen Gutachtens völlig zerknirscht zu mir. Und fast genauso oft habe ich dann nach eigenem Durchlesen gedacht: „Großartiges Gutachten. Mit richtig hilfreichen Kommentaren.“

Ralf Neumann

Info
Info
Info

Info

Info

Verbessern Sie die Ergonomie in Ihrem Labor und optimieren Sie Ihre Abläufe: Download Free Guide mehr

Info

Info

Lernen Sie die neue Transferpette® S kennen und sichern Sie sich jetzt Ihr kostenloses Testgerät. mehr

Info

Info

Info

Erfahren Sie mehr über unsere beliebtesten Produkte unter... mehr

Info

Info

INTEGRA Biosciences bietet Ihnen die Chance, ein VACUSAFE-Absaugsystem für Ihr Labor zu gewinnen. mehr

Info

Info

Exakte und reproduzierbare Daten sind Voraussetzung für erfolgreiches Publizieren. Erfahren Sie mehr! mehr