Das schmackhafte Brot der Forschung

28. Februar 2024 von Laborjournal

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch trocken schmeckt es ihm nicht. Erst wenn ordentlich Butter und Belag in Form von Zitierungen draufgeschmiert werden, wird es ihm zum wirklichen Genuss. Und zwar je dicker, umso mehr – seit der Einfluss von Impact-Punkten und Zitierzahlen bei der Bewertung von Forschungsqualität fast schon ins Absurde gewachsen ist.

Seit Langem haben wir in mehreren Beiträgen versucht klarzumachen, dass die reine Zahl der Zitate den echten Einfluss der zitierten Arbeit auf nachfolgende Forschung nur sehr unzureichend widerspiegelt – und damit letztlich auch nicht ihre tatsächliche Qualität (siehe etwa „Wachsweiche Zitierzahlen“, „Zitierungen — Kein Maß für Qualität oder Einfluss“ oder „Mehr Zitate durch Open Data“).

Stimmt aber womöglich wenigstens der Umkehrschluss, dass Publikationen, die nicht zitiert werden, gar keinen Wert für nachfolgende Forschung haben? Dazu ein Zitat von Dag W. Aksnes, Professor am Nordic Institute for Studies in Innovation, Research and Education in Oslo:

So einfach ist es nicht, dass Artikel ohne Zitate wenig Wert haben. Sie können dennoch wichtig sein, um die Forschung voranzubringen. Sie können zum Beispiel die Ergebnisse früherer Studien bestätigen oder zeigen, dass zwei Dinge nicht miteinander verbunden sind.

Rein konfirmatorische Studien und negative Ergebnisse also. Genau das, was die Zeitschriften gerne ablehnen, da es den Zitatefluss für ihren Journal-Impact-Faktor zum Stottern bringt. Und was die Autorinnen und Autoren daher nicht nur den Belag, sondern oft genug gleich das ganze Brot kostet.

Dabei ist der wahre Wert konfirmatorischer Studien und negativer Ergebnisse für den wissenschaftlichen Fortschritt längst gezeigt (siehe etwa „Vom Triangulieren beim Experimentieren“, „Warum so negativ?“ oder „Negativ hilft“). So wäre beispielsweise die aktuelle Repliktionskrise sicherlich deutlich kleiner, würden mehr davon durchgeführt, publiziert – und auch trotz vergleichsweise magerer Zitierraten entsprechend honoriert.

Manche Scheibe Brot kann schlichtweg auch ohne fetten Belag ziemlich schmackhaft sein.

Ralf Neumann

(Illustration kreiert via Dall-E2)

 

Ein weiterer Sargnagel für den Journal-Impact-Faktor?

30. November 2022 von Laborjournal

Braucht es eigentlich immer noch mehr Indizien, dass der Journal-Impact-Faktor nicht zur Evaluation der Qualität wissenschaftlicher Journals taugt? Schließlich gab sich erst im Oktober unser „Wissenschaftsnarr“ alle erdenkliche Mühe, mit massenweise Evidenz „den Tag, an dem der Journal-Impact-Faktor starb“, auszurufen.

Falls trotzdem noch mehr Sargnägel eingeschlagen werden müssen, liefert jetzt ein japanisch-guayanisches Autoren-Duo einen weiteren – wenn auch womöglich nur einen kleinen. Und der verbirgt sich in deren Paper „When a journal is both at the ‘top’ and the ‘bottom’: the illogicality of conflating citation-based metrics with quality“ (Scientometrics 127: 3683–94).

Darin formulieren sie zunächst eine ganz einfache Frage:

Forschende auf der ganzen Welt stehen unter dem Druck, in den „Top“-Zeitschriften zu veröffentlichen. Was aber, wenn eine Zeitschrift gleichzeitig als „Top“-Zeitschrift und als „Bottom“-Zeitschrift angesehen wird?

Was meinen sie damit? Schauen wir uns an, was die beiden gemacht haben – dann wird’s klarer: Diesen Beitrag weiterlesen »

Corona und der Wert des Peer Review

30. März 2022 von Laborjournal

Aus unserer Reihe „Gut gesagt!“ zum Thema Corona-Pandemie und Peer Review:

 

__________________________

 

[…] Wie replizierbar werden die Forschungsergebnisse zu COVID-19 sein? Das wissen wir noch nicht, aber eine Erfahrung, die mir im Rahmen der letzten Wochen stärker präsent geworden ist […], ist die Verletzlichkeit und Wichtigkeit des Peer-Review-Systems. Verletzlich – denn bewusste Täuschungen sind auch von kompetenten Reviewern schwer zu entdecken. Wichtig – denn ich glaube nach wie vor nicht, dass wir auf die erhebliche Mühe dieser Expertenarbeit zur Qualitätssicherung verzichten können. Wir müssen, denke ich, diese selbstlose und unentgeltliche Arbeit besser und vielleicht auch anders honorieren, denn sonst laufen wir Gefahr, die wesentlichen Ergebnisse in der Flut des Publizierten ebensowenig erkennen zu können, wie das in der unmoderierten Welt der (Online-)Informationen schon jetzt gebietsweise der Fall ist. […]

__________________________

 

 

… Sagte Andreas Meyer-Lindenberg, Direktor des Zentralinstituts für Seelische Gesundheit, Klinik für Psychiatrie und Psychotherapie, in Mannheim sowie Mitglied der Ständigen DFG-Senatskommission für Grundsatzfragen in der Klinischen Forschung, in Laborjournal 7-8/2020 („Translationale Forschung in Pandemiezeiten“, S. 10-13).

 

Zur Ideologie mutiert

21. Juni 2021 von Laborjournal

Aus unserer Reihe „Gut gesagt!“:

 

__________________________

Früher hatte man eine Idee und suchte dann nach Partnern, die mit einem daran arbeiten können. Heute ist es umgekehrt: Man weiß, es gibt Geld etwa für Sonderforschungsbereiche. Weil nun einmal der Fachbereich einer Universität nach dem Drittmittelaufkommen bewertet wird, setzt man alles daran, ein Projekt zu finden, das man mit den Kollegen vor Ort umsetzen könnte. Mit dem Resultat, dass sich sehr gute Wissenschaftler mit durchschnittlichen Forschern zusammentun müssen, denn es gibt ja in einem Fachbereich nicht nur Spitzenleute. Auf diese Weise gelangt DFG-Geld auch in mittelmäßige Forschung, das dann an anderer Stelle natürlich fehlt. Und die Idee vom Forschungsverbund ist zu einer Ideologie mutiert.

__________________________

 

 

 

… Sagte der Bayreuther Soziologe Richard Münch in Laborjournal 12/2006 („Die Spitze geht unter im Mittelmaß“, S. 22-23)

 

Wendest du Techniken an, oder machst du schon Wissenschaft?

14. Juli 2020 von Laborjournal

Es gab sicher schon bessere Zeiten für die Forschung, auch wenn man die Corona-Turbulenzen mal außen vor lässt. Nehmen wir etwa die schon länger bekannte, aber immer noch ebenso aktuelle Reproduzierbarkeitskrise. Diese ist sicherlich nicht nur, aber auch ein Resultat von zunehmend schlampiger Forschung — ganz zu schweigen von der ebenfalls stetig wachsenden Zahl an nachgewiesenen Datenfälschungen. Ein trauriges Wachstum, das durch die rapide Zunahme massiv korrigierter und zurückgezogener Veröffentlichungen nur allzu klar bezeugt wird.

Doch wie ist es zu dem vermeintlichen „Qualitätsverlust“ gekommen? Statt einer Antwort landet man gerne bei einer weiteren Frage: Bringen wir den Studenten vielleicht nicht eindringlich genug bei, wie robuste und redliche Wissenschaft wirklich funktioniert?    Diesen Beitrag weiterlesen »

Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:    Diesen Beitrag weiterlesen »

„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

„Antragschreiben? Ich hasste jede Minute davon!“

5. November 2018 von Laborjournal

Wann sollte man einen Forscher besser nicht ansprechen? — Antwort: Wenn er gerade an einem Förderantrag schreibt.

„Immer wenn ich an einem Antrag arbeite, fühle ich mich wie ein verwundetes wildes Tier“, schrieb einmal sinngemäß ein Betroffener. „Sobald ich irgendwie nicht weiterkomme — und das passiert leider oft —, kauere ich voller Schmerzen in meiner Ecke. Mir wird heiß, ich atme schneller, beiße die Zähne zusammen und blicke mit gehetztem Blick um mich herum — auf der verzweifelten Suche nach Linderung durch die richtige Idee. Wenn dann jemand reinkommt und irgendetwas will, kann er schnell einen Finger verlieren oder sonst etwas — selbst wenn die betreffende Person sich nur Sorgen gemacht hat und mir helfen will.“

Okay, das ist sicher gnadenlos überspitzt. Wäre es tatsächlich jedes Mal so schlimm, müsste sich unser Forscher aus gesundheitlichen Gründen wohl besser bald einen anderen Job suchen. Dennoch dürfte sich jeder, dem das Antragschreiben nicht allzu leicht aus den Fingern fließt, darin prinzipiell wiedererkennen.

Das Dumme ist: Den Meisten fließen die Anträge nicht aus den Fingern. Und so sehen sie sich stets stärkeren „Qualen“ ausgesetzt, da die Frequenz des Antragsschreibens zuletzt immer mehr zugenommen hat.

Der US-Computerwissenschaftler Matt Welsh beispielsweise verließ vor einigen Jahren genau aus diesem Grund die Harvard University und arbeitet seitdem für Google. Er schrieb damals dazu in seinem Blog Volatile and Decentralized:

„Die größte Überraschung war, wie viel Zeit ich für die Finanzierung meiner Forschung aufbringen musste. Obwohl es natürlich variiert, schätze ich, dass ich etwa vierzig Prozent damit verbracht habe, irgendwelchen Fördermitteln hinterher zu jagen —  Diesen Beitrag weiterlesen »

Plattmachen und neu aufbauen — Frust-Antwort auf die „Wutschrift eines Physikers“

24. September 2018 von Laborjournal

(Vor zwei Wochen veröffentlichten wir an dieser Stelle die „Wutschrift eines Physikers über die «Forschungskultur» in der Biomedizin, in der der Autor heftig über die Verhältnisse in der bio­medi­zi­nischen Forschung ablederte. Neben den direkten Kommentaren dort erhielten wir die folgende Antwort, die wir hiermit als eigenen Beitrag veröffentlichen. Deren Inhalt spiegelt nicht notwendigerweise die Meinung der Redaktion wider — wie bei den Kommentaren auch. Der Autor möchte vorerst lieber anonym bleiben, ist der Redaktion aber bekannt.)

Sehr geehrte Damen und Herren,

anbei eine kleine Ansammlung von Gedanken, die mir in den Sinn kamen, als ich die Wutschrift des Physikers gelesen habe. Unter uns, die Situation in der Forschungslandschaft allgemein ist weit pre­kä­rer. Hier und da habe ich schon ähnliche Texte gelesen. Es macht 
wütend und enttäuscht, dass diejenigen, die sich ernsthaft um die Wissenschaften bemühen, von einer derartig bescheidenen Politik in ihren Projekten eingeschränkt werden. Und auf der anderen Seite werden Menschen in die Wissenschaften gedrängt, die dort fehl am Platze sind. Meines Erachtens sind die Probleme hin­reichend bekannt. Wie kann man sie lösen? Make Science Great Again. Das wäre schön!

Es ist nicht nur in der Biomedizin so, wie in der Wutschrift ange­deu­tet. Es betrifft leider die gesamte Struktur der hiesigen Forschung und Bildung. Es ist schrecklich, aber wahr, dass der Politik diese verheerende Situation längst bekannt ist. Aber entweder ist die Politik rat- und hilflos, oder es steckt Absicht dahinter, die Bildung insgesamt immer weiter herunterzufahren. Die Probleme fangen im Kindergarten an und reichen durch bis hin zu den Pro­fes­su­ren. Und anscheinend ist das System mittlerweile an allen Ecken und Kanten wie auch mitten­drin so verkorkst, dass es keine Politiker gibt, die in der Lage wären, hier gegenzusteuern. Eigentlich müsste man alles platt machen, und neu aufbauen.  Diesen Beitrag weiterlesen »

Wachsweiche Zitierzahlen

8. Mai 2013 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. C.H. Eck, Ordinologisches Institut TU Prüftal.

LJ: Frau Professor Eck, Sie scheinen amüsiert. Falls es so ist — darf ich fragen, worüber Sie sich amüsieren? 

Eck: Über Zitate.

LJ: Ach ja? Aber Zitierungen sind doch ein ernstes Geschäft in der heutigen Wissenschaft. Was ist denn passiert?

Eck: Ich habe mir mal sämtliche Paper genauer angeschaut, die einen gewissen Artikel von mir zitieren.

LJ: Was heißt „genauer angeschaut“?

Eck: Das heißt, ich habe nachgesehen, in welchem Zusammenhang sie mein Paper zitieren. Und ob das gerechtfertigt ist oder nicht, ob richtig oder falsch,…

LJ: Interessant. Und was kam raus, dass es Ihnen dieses süffisante Lächeln auf Ihr Gesicht zaubert?

Eck: Mein Artikel wurde laut Google Scholar 32-mal zitiert. Ich selbst sehe es jedoch in nur 60 Prozent der Fälle als tatsächlich passend und gerechtfertigt an, dass und wie ich in dem jeweiligen Paper zitiert wurde. Diesen Beitrag weiterlesen »