Anschwellender Forschungsmüll

19. Januar 2022 von Laborjournal

Wie identifiziert man die best available science insbesondere in Zeiten, in denen der schon vorher beein­druckende wissen­schaftliche Müllberg durch „Covidi­za­tion“ noch weiter anschwillt? In denen durch die Inflation von hastig produzierten, teilweise per Presse­konferenz kommunizierten Ergebnissen eine Trennung von Signal und Rauschen immer schwerer wird – und Evidenz­synthese schon deswegen zum Scheitern verurteilt ist. Denn wo man Müll oben reinsteckt, kommt unten auch wieder Müll raus.

So schrieb unser Wissenschaftsnarr unter dem Titel „Wissenschaft berät Politik oder Survival of the Ideas that fit“ in unserem Heft 11/2020.

 

 

Veröffentlicht die Wissenschaft tatsächlich so viel Müll? Und dies auch schon vor und ganz ohne Corona?

Schaut man sich das Abstract des Papers „Slowed canonical progress in large fields of science“ der beiden US-Forscher Johan Chu und James Evans an, muss man das wohl unterschreiben (PNAS 118 (41): e2021636118). Darin heißt es: 

Die Größe wissenschaftlicher Felder kann das Aufkommen neuer Ideen behindern. Bei der Analyse von 1,8 Milliarden Zitierungen aus 90 Millionen Artikeln in 241 Fächern haben wir festgestellt, dass ein Überschwemmen mit Artikeln keineswegs einen Wechsel der zentralen Ideen in einem Forschungsfeld bewirkt, sondern vielmehr zu einer Verknöcherung des Kanons führt. In Feldern, in denen jährlich viele Arbeiten veröffentlicht werden, haben es Forscher entsprechend schwer, veröffentlicht, gelesen und zitiert zu werden – es sei denn, ihre Arbeit bezieht sich auf bereits häufig zitierte Artikel. Neue Arbeiten dagegen, die potenziell wichtige Beiträge enthalten, können sich daher nicht mal allmählich verbreiten und feldweite Aufmerksamkeit erlangen. Diese Ergebnisse deuten darauf hin, dass grundlegende Fortschritte behindert werden können, wenn das quantitative Wachstum wissenschaftlicher Unternehmungen – ausgedrückt etwa in der Anzahl der Wissenschaftler, Institute und Veröffentlichungen – nicht durch Strukturen ausgeglichen wird, die eine disruptive Wissenschaft fördern und die Aufmerksamkeit auf neue Ideen lenken.

Übersetzt lautet die Hypothese der beiden Autoren demnach: Wird ein Forschungsfeld immer größer, produziert es auch immer mehr Müll, unter dem die wirklich neuen „Breakthrough“-Erkenntnisse allzu leicht erstickt werden.

Zu den Stärken des Papers gehört es, dass die Autoren zunächst sechs Voraussagen formulierten, anhand derer sie diese Hypothese überprüften. Diese lauten:

1) Neue Referenzen zitieren eher die meistzitierten Arbeiten als die weniger zitierten;

2) die Liste der meistzitierten Arbeiten ändert sich von Jahr zu Jahr nur wenig – sodass der Kanon verknöchert;

3) die Wahrscheinlichkeit, dass eine neue Arbeit womöglich in den Kanon aufgenommen wird, sinkt;

4) neue Arbeiten, die in die Reihe der meistzitierten aufsteigen, verbreiten sich nicht durch allmähliche und kumulative Prozesse;

5) der Anteil neu veröffentlichter Arbeiten, die bestehende wissenschaftliche Ideen weiterentwickeln, nimmt zu – der Anteil, der bestehende Ideen zum Erliegen bringt, nimmt dagegen ab; und

6) die Wahrscheinlichkeit, dass eine neue Arbeit hochgradig spaltend (disruptive) wirkt, wird abnehmen.

All diese Voraussagen korrelierten am Ende gut mit den Ergebnissen aus der bibliometrischen Massenanalyse.

Allerdings wären wir damit zugleich bei einer Schwäche der Studie – Stichwort: Bibliometrie. Denn letztlich beurteilt die Computerstatistik der Autoren nur anhand vons Zitationsmustern, ob eine Studie „nur“ den bestehenden Kanon des betreffenden Faches unterstützt oder ob sie vielmehr durch neue Erkenntnisse konstruktiv aus ihm ausbricht. Und bekanntlich begibt man sich auf dünnes Eis, wenn man die Qualität von Studien nicht nach deren Inhalt, sondern ausschließlich nach der Anzahl der Zitierungen bewertet. Zumal es beispielsweise gar nicht mal selten passiert ist, dass eine vermeintliche „Breakthrough“-Studie raketenhaft zitiert wurde, bevor sie sich als falsch herausstellte – und am Ende mit dem Kanon rein gar nichts machte.

Dennoch untermauern die Studienergebnisse natürlich die Kanon-Melodie unseres Wissenschaftsnarren und vieler anderer, dass der wissenschaftliche Müllberg durch die Inflation von hastig produzierten Ergebnissen immer weiter anschwillt. Eine Disruption des allgemeinen Tenors hätte in diesem Fall auch eher irritierend gewirkt.

Ralf Neumann

Foto: L. Psihoyos

 

Schlagworte: , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Captcha loading...