Gerade hatte sich die Aufregung um die Raubverlage (Predatory Publishers) etwas gelegt, schon geht ein neues Schreckgespenst um: Die Papiermühlen (Paper Mills). Die Raubverlage – und dabei geht es nicht, wie man meinen könnte, um Elsevier und Co. – offerieren ihrer Kundschaft, also uns Wissenschaftlern, einen verkürzten Weg zur Publikation. Nach einem Fake-Review-Prozess werden unsere Artikel garantiert und explizit in einem Open-Access-Journal mit häufig wohlklingendem Namen veröffentlicht – wofür wir natürlich eine stattliche Gebühr bezahlen. Der Kunde fügt den Artikel dann seinem Lebenslauf hinzu und rückt karrieretechnisch ein Feld vor, insbesondere dort, wo Erbsen – also Publikationen – gezählt werden. Der Narr hat darüber bereits ausführlich berichtet (LJ 9/2018: 22-3).
Panik brach damals aus bei vielen Kollegen, denen plötzlich auffiel, wie schnell das ging mit dem Review ihres Papers – und wie freundlich die Kommentare waren, wenn es überhaupt welche gegeben hatte. War man etwa unter die Räuber geraten? Habilkommissionen suchten fortan hektisch nach Auflistungen mit den Namen solcherart verdächtiger Journale – um die Literaturlisten derer danach zu durchforsten, die nach dem Erwerb dieses spätmittelalterlichen akademischen Grades strebten.
In einer Reputationsökonomie, in der die Anzahl von Publikationen samt deren Nimbus (sprich: Impact-Faktor) mehr zählt als deren Inhalt und Qualität, kann man, wenn man genug kriminelle Energie hat, das Geschäftsmodell der Raubverlage aber noch einen Schritt weiter treiben – indem man aufstrebenden Wissenschaftlern ein verlockendes Komplettpaket anbietet. Denn wozu sollen diese überhaupt noch Studien durchführen, analysieren und dann aufwendig alles zusammenschreiben? Hierfür bieten die Betreiber der Paper Mills nun das entsprechende Produkt, indem sie einen „Full Service“ bieten: Der Artikel, die Co-Autoren und auch die Veröffentlichung in einem Journal – alles in einem Paket. Der prospektive Autor muss nur noch ein bestimmtes Fachgebiet nennen, eventuell auch ein paar Schlüsselwörter oder Methoden angeben und ein Journal auswählen. Wem auch das zu viel ist, kann immerhin noch eine Co-Autorschaft bei einer Publikation buchen, die gerade auf diese Weise angefertigt wird.
Natürlich ist das Ganze nicht billig, und nach Recherchen des Magdeburger Neurowissenschaftlers Bernhard Sabel dabei abhängig vom Impact-Faktor des Zieljournals. Für einen Impact-Faktor über 3 können da schon mal 25.000 Euro oder mehr fällig werden. Aber klar, Qualität hat eben ihren Preis – und schließlich ist es ja eine Investition in die eigene Zukunft. Ganz abgesehen davon, dass eine tatsächlich durchgeführte Studie natürlich viel teurer käme – und viel länger dauerte.
Ich muss zugeben, als ich zum ersten Mal von diesen Umtrieben hörte, habe ich die ganze Sache nicht besonders ernst genommen. Mag sein, dass man in China mit solchen Publikationen im Curriculum Vitae Karriere machen kann, aber doch nicht bei uns! Diese Einschätzung war leider einigermaßen naiv. Zum einen war mir das Ausmaß dieses Artikelmarktes nicht klar, und auch nicht, welche Zeitschriften davon betroffen waren. Eine Reihe von sehr reputierlichen Fachjournalen musste im vergangenen Jahr Dutzende von Artikeln zurückziehen. Das Journal of Cellular Biochemistry (Impact-Faktor 4,5) hatte im Oktober ein eigenes Supplement mit 129 Retraktionen von Artikeln herausgebracht, die sich als Produkte von Papiermühlen herausstellten. Naunyn-Schmiedeberg’s Archives of Pharmacology (Impact-Faktor 3,0), gegründet 1873 und damit die älteste noch existierende Fachzeitschrift für Pharmakologie, musste zehn Artikel zurückziehen und dreißig weitere ablehnen, die allesamt ganz offensichtlich „gemahlen“ waren. Viele davon erschienen danach allerdings leicht modifiziert in anderen Journalen. Roland Seifert, der Chief Editor der Archives, berichtete hierüber bereits im Laborjournal (LJ 7-8/2021: 32-5).
Der erwähnte Bernhard Sabel, Chief Editor von Restaurative Neurology and Neuroscience (Impact-Faktor 2,1), schätzt, dass bis zu 15 Prozent der Artikel in seiner Zeitschrift aus Paper Mills kommen. Darüber hinaus fand er in einer systematischen Analyse von neurowissenschaftlichen Journalen, dass etwa zehn Prozent aller Arbeiten hochgradig verdächtig waren, einer Papiermühle zu entstammen. Es handelt sich also um eine veritable Industrie. Und die Kunden – das heißt: die „Autoren“ – kommen keineswegs nur aus China, sondern auch aus den USA (an zweiter Stelle!), Japan, Indien, Korea, ...
Nun könnte man einwenden, dass die meisten wissenschaftlichen Artikel in der Biomedizin ohnehin nicht gelesen werden – und die Sache demnach also gar nicht so schlimm sei. Dass Ersteres in der Tat zutrifft, zeigt sich etwa in Zitationsanalysen, die offenbaren, dass Referenzen gerne aus bestehenden Literaturlisten übernommen werden, ohne dass die entsprechenden Artikel überhaupt gelesen wurden. Hält sich der Schaden also in Grenzen, weil der Mühlen-Spuk im Rauschen des gigantischen Blätterwaldes untergeht? Schön wär’s!
Zum einen ist nicht auszuschließen, dass es angesichts der schieren Masse von gefälschten Publikationen nicht doch zu Missinformationen, Ressourcenverschwendung und vielleicht sogar zur Gefährdung von Patienten kommt – denn schließlich sind auch eine Menge klinischer Fake-Studien dabei. Zum anderen werden hierdurch systematische Reviews und Metaanalysen ad absurdum geführt. Deren Ziel ist es ja gerade, die gesamte vorhandene wissenschaftliche Evidenz zu einer Intervention zu sammeln und gewichtet zu synthetisieren. Wenn aber ein substanzieller Teil der eingeschlossenen Studien reiner Fake ist, dann kann man sich vorstellen, wie belastbar die Evidenzsynthese wird.
Die Papiermühlen werfen übrigens auch ein kaum vorteilhaftes Schlaglicht auf die Retraktions-Kultur und den Idealismus hinsichtlich einer „selbstkorrigierenden Wissenschaft“. Nur durch das Engagement einiger weniger Chief Editors tritt derzeit das ganze Ausmaß dieser Vermüllung des Publikationskorpus ans Tageslicht. Viele Journale kümmern sich entweder gar nicht darum oder verschleppen die nötigen Retraktionen. Zudem fördern sie das Kaskadenpublizieren: Wenn ein Artikel verdächtig erscheint, wird er einfach abgelehnt. Was natürlich heißt, dass er letztendlich doch irgendwo unterkommt und publiziert wird – wenn auch vielleicht erst nach einer ganzen Reihe weiterer Submissionen. Wissenschaft kann sich sicher selbst korrigieren – aber in der aktuellen Praxis ist das ein sehr ineffektiver und unakzeptabel langwieriger Prozess.
Am meisten beunruhigt mich aber, was die scheinbar mühelose Akzeptanz von Papiermühlen-Artikeln in von uns hochgeschätzten Fachjournalen über die Qualitätskontrolle des Peer-Review-Prozesses aussagt. Die geschätzten Peers lassen sich hierbei also allzu oft von Artikeln narren, die von einer Künstlichen Intelligenz (AI) geschrieben wurden, die auch die zugehörigen Daten und Abbildungen dazu erfindet. Trainiert wurde die AI zuvor an Millionen von Artikeln – sie weiß also, wie es geht. Oder sie fallen auf eine Technik rein, die vor allem russische Papiermühlen anwenden: Artikel werden ins Englische übersetzt, die zuvor schon in russischen Zeitschriften erschienen waren. Dabei werden sie leicht modifiziert und natürlich mit neuen Autoren versehen, die für diesen Service bezahlen. Plagiarism meets Paper Mills!
Der Tsunami an Artikeln, der uns nicht nur als Leser, sondern vorher schon in unserer Rolle als Reviewer unter sich begräbt, fordert eben seinen Tribut! Wie soll man auch in ein oder zwei Stunden, denn mehr Zeit bleibt ja meist nicht, einen Artikel gründlich begutachten, sich die Originaldaten dazu anschauen – und vielleicht sogar noch mit spezieller Software die Abbildungen auf Manipulationen überprüfen? Wenn es noch einen Beweis gebraucht hätte, hier ist er: Der Peer Review wird in seiner Filterfunktion massiv überschätzt.
Natürlich gäbe es eine Reihe von Gegenmaßnahmen, die man in Anschlag bringen könnte, um diese Fake-Paper zu erkennen und auszusortieren. Beispielsweise geben die Autoren von Papiermühlen-Papern häufig private E-Mail-Adressen an – durchaus ein erster Hinweis, dass da etwas im Argen liegen könnte. Am verrücktesten treiben es chinesische Autoren, die Gmail-Accounts angeben, obwohl diese schon seit 2014 von deren Regierung geblockt werden.
Ebenso stellen Paper-Mill-Autoren aus nachvollziehbaren Gründen auf Nachfrage meist keine Originaldaten zur Verfügung. Woraus sich – neben der Möglichkeit der Nachnutzung – unmittelbar ein weiterer wichtiger Grund für das FAIRe (Findable-Accessible-Interoperable-Reusable) Teilen von Originaldaten in allen Publikationen ergäbe.
Das Fehlen von ORCID-IDs, also eindeutigen Identifizierungsnummern von Autorinnen und Autoren, kann ebenfalls ein Indiz für das Vorliegen eines Paper-Mill-Artikels sein. Am tollsten aber ist der Vorschlag, AI zu nutzen, um verdächtige Artikel zu identifizieren: Man trainiert hierzu eine Maschine an Fake-Artikeln, die von einer anderen AI nach Training an echten Artikeln geschrieben wurden!
Sicher, alles wohlmeinende Vorschläge, die das Problem aber nicht lösen werden. Solange wir uns gegenseitig weniger nach dem Inhalt, dem tatsächlichen Impact und der Qualität unserer Forschung beurteilen – mithin also lesen und kritisch beurteilen, was wir produzieren –, wird die Artikel-Inflation nicht enden. Und findige Köpfe werden stets Mittel und Wege finden, sich daran zu bereichern.
Welchen Anschlag braucht es denn noch auf das Publikationswesen – nach Raubverlagen, Papiermühlen, Verlagshäusern mit dreißig Prozent Profitrate et cetera –, bis wir verstanden haben, dass all dies nur Symptome eines viel tieferen Grundübels sind. Papiermühlen werden nicht vom Wind, sondern von der Reputationsökonomie angetrieben!
Ulrich Dirnagl
Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj
- Registered Reports: Was wir von Columbus lernen könnten
Das Artikelformat des registrierten Berichts (Registered Report) würde einige Schwächen des wissenschaftlichen Publikationssystems ausmerzen. Aber eignet es sich überhaupt für exploratorische Forschung?
- Kaum zu glauben, wir können mehr als zehn Jahre länger leben!
Personalisierte Medizin verspricht viel. KI- und Big-Data-getriebene Therapien sowieso. Doch eigentlich brauchen wir sie noch gar nicht.
- Wenn Autobauer Hirne hacken?
Pionier des autonomen Fahrens scheint dem Visionär und Unternehmer Elon Musk nicht genug. In einem Paper beschreibt er, wie er unsere Gehirne mit künstlicher Intelligenz symbiotisch vereinen will. Und fällt dabei auf die gleichen Dinge rein wie viele Wissenschaftler.