„Der Fall Ioannidis“

Welche Pipettiertechnik passt am besten zur Anwendung?

Luftpolsterpipette oder Mehrfachdispenser – mit den Systemen von BRAND treffen Sie die richtige Wahl mehr

Am 17. März, just zu dem Zeitpunkt als viele Staaten drakonische Maßnahmen zur Eindämmung der SARS-CoV-2-Pandemie einleiteten, meldete sich der von mir in dieser Kolumne schon häufiger erwähnte, griechisch-amerikanische Epidemiologe und Meta-Researcher John Ioannidis von der Stanford Universität mit einem provokanten Kommentar zu Wort: Möglicher­weise sei „A Fiasco in the Making“! Allerdings meinte der wohl international profilierteste Kritiker von Qualitäts­problemen in der biomedi­zinischen Wissenschaft nicht das Virus, sondern die folgen­schweren Maßnahmen, welche aufgrund unzureichender oder schlecht erhobener Daten eingeleitet würden und zu unabsehbaren Sekundär­schäden führen könnten. Da er zudem zu den meist­zitierten Forschern der Welt gehört, widmete am Ende nicht nur die Wissenschaft seinen Äußerungen zum Thema COVID-19 große Aufmerk­samkeit, sondern ganz besonders auch die Laienpresse.

Kurz darauf legte Ioannidis mit Daten aus zwei wissen­schaftlichen Studien nach. Auf Basis der Auswertung offizieller Mortalitäts-Daten verschiedener Länder schlussfolgerte er, dass die Wahrschein­lichkeit, an COVID-19 zu sterben, für die meisten Menschen etwa so niedrig sei, wie morgens auf dem Weg zur Arbeit tödlich zu verunglücken. Gemeinsam mit Kollegen von der Stanford University fand er dann in einer serologischen Studie, dass im kalifornischen Santa Clara County wohl mehr als fünfzigmal mehr Personen vom Virus infiziert wären als offiziell mittels PCR bestätigt.

Q2 EVOLVE epromo von INTEGRA

Gewinnen Sie ein limitiertes, individuell bedrucktes EVOLVE-Starterpaket mit manuellen Pipetten von INTEGRA mehr

Kein Wunder, dass Ioannidis in kürzester Zeit zum wissen­schaftlichen Kronzeugen für eine Lockerung oder gar Aufhebung der SARS-CoV-2-Eindämmungs­maßnahmen wurde. Begierig wurden die Ergebnisse beider Studien von den konservativen Medien in den USA aufgegriffen, und er selbst wurde zum begehrten Interviewpartner – insbesondere in Medien wie Donald Trumps „Haussender“ Fox News Channel. Hier in Deutschland fand er vor allem in dem emeritierten Mainzer Infektiologen Sucharit Bhakdi einen neuen Anhänger. Zeitgleich gerieten aber beide als Preprint veröffentlichten Studien in den sozialen Medien zunehmend ins Sperrfeuer der wissen­schaftlichen Methodenkritik.

Auch diejenigen, die – wie der Wissen­schaftsnarr selbst – John Ioannidis als den unangefochtenen Gralshüter wissen­schaftlicher Korrektheit betrachten, reagierten spätestens jetzt schockiert. Nicht so sehr wegen seiner Verein­nahmung durch reaktionäre Medien – schließlich werden richtige Argumente nicht dadurch falsch, dass man sie gegenüber Obskuranten äußert oder diese von ihnen zitiert werden. Auch nicht, weil Ioannidis sich mit seinen Aussagen gegen den wissen­schaftlichen und politischen Mainstream stellte – dies war letztlich schon immer sein Markenzeichen.

Nein, der Shitstorm, der sich zum „Fall Ioannidis“ ausweitete, entzündete sich an den methodischen Schwächen, die in der Summe Ioannidis‘ Argumente für eine Fehlein­schätzung der Gefährlichkeit von SARS-CoV-2 in Frage stellen. Der Vorwurf an ihn lautete also, dass er Studien mitverfasst und sich mit Ergebnissen prominent in die öffentliche Diskussion eingemischt habe, die den von ihm selbst gepredigten Qualitäts­kriterien nicht genügen. Schadenfroh wurde darauf verwiesen, dass Ioannidis nun wohl selbst den ultimativen Beweis für die Richtigkeit seines berühmtesten Artikels aus dem Jahr 2005 geliefert hätte, dessen Titel damals lautete: „Why most published research findings are false“!

Aber hat John Ioannidis, ungeachtet methodischer Schwächen der Studien, vielleicht dennoch recht? Im Kern geht es dabei letztlich um die Mutter aller Corona-Fragen: Wie gefährlich ist SARS-CoV-2 tatsächlich? Und könnte es sein, dass die drakonischen Maßnahmen gegen das Virus am Ende womöglich schädlicher als das Virus selbst sein werden? Aber sollte nicht die Erinnerung an die Bilder aus New York oder Nord-Italien mit Kühlcontainern voller COVID-19-Verstorbener ausreichen, um diese Frage eindeutig beantworten?

Ganz so einfach ist es nicht, denn die Wissenschaft hat tatsächlich noch keine eindeutigen Antworten auf den exakten Grad der Durch­seuchung, die Ursachen für die Alters- und Ortsab­hängigkeit der Mortalität – sowie vor allem nicht auf die Frage, welches Ausmaß die Kollateral­schäden annehmen werden. Klar ist nur, dass man nicht nur die direkte Morbidität und Mortalität des Virus berücksichtigen darf, sondern auch diejenigen Fälle mit einbeziehen muss, die aus der Überlastung von – unvorbereiteten oder ohnehin dysfunktionalen – Gesundheits­systemen resultieren. Oder gleichsam aus der Angst vor Ansteckung im Krankenhaus, die dazu führte, dass bei lebens­bedrohlichen Akut­erkrankungen wie Schlaganfall und Herzinfarkt keine Hilfe in Anspruch genommen wurde.

Schließlich müssen auch die psychischen Auswirkungen des Lockdowns gleichsam mit den Spätfolgen von Schul­schließungen mit auf die Rechnung genommen werden. Und ebenso – klar! – die Folgen der ökonomischen Krise oder gar eines wirtschaftlichen Kollapses als Resultat des Lockdowns. Bereits jetzt haben sich in vielen Ländern Arbeitslosigkeit und Armut massiv verschärft, mit den hinreichend bekannten potenziellen Folgen für Gesundheit und Lebens­erwartung.

Aber wie solide war die Evidenz von Ioannidis‘ Studien tatsächlich, die von Fox News gefeiert und von vielen Experten zerrissen wurden? In einer davon berechnete er auf Bevölkerungs­ebene das relative und absolute Risiko, an COVID-19 zu sterben. Hauptkritik an dieser Studie: Am Anfang einer Epidemie, in der die Prävalenz einer Erkrankung ja definitions­gemäß niedrig ist, macht es wenig Sinn, das absolute (oder auch relative) Sterberisiko der Erkrankung zu berechnen. Worauf es in der frühen Phase der Pandemie vielmehr ankommt, ist nicht das absolute Sterberisiko der Infektion, sondern die Kapazität des Gesundheits­systems sowie das Ausmaß der Kollateral­schäden der nicht-pharmako­logischen Interventionen (Social Distancing, Lockdown et cetera). Mark Lipsitch, seines Zeichens einer der weltweit führenden Infektions­epidemiologen von der Harvard University, verglich Ioannidis‘ Fokus auf die COVID-19-Mortalität etwa damit, „in den ersten drei Tagen nach einer Krebsdiagnose das absolute Sterblich­keitsrisiko zu berechnen“.

Die zweite Studie, ebenfalls schon weiter oben erwähnt, fand im kalifornischen Untersu­chungsgebiet Santa Clara County eine erheblich höhere Durch­seuchung mit dem Virus, als dies aus den offiziellen Statistiken hervorging. Dies deshalb, weil wie überall auch dort bisher nur diejenigen getestet worden waren, die typische Krankheits­symptome zeigten oder Kontakt mit Infizierten hatten. Dadurch entgehen einem logischer­weise die meisten derjenigen, die trotz Infektion nicht ernsthaft erkranken – wovon es bei SARS-CoV-2 wohl eine Menge zu geben scheint. Hat man diese mit in der Rechnung, sinkt natürlich die errechnete Mortalität durch die Infektion, die sich ja aus der Division der am Virus Verstorbenen durch die Zahl der Infizierten ergibt.

Auch dieser Preprint wurde unmittelbar nach Veröffentlichung in den sozialen Medien zerrissen. Die umfassendste Kritik kam von Andrew Gelman, einem international renommierten Biostatistiker von der Columbia University. Die Haupt­kritikpunkte konzentrierten sich auf einen potenziellen Selek­tionsbias, die statistische Auswertung sowie die mangelhafte Validierung des Test-Kits. Hinzu kommt, dass bei nicht hundert­prozentiger Spezifität eines Tests insbesondere dann von einer hohen Falsch­positiven-Rate ausgegangen werden muss, wenn das untersuchte Merkmal selten ist – also eine niedrige Prävalenz hat.

Nebenbei stellte sich dann auch noch heraus, dass einer der Geldgeber der Studie David Neeleman war, der Gründer der Flug­gesellschaft JetBlue – ohne dass dies im Preprint offengelegt wurde. Und dass der Besitzer einer Airline ein massives Interesse an der Lockerung von Reise­beschränkungen hat, ist wohl logisch.

In der Studie selbst fanden Ioannidis und Co. eine Seroprävalenz von um die drei Prozent. Aufgrund der Testspezifität und der niedrigen Prävalenz ist aber nicht auszuschließen, dass die meisten „Treffer“ falsch positiv waren! Deshalb – und auch wegen anderer methodischer Mängel – ist die Schluss­folgerung der Studie ganz sicher überzogen, wonach fünfzigmal mehr Leute infiziert seien als bis dahin angenommen – und dass damit nun Werte vorlägen, „an denen Epidemie und Mortalitäts­vorhersagen kalibriert werden können“.

Allerdings existieren mittlerweile für beide Studien überarbeitete und um zusätzliche Daten und Analysen erweiterte Revisionen als Preprint. Auch blieben die nochmals aktualisierten Mortalitäts­raten über die mittlerweile weiter fortgeschrittene Pandemie unverändert. Ioannidis sieht daher inzwischen alle Kritiken für ausreichend adressiert an. Zumal im Nachgang einige weitere Studien auf ähnliche Mortalitäts- und Seroprä­valenzraten kamen.

Demnach verbessert sich zwar ständig die von Ioannidis monierte unzureichende Datenbasis zur Abschätzung von Mortalität, Prävalenz und Infektiösität von SARS-CoV-2, die Unsicherheit ist aber dennoch weiterhin groß.

Noch größer jedoch ist derzeit das Unwissen über die Kollateral­schäden der Eindämmungs­maßnahmen. Erste Studien, ebenfalls meist als Preprint veröffentlicht, deuten darauf hin, dass diese massiv sein werden – beispielsweise in den Bereichen Herzkreislauf-Erkrankungen, Krebs und psychische Störungen. Überall dort, wo dies aufgrund von Registern möglich ist, sehen wir gerade eine hohe Über­sterblichkeit –interessanter­weise mit der Ausnahme von Deutschland. Besonders beunruhigend ist hierbei allerdings nicht nur, dass diese vorwiegend ältere Menschen, insbesondere in Pflegeheimen, betrifft, sondern auch, dass diese Über­sterblichkeit zu einem erheblichen Anteil „anderen Ursachen“ zuzuschreiben ist – also nicht direkt dem Virus.

Man kann folglich an COVID-19 sterben, ohne infiziert zu sein! Unser Fokus sollte sich daher nicht mehr ausschließlich auf das „Naturereignis“ einer viralen Pandemie richten, sondern auch auf herunter­gesparte und damit dysfunktionale Gesundheits­systeme, auf Armut, Pflegenotstand, Zustände in Altersheimen und so weiter. Die teilweise deutlichen Unterschiede in der Mortalität von COVID-19 zwischen verschiedenen Ländern sind weniger biologisch als vielmehr gesellschaftlich bedingt.

Wie lautet also mein Urteil im „Fall Ioannidis“? John Ioannidis hat keine Gelegenheit ausgelassen zu betonen – auch nicht in den Fox News –, dass die Politik mit den sofortigen drakonischen Abwehr­maßnahmen im Angesicht der akuten und unklaren Lage richtig gehandelt habe. Die Ergebnisse seiner Studien sind mittlerweile nicht mehr wirklich kontrovers: Seroprävalenz-Werte wie in der Santa-Clara-County-Studie werden aus anderen Untersu­chungsregionen berichtet, und die geringe Mortalität von SARS-CoV-2 bei den unter 65-Jährigen ohne Begleit­erkrankungen in Regionen mit funktio­nierender Gesundheits­versorgung ist mittlerweile Allgemeingut. Die Sekundär­schäden durch die Eindämmungs­maßnahmen kennen wir noch nicht, aber es zeichnet sich ab, dass sie, so wie von Ioannidis bereits im März vorausgesagt, katastrophal sein werden.

Dennoch fällt ein dunkler Schatten auf den „Gott“ der wissen­schaftlichen Reform: Trotz der von ihm selbst formulierten schwachen Datenbasis hat er im selben Atemzug mit sehr drastischen Worten suggeriert, dass wir dramatisch über­reagieren. Er hat sich dann, gestützt auf methodisch problematische und vermutlich durch Bias verzerrte eigene Studien, unmittelbar ins Rampenlicht begeben, bevor – beziehungs­weise während – eine wissen­schaftliche Auseinander­setzung mit den Studien stattfand.

Dass seine Auftritte politisch instrumen­talisiert würden, muss Ioannidis bewusst gewesen sein. Die Götter der Griechen waren unsterblich, hatten aber die Gestalt von Menschen sowie deren negative Eigenschaften und Schwächen. Analog hat uns Ioannidis vorgeführt, dass auch die profiliertesten Methoden­kritiker Fehler machen.

Was lernen wir aus alldem? Zum einen sehen wir hier die Stärken und Schwächen von Preprints am Wirken. Deren Stärke besteht darin, dass nach ihrer Veröffent­lichung eine intensive, öffentliche und in Echtzeit ausgetragene Diskussion einer wissen­schaftlichen Studie stattfinden kann. Welche dann wiederum Korrekturen und Verbesserungen ermöglicht. Als Revision des Preprints stellt sich die Arbeit dann wieder der Kritik einer Vielzahl von Experten aus den unter­schiedlichsten Bereichen – bis der Artikel schließlich derart gestählt bei einem Fachjournal eingereicht wird und in den regulären Peer Review geht. Dies ist derzeit bei rund siebzig Prozent der Preprints der Fall.

Vielleicht aber müssen Manuskripte, die die Fach­öffentlichkeit derart intensiv vor den Augen aller diskutiert, dann gar nicht mehr den Weg in ein reguläres Journal gehen. Die Natur­wissenschaften, allen voran Mathematik und Physik, bedienen sich seit den frühen Neunziger­jahren des letzten Jahrhunderts dieses Publikations­verfahrens. Mit der Folge, dass die Mehrzahl der Manuskripte, die aus diesen Disziplinen auf Preprint-Servern gestellt wird, gar nicht mehr bei Journalen eingereicht wird. Wozu auch?

Die Schwäche der Preprints hingegen ist natürlich ihre „Unge­prüftheit“. Es kann sich um völligen Schwachsinn handeln oder um schiere Brillanz. Nur die Fachwelt kann dies beurteilen, und selbst die tut sich da manchmal schwer. Damit liefern Preprints potenziell das Material für Obskuranten, Extremisten oder politisches Personal mit gefährlicher Agenda.

Aber mal ehrlich: Der reguläre Peer Review garantiert doch auch nicht für die Qualität und Richtigkeit der Aussage von Studien. Wir erinnern uns an die berühmte Lancet-Studie von Andrew Wakefield zu Vakzinierung und Autismus, oder an die Science- und Nature-Arbeiten von Jan Hendrik Schön, Diederik Stapel, Haruko Obokata und vielen anderen. Auf die vielfältigen Probleme des Peer-Review-Verfahrens wurde vom Wissen­schaftsnarren auf diesen Seiten ja schon mehrfach hingewiesen.

Aber vielleicht handelt es sich ja gar nicht um eine „Schwäche“ der Preprints! Im Gegenteil: Momentan führen die Preprints uns und den wissen­schaftlichen Laien ganz praktisch vor, dass Wissenschaft keine endgültigen Wahrheiten in Form von Publikationen liefert; dass Wissenschaft vielmehr schwierig ist – organisierte Skepsis eben –, dass sie Fehler macht, immer in Bewegung ist, ihre eigenen Ergebnisse jederzeit in Frage stellt und diese revidiert, sobald Fehler aufgedeckt sind oder bessere Evidenz vorhanden ist. All dies zeigen uns die Preprints gerade überdeutlich, auch wenn es natürlich genauso für begutachtete Artikel und Lehrbücher gilt.

Außerdem lehrt uns der „Fall Ioannidis“, dass Wissenschaft sich in Zeiten einer universellen Krise nicht auf einen „Research Exceptionalism“ berufen darf, wie es die Wissen­schaftsethiker Alex London und Jonathan Kimmelman kürzlich in einem lesenswerten Artikel in Science formuliert haben. Wissen­schaftliche und ethische Standards dürfen unter Zeitdruck nicht herabgesetzt werden, wie in den beiden Ioannidis-Studien geschehen – sondern müssen im Gegenteil erhöht werden. Denn schlechte Daten sind nicht besser als keine Daten!

Ulrich Dirnagl

... leitet die Experimentelle Neurologie an der Berliner Charité und ist Gründungsdirektor des Quest Center for Transforming Biomedical Research am Berlin Institute of Health.

Offenlegung: John Ioannidis ist derzeit Einstein BIH Visiting Fellow am Berlin Institute of Health.

Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj
Sämtliche Folgen der „Einsichten eines Wissenschaftsnarren“ gibt es hier zum Nachlesen.