Die Statistikerin Katharina Schüller ist Gründerin und Geschäftsführerin von STAT-UP, einer Firma für statistische Beratung und Data Science. Außerdem ist sie Mitglied des Teams „Unstatistik“, das jeden Monat jüngst publizierte Daten kritisch hinterfragt. Laborjournal sprach mit ihr über die Interpretation von COVID-19-Daten, mangelhafte 
statistische Kenntnisse und die aktuelle Wahrnehmung der Disziplin in der Öffentlichkeit.
Laborjournal: Yaakov Jerris, Leiter einer Corona-Abteilung im Ichilov-Krankenhaus Tel Aviv (Israel), sagte Anfang Februar in einem Interview, achtzig Prozent der schweren COVID-19-Fälle seien vollständig geimpft, die Impfung habe also keine Bedeutung für schwere Erkrankungen. Wie interpretiert eine Statistikerin diese Aussage?
Schüller » Das ist ein Trugschluss. Die meisten Menschen in Israel sind mittlerweile geimpft, in den Risikogruppen sogar mehr als achtzig Prozent.
Laut OurWorldData sind in Israel knapp siebzig Prozent der Bevölkerung vollständig geimpft.
Schüller » Es ist falsch, hier die durchschnittliche Impfquote zu nehmen, weil das Risiko eines schweren Verlaufs mit dem Alter erheblich zunimmt, die Impfquote aber auch. Richtig ist es, die Impfquote in der Bevölkerung, die der Altersverteilung der schweren Fälle entspricht, zu verwenden. Man muss also die Patientenzahl in Relation setzen zu der Zahl, wie viele Menschen in der jeweiligen Altersgruppe denn überhaupt geimpft sind. Damit zeigt sich, dass das Risiko, als Geimpfter im Krankenhaus zu landen, im Vergleich zum Ungeimpften deutlich geringer ist. Wir empfehlen allerdings oft, mit den sogenannten natürlichen Häufigkeiten statt mit Prozentzahlen zu arbeiten, weil sich viele Menschen mit Letzteren sehr schwer tun.
Besser wäre also, man vergleicht die Anzahl der hospitalisierten Personen auf der Basis von beispielsweise jeweils 10.000 geimpften und ungeimpften Personen?
Schüller » Das wäre eine vernünftige Vergleichsbasis. Das Problem bei der eingangs beschriebenen Achtzig-Prozent-Aussage ist, dass eben nicht von je beispielsweise 10.000 Ungeimpften und Geimpften ausgegangen wird, sondern von vielleicht 9.000 Geimpften und nur 1.000 Ungeimpften. Wenn die Impfung nicht schützt, erwartet man entsprechend neunzig Prozent Geimpfte unter den Hospitalisierten. Es sind aber weniger.
Wenn tatsächlich alle geimpft wären, die Impfung aber nicht zu einhundert Prozent schützt, dann wären auf der Krankenstation nur Geimpfte zu erwarten.
Schüller » Ganz genau. Mit solchen Aussagen wie der des israelischen Arztes suggeriert man, die Impfung schütze nicht. Aber das ist falsch.
Gehen wir mal ein Jahr zurück: 2021 meldeten Sie sich in Sachen COVID-19 erstmals zu Wort und starteten eine Online-Petition, worin Sie zu großflächigen Tests aufriefen. Hatte diese Petition irgendeine Wirkung?
Schüller » (lacht) Wir hatten gehofft, wir bekämen eine repräsentative Stichprobe, anhand derer wir hätten analysieren können, wie sich die Pandemie entwickelt, wer betroffen ist, wer ein besonderes Risiko hat, wie groß das Problem tatsächlich ist. Das ist leider nicht eingetreten.
Aber solche Zahlen haben wir inzwischen.
Schüller » Schon, aber wir haben noch immer keine repräsentative Stichprobe. Also können wir neue Fragen nicht beantworten. Etwa: Wer lässt sich impfen und wer nicht? Wie gut wirkt die Impfung? Welches sind Faktoren für schlechte oder gute Wirkung der Impfung? Bei wem und wann lässt die Wirkung nach? Und so weiter. Die Petition hat aber bewirkt, dass wir klarmachen konnten, dass wir wirklich belastbare Daten und gute Statistik brauchen. Das konnten wir viel stärker ins Bewusstsein der Öffentlichkeit und der Politik bringen. Ich habe viele Gespräche im politischen Milieu geführt und die Notwendigkeit von besseren Daten diskutiert. Damit setzen wir uns jetzt auch intensiv in unserem deutschen Fachverband und FENStatS auseinander. FENStatS steht für Federation of European National Statistical Societies und ist der Dachverband der europäischen nationalen Statistik-Gesellschaften. Wir haben uns vernetzt und ziehen nun alle an einem Strang.
Das gab es vorher nicht so?
Schüller » Wir waren uns zwar einig, was gute statistische Methoden und Datenqualität anbelangt, aber wir haben uns bisher nicht gemeinschaftlich zu Wort gemeldet und gesagt, unsere Disziplin ist total wichtig und braucht mehr Experten. Statistik kann man ja nicht im Crashkurs erlernen oder nach einem Semester anwenden. Wir sind also sichtbarer und zeigen eine gewisse Geschlossenheit in Wirtschaft, Wissenschaft und statistischen Ämtern. Wir haben klargemacht, dass man auf Dauer eine gewisse Datentiefe braucht. Das hat sich in der Datenstrategie der Bundesregierung mit niedergeschlagen. Es gibt mittlerweile regen Austausch, es gibt jetzt Werkstattgespräche über Datenkompetenzen, die ich mit dem Statistischen Bundesamt initiiert habe. Das hat sich also tatsächlich verändert und ich bin optimistisch, dass wir in den nächsten Jahren vorankommen. Es ist sogar die Rede von einem Dateninstitut. Ich bin gespannt.
Ich habe wesentliche Veränderungen nicht wahrgenommen. Es gibt keine Zahlen zum Grund einer Hospitalisierung – Stichwort "mit" oder "wegen" COVID-19. Es gab bis Ende 2021 keine Zahlen zum Geimpften-Status in Kliniken, zur Validität von Tests in Testzentren oder zu Hause in Real Life, keine Zahlen zu Ct-Werten. Wir wissen ja nicht einmal, wie viele Menschen wirklich wie oft geimpft wurden. Es fehlen viele wesentliche Daten, um dem Bürger die Situation genau zu erklären und so manche Diskussion etwas sachlicher gestalten zu können.
Schüller » Ja, da haben Sie recht. Es hat mich lange irritiert, warum man sich nicht einfach solche Daten beschafft. In der Wissenschaft und auch als kleines Unternehmen in der Beratung suchen wir uns die Daten, googeln, werten aus. Doch das Statistische Bundesamt darf das nicht. Das deutsche Statistik-Gesetz, das aus den 1950er-Jahren stammt, ist das Problem. Das Gesetz ist Input-orientiert, es schreibt dem Amt vor, welche Daten es erheben darf. Man könnte es auch Output-orientiert gestalten und sagen, welche Phänomene oder Fragestellungen untersucht werden sollen. Beispiel Krankheitsverbreitung. Dann könnte das Amt selbst entscheiden, welche Daten es sammelt, um die Frage zu beantworten. Für diese Art der Datenkultur stehe ich. Es ist wichtig, von der Fragestellung, einem realen Problem, auszugehen.
Unsere Daten sind also für die Beantwortung der wichtigen Fragen zur Pandemie gar nicht geeignet?
Schüller » Richtig. Leider kann auch der Chef des Statistischen Bundesamts nicht einfach andere Daten erheben. Er braucht dafür einen gesetzlichen Auftrag. Das ist ein strukturelles Problem, dessen muss sich die Politik erst einmal klar werden.
Gelangt eigentlich die Expertise der Statistiker in breitere Kreise?
Schüller » Die vermehrte Aufmerksamkeit merken wir. Die „Unstatistik“ findet Verbreitung – wir wurden ja Anfang Februar auch von Dieter Nuhr in seiner Show zitiert. Ich habe auch mit Focus und mit Vertretern der Bild-Zeitung gesprochen. Auch da muss man, denke ich, ausgewogene Meinungen mal platzieren. Wenn ich die Chance habe, breitere Bevölkerungsschichten zu erreichen, will ich die nutzen. Ich bin überzeugt, das gewisse Kompetenzen im Umgang mit Daten und Statistik vermittelt werden müssen. Diese Grundbildung fehlt in der Gesellschaft und auch in der Politik.
Sie finden also jetzt offene Ohren in Berlin?
Schüller » Die Strategie-Abteilung des Statistischen Bundesamts setzt sich sehr stark dafür ein, auch der Präsident des europäischen Dachverbands FENStatS. Ich glaube, dass es langsam klar wird, dass man sich die wichtigen Daten beschaffen muss, auch gerade angesichts der Diskussionen in sozialen Medien.
Es gibt erste Entwicklungen, und zwar bei den Wirtschaftsdaten. Das Bundesamt probiert sogenannte experimentelle Daten und erhebt alternative Konjunkturdaten, die nicht erst eineinhalb Jahre später zur Verfügung stehen, sondern schon fast in Echtzeit. Eine solche Vorgehensweise muss man natürlich dahingehend ausprobieren und überprüfen, ob die Datenerhebung funktioniert und ob die Daten auch eine ausreichend gute Qualität haben – gerade wenn man sie dann als Steuerungswerkzeug für ein ganzes Land benutzen möchte. Das Problem hatten ja jetzt die Gesundheitsämter. Die haben sich eine Datenbank gebaut, dann hat mal jemand eine Spalte hinzugefügt oder entfernt – und schon lief nichts mehr. Beim Programmieren muss man sich also genau überlegen, wie man die Datenbank aufbaut, was man wissen will – und das muss man dann auch austesten.
Warum wurde Ihrer Meinung nach der Impfstatus von hospitalisierten Patienten so lange nicht erfasst oder zumindest nicht öffentlich kundgetan?
Schüller » Erstens gibt es da große Verunsicherung, was man unter Datenschutzaspekten tun darf und was nicht. Allerdings: In ganz Europa haben wir eine einheitliche Datenschutzgrundverordnung. Man könnte also über die Ländergrenzen schielen und schauen, was man tun könnte und müsste. Beispiel Österreich: Die haben schon ein Impfregister, mit dem man wirklich ziemlich coole Sachen auswerten kann. Bei uns ist man davor zurückgeschreckt. Und zweitens müsste man auch Prozesse in der Dokumentation ändern. Ich habe manchmal wirklich den Verdacht, dass man Datenschutz vorschiebt, um manche Sachen eben nicht tun zu müssen, weil man dazu Prozesse aufwendig ändern müsste.
Im September 2021 sagte Karl Lauterbach, basierend auf einer Studie im New England Journal of Medicine (385: 1393-400), die dritte Impfung verzehnfache den Schutz gegen die Infektion. Das haben Sie in der „Unstatistik des Monats“ als „Klassiker der Fehlinterpretation von relativen Risiken“ gegeißelt.
Schüller » Diese Aussage ist ja auch falsch. Es war wohl vor allem die mangelhafte Transparenz der Methodik, die zu diesem Fehlschluss führte. Man hätte das besser darstellen können mit grafischen Verfahren, aber das ist nicht erfolgt. Auch wir mussten uns ziemlich reinknien, um zu verstehen, was die Forschungsgruppe in Israel gemacht hatte. Die hatten Daten von genau einem Monat genommen. Ein Teil der Leute wurde in den Tagen zum dritten Mal geimpft. Also können sie niemanden beobachtet haben, der einen Monat oder länger dreifach geimpft war. Ein weiterer Teil der Personen war auch nicht einen Monat lang zweifach geimpft, weil sie nach der dritten Impfung in diese andere Gruppe wechselten. Im Schnitt waren die Personen also etwa zwei Wochen in ihrer jeweiligen Gruppe unter Beobachtung. Das ist ein sehr kurzer Zeitraum, darüber hinaus gibt es keine Informationen. Dadurch entstand der Eindruck eines riesigen Effekts, der zwar auf vielen Menschen basiert, die man aber nur sehr kurze Zeit beobachtet hatte.
Hatte Lauterbach also unrecht?
Schüller » Nein. Ich kann schon sagen, das Risiko zu erkranken habe sich innerhalb der kurzen Zeit gezehntelt. Es ist aber nicht richtig, daraus zu schließen, der Impfschutz habe sich verzehnfacht. Das kann man sich leicht vor Augen führen: Nehmen wir an, das Risiko, mich zu infizieren, geht von 10 Prozent auf 1 Prozent runter. Das ist eine Reduktion um den Faktor 10. Aber der Schutz kann sich nicht von 90 Prozent auf 900 Prozent verzehnfachen, das geht ja gar nicht. Das ist vielleicht ein technisches Argument, aber wir leben immerhin davon, dass wir uns in unserer Disziplin ganz exakt ausdrücken. Und wir suggerieren mit Zahlen ja eine Präzision. Also müssen wir diese Präzision auch in der Begrifflichkeit zeigen.
Und was man auch bedenken muss: Wir scheuen uns davor, offen auszusprechen, dass keine dieser einzelnen Kennzahlen wie Inzidenz, Hospitalisierung, Reproduktionszahl für sich genommen eine gute Steuerungsgröße ist, sondern dass man diese Zahlen im gesamten Kontext sehen muss. Wir müssen komplexer denken. Man sollte sich mal überlegen, was eine Erhöhung des Schutzes um beispielsweise 0,2 Prozentpunkte durch eine dritte Impfung für eine Intensivstation bedeutet. Wie viele Patienten hätte man dann weniger? Auch solchen Fragen muss man nachgehen.
Es ist wohl eine Gratwanderung zu entscheiden, wie viel Komplexität ich zulasse oder wie groß die Vereinfachung sein soll.
Schüller » Ja klar, es ist ein Balanceakt: Wie weit reduziere ich Komplexität, damit ich überhaupt noch politische Entscheidungen treffen kann, und bis wohin sage ich, ich will nicht reduzieren, weil ich dann wichtige andere Aspekte aus dem Blick verliere. Das ist keine einfache Situation und keine leichte Aufgabe. Aber dann dürfen wir auch nicht so tun, als sei es leicht.
In einer weiteren „Unstatistik“ bemängelten Sie, dass Überschriften nicht den Inhalt des Textes oder der Grafiken wiedergeben. Müsste man nicht eigentlich in einer Situation wie jetzt darauf hinwirken, dass wenigstens der Öffentliche Rundfunk seine Informationen absolut sachlich, präzise und faktenorientiert darstellt? Oder sogar einen Statistiker in der Redaktion sitzen hat, der die Berichte vor der Veröffentlichung noch mal anschaut?
Schüller » (lacht laut) Das wäre schön – zum Wetterbericht eine kleine Statistik-Lektion. Aber das wird nicht passieren. Immerhin entsteht durch die vielen Diskussionen mit Datenjournalisten mehr Bewusstsein für die Probleme. Was ich beispielsweise sehr kritisch gesehen habe, war die Omikron-Wand-Grafik, die wir um die Weihnachtszeit gezeigt bekamen. Wir hatten für diese Vorhersage wirklich nicht genug Daten. Es war ein Worst-Case-Szenario. Das kann man schon zeigen, aber nicht, ohne auch die Unsicherheit dabei herauszustellen. Diejenigen, die solche Modelle erstellen, wissen schon, dass dieses Szenario mit höchster Wahrscheinlichkeit so nicht eintreten wird, weil die Politik vorher eingreifen wird. Aber wenn man die Unsicherheit der Daten nicht erklärt, riskiert man die Glaubwürdigkeit der Statistik. Das führt am Ende dazu, dass Menschen, die nichts oder wenig von Statistik verstehen, sagen: War eh nur wieder Panikmache, ist ja so nicht passiert, wir werden mit Statistiken nur manipuliert, da machen wir nicht mehr mit.
Und diese Vorwürfe muss man sich schon gefallen lassen, wenn man solche Prognosen ohne genaue Erklärung der Wahrscheinlichkeit veröffentlicht?
Schüller » Ja, allerdings. Zu Beginn der Pandemie wurde von der Regierung mal empfohlen, vornehmlich Worst-Case-Szenarien zu publizieren. Vielleicht, um die Bürger zur Vorsicht anzuhalten. Aber das ist problematisch; es mag kurzfristig funktionieren, aber langfristig geht der Schuss nach hinten los. Und es ist ja auch genau das passiert: Die Prognose ist nicht eingetreten, schnell gab es viel lebhafte Diskussionen in den sozialen Medien.
Sprechen wir noch über die Übersterblichkeit. Immer wieder hört man das Argument, nur diese Zahl würde die tatsächliche Gefahr, die von SARS-CoV-2 ausgeht, beschreiben können. Das Statistische Bundesamt stellt eine deutliche Übersterblichkeit für 2021 fest, andere Berechnungen kamen zu anderen Ergebnissen.
Schüller » Man muss den Beobachtungszeitraum berücksichtigen. Wenn man sich Jahresgesamtzahlen anschaut, verliert man die Saisonalität von Ereignissen.
Und man muss das Bevölkerungswachstum, die Alterung und damit die auch ohne COVID-19 steigende Sterblichkeit berücksichtigen.
Schüller » Das stimmt.
Müsste man also hier eher nicht die Gesamtsterblichkeit anschauen, sondern vielmehr Verstorbene pro 100.000 in Altersgruppen, also die altersspezifische Sterblichkeit?
Schüller » Richtig, das gilt für die Sterblichkeit wie auch für die schweren Fälle. Es gab zum Beispiel eine Diskussion über Daten aus Israel, die darauf hindeuten, dass die Wirksamkeit des Impfstoffs gegen einen schweren Krankheitsverlauf aufgrund von Delta, nachlassendem Schutz oder beidem abnimmt.
Es gab 16,4 schwere Fälle unter 100.000 Ungeimpften und 5,3 unter 100.000 Geimpften, was rechnerisch eine Impfeffektivität von nur 67,5 Prozent wäre. Aber die Ergebnisse werden durch das Alter verfälscht. Unabhängig vom Krankheitsstatus sind die meisten Ungeimpften jung; unabhängig vom Impfstatus sind die meisten schwer Erkrankten alt.
Das ist ein Paradebeispiel für Simpsons Paradoxon. Sowohl bei den unter 50-Jährigen als auch den über 50-Jährigen ist die Impfeffektivität höher als insgesamt, wenn man beide Gruppen gemeinsam analysiert. Womöglich erklärt das sogar zum Teil den Rückgang der Impfeffektivität über die Zeit, weil die Durchimpfungsrate insbesondere bei den Älteren ansteigt.
Und speziell im Fall von Corona müssen wir uns fragen: Wie will man denn 2021 mit den Jahren zuvor vergleichbar machen? Seit wir Pandemie haben, greifen wir massiv in unser persönliches Verhalten ein. Von Maskenpflicht über Impfung bis zur Einschränkung der Mobilität. Wenn wir keine große Übersterblichkeit haben, sehen wir vielleicht nur die Wirkung der Maßnahmen. Man hätte die Erkrankung einfach laufen lassen müssen, um ihre Auswirkung auf die Sterblichkeit zweifelsfrei festzustellen, was aus ethischen Gründen natürlich nicht geht. Nehmen wir ein anderes Beispiel: Wann war das letzte Mal jemand mit einer Bombe im Flugzeug?
Das ist lange her.
Schüller » Eben. Wegen der Kontrollen kann man den Bombenleger nämlich entdecken.
Macht Ihnen Ihre „Unstatistik“, speziell in Verbindung mit Corona, eigentlich viel Ärger?
Schüller » Ich bekomme Hass-Nachrichten, aber ich nehme das sportlich. Hass muss man sich verdienen, Mitleid gibt es geschenkt.
Interview: Karin Hollricher (20.2.2022)
(Foto: privat / destatis)
- „Ein weltweiter Immunschutz ist entscheidend“
Die Ärztin Anahita Fathi erforscht Vakzinierungsstrategien am Bernhard-Nocht-Institut für Tropenmedizin und versorgt Corona-Patienten in der Infektiologie des Universitätsklinikums Hamburg-Eppendorf. Laborjournal sprach mit ihr über Auffrischungsimpfungen, Impfdurchbrüche und warum Impfangebote erweitert werden sollten ...
- „Selbst milde Verläufe von COVID-19 ziehen Langzeitfolgen nach sich“
Wilhelm Bloch leitet die Abteilung „Molekulare und zelluläre Sportmedizin“ an der Deutschen Sporthochschule Köln. In unserem Gespräch gewährt er einen Einblick in das Long-COVID-Syndrom und erklärt, wie unterschiedlich es sich unter Profi-, Hobby- und Nicht-Sportlern manifestiert ...
- „Senioren profitieren von Drittimpfungen gleich mehrfach“
Der Braunschweiger Infektionsimmunologe Luka Cicin-Sain spricht über die Alterung des Immunsystems inklusive Corona-Impfungen und Impfdurchbrüche ....
- Von der Pandemie zur Corona-Saison
Inzwischen steht wohl fest: Wir müssen mit SARS-CoV-2 leben. Wie sich die Welt mit Corona künftig entwickeln könnte und warum sich das Virus nicht wegimpfen lässt, hat Laborjournal den Immunologen Carsten Watzl gefragt ...
- „Das kindliche Immunsystem ist schon in Alarmbereitschaft“
Irina Lehmann ist Leiterin der Arbeitsgruppe Molekulare Epidemiologie am Berlin Institute of Health (BIH) an der Charité und sucht mit ihren Kollegen nach den zellulären und molekularen Gründen dafür, dass SARS-CoV-2-Infektionen bei Kindern milder verlaufen als bei Erwachsenen. Im Interview spricht sie über die Ergebnisse und was man daraus lernen kann ...