In den Lebenswissenschaften liefern uns oft verschiedene Methoden das gleiche Ergebnis. Spricht das nicht gegen eine Reproduktionskrise? Leider nicht unbedingt!
Triangulation! Die Ägypter bauten damit ihre Pyramiden. Die Griechen haben einen Zweig der Mathematik daraus entwickelt. Noch bis ins 19. Jahrhundert wurden ganze Länder so vermessen, und weit ins 20. Jahrhundert hinein haben Schiffe ihre Position damit bestimmt. Man braucht nur ein Geodreieck und einen Winkelmesser, den die Vermessungskundler einen Theodoliten nennen – und schon kann man mit den Koordinaten zweier sichtbarer Landmarken durch Triangulation seine eigene Position auf einer Karte bestimmen. So einfach ist das!
Doch was schwärmt der Narr da von der Landvermessung, der Geodäsie? Könnte es etwa sein, dass die Triangulation auch ein wichtiger methodischer Ansatz in der Biologie ist? Ein Heilmittel gar für die Replikationskrise? Marcus Munafò und George Smith von der University of Bristol haben jedenfalls genau das vor kurzem in einem Kommentar in Nature postuliert (553: 399-401).
Die Soziologen nennen es Triangulation, wenn sie zwei oder mehr unterschiedliche Methoden einsetzen, um einen Sachverhalt zu untersuchen. Wenn die Resultate an einem Punkt konvergieren – das heißt, zum gleichen Ergebnis führen –, dann erhöht dies die Validität und die Glaubwürdigkeit des Resultats. Machen wir das nicht auch routinemäßig in den experimentellen Lebenswissenschaften? Hat die Knock-out-Maus denselben Phänotyp wie eine, bei welcher der Signalweg pharmakologisch geblockt wurde? Korrelieren Transkript und Proteinexpression mit dem Phänotyp? Auch die gute alte Dosis-Wirkungskurve hat etwas davon, schließlich „peilen“ wir mit ihr doch auf verschiedene Konzentrationen.
Die biologisch-medizinische Grundlagenforschung ist es also gewohnt, von bereits etabliertem Wissen (die Landmarken des Vermessers!) mit unterschiedlichen Methoden ein Ziel „anzupeilen“. Konvergieren dann die Resultate – bingo, schon haben wir den biologischen Mechanismus sicher verortet! Deshalb lässt es so viele von uns kalt, wenn gewisse Spaßverderber mit einfacher Oberstufen-Statistik nachweisen, dass die meisten Studien in der Biomedizin trotz signifikantem p-Wert falsch positiv sein müssen (siehe meinen ersten „Wissenschaftsnarren“ in LJ 4/17: 24-25). Weil wir ja nicht nur auf EIN Resultat setzen, sondern mittels verschiedener Ansätze triangulieren! Und zur Absicherung von Ergebnissen sollte das doch sogar besser sein als zu reproduzieren. Wenn etwas einfach nur wiederholt wird, ist es schließlich nicht unwahrscheinlich, dass ein systematischer Fehler mit wiederholt wird. Und das macht das Ergebnis vielleicht reproduzierbar, aber immer noch nicht richtig.
Lagen die Skeptiker also falsch, die sich um die Reproduzierbarkeit der Ergebnisse aus der Biomedizin sorgten? Schön wär’s! Leider ist die Sache trotz munteren Triangulierens in vielen Laboren eben doch nicht so trivial. Denn wie jeder Geodät bestätigen wird, ist das Prinzip der Triangulation zwar einfach, exakte Ortsbestimmung durch Triangulieren aber beileibe kein Kinderspiel.
Auf die biomedizinische Grundlagenforschung bezogen ergeben sich daher einige Spielregeln, die leider häufig nicht eingehalten werden. Zunächst einmal müssen wir uns sicher sein, dass unsere „Landmarken“ biologisch fundiert sind – und nicht selbst Resultat falsch-positiver Ergebnisse, einer Überinterpretation der Ergebnisse, oder ein Artefakt experimenteller Bedingungen. Der Geodät tut sich da leichter: Die Position der Referenzlandmarken findet er Dezimalsekunden-genau auf der Landkarte.
Wenn wir dann den Winkelmesser – das heißt, verschiedene Methoden auf eine Hypothese – ansetzen , müssen wir zudem sauber ablesen. Dies bedeutet: Verblindung, keine Flexibilität in der Auswahl der zu verwendenden Datenpunkte und so weiter. Und wenn die Peilung am Ende einen Winkel ergibt, der uns nicht ins Konzept passt, dann dürfen wir diesen Wert nicht einfach ignorieren und den Theodoliten ein wenig versetzen, um nochmals anzulegen. Etwa frei nach dem Motto „Probieren wir doch einfach mal ’nen anderen Antikörper“. Oder einen anderen pharmakologischen Blocker!
Wenn wir so etwas schon machen, dann müssen wir dies begründen und in der Publikation berichten. Der abgelesene Winkel muss quasi von hoher Präzision sein. Mit niedrigen Fallzahlen ist dies aber leider nur sehr selten zu haben, denn die biologische Varianz ist enorm. Und der gemessene Winkel muss tatsächlich existieren, darf also kein falsch-positiver Befund aufgrund niedriger Fallzahl oder einer unwahrscheinlichen Hypothese sein.
Sie ahnen, worauf ich hinaus will: Wenn Landvermesser so triangulieren würden, wie wir experimentieren, würden sie zwar Landkarten erzeugen, die sich sehr plausibel zeichnen lassen – man könnte sie auch drucken, und sie würden hübsch aussehen. Aber wenn sich ein Wanderer danach richten würde, müsste er sich arg verlaufen.
Bei richtiger Anwendung kann Triangulation allerdings tatsächlich der Schlüssel zu robusteren Ergebnissen sein. Soll heißen: durch Experimente mit ausreichender Fallzahl, mit Verminderung von Bias (Verblindung, Randomisierung et cetera), mit vorbestimmten Ein- und Ausschlusskriterien sowie mit einer Veröffentlichung der Ergebnisse unabhängig von den Resultaten. Dann wäre Triangulation außerdem sehr effektiv: Die kumulativen Fallzahlen der experimentellen Serien verschiedener methodischer Ansätze können beispielsweise tatsächlich niedriger sein als diejenigen einer einzigen Serie mit nur einem Ansatz. Und dies sogar bei gleicher oder höherer Power wie auch höherer externer Validität. Das ist jedoch schwer in Zahlen zu fassen, denn hierfür lässt sich keine Power in statistischem Sinne berechnen. Und auch externe Validität, also die Generalisierbarkeit und Repräsentativität von Ergebnissen ist nicht wirklich quantifizierbar.
Wie aber geht es nun weiter, nachdem man durch Triangulation ein biologisches Phänomen vorläufig verortet hat? Natürlich wird man es der Welt in einer Publikation kundtun wollen. Dabei sollte man sich jedoch über die weiterhin existierenden Limitationen der so gewonnenen Befunde im Klaren sein. Das sollte sich beispielsweise bereits im Titel bemerkbar machen, in dem man die Studie als explorativ kennzeichnet. Und in den Conclusions sollte man sich zurückhalten. Der Verweis auf eine nun mögliche Therapie am Menschen oder die notwendige Überarbeitung von Lehrbüchern ist da in den wenigsten Fällen angebracht.
Erst eine Konfirmation durch Replikation in anderen Laboren kann Gewissheit über die Existenz und das wahre Ausmaß eines Effektes schaffen. Das benötigt in der Regel höhere Fallzahlen als im Originalexperiment, und zudem sollte die Studie präregistriert sein. Es ist völlig klar, dass dies nur bei einer geringen Anzahl von Befunden überhaupt machbar, sinnvoll und praktikabel ist. Wenn es aber zum Beispiel um die Entscheidung geht, ob man vom Tierexperiment zu einer Studie am Menschen übergeht, sollte dies selbstverständlich sein.
Schön daher, dass das Bundesministerium für Bildung und Forschung (BMBF) dies auch so sieht – und vor kurzem eine Ausschreibung für präklinische konfirmatorische Studien veröffentlich hat. Das ist ein revolutionärer Vorstoß, der hoffentlich Schule machen wird. Bei anderen Fördergebern, klar. Aber auch bei uns Wissenschaftlern!
Die hier zitierte sowie weiterführende Literatur findet sich wie immer unter https://dirnagl.com/lj.