Kreativität und Qualität – ein Plädoyer für mehr wissenschaftliche Sorgfalt

15. Mai 2019 von Laborjournal

(In den letzten Wochen erhielten wir mehrere Nachfragen nach dem unten folgenden Essay von Patrick Baeuerle aus dem Jahr 2004 (!). Wir mussten ihn uns selbst erst mal wieder anschauen — und siehe da: Offenbar war die Reproduzierbarkeitskrise schon vor fünfzehn Jahren dem einen oder anderen bewusst…)

————

x

Mangelnde Datenqualität stellt ein viel häufigeres Problem in der Grund­lagen­forschung dar als beispielsweise Betrügereien. Durch zu niedrige Ansprüche an die Güte der eigenen Ergebnisse verpufft das enorme kreative Potenzial an unseren Universitäten. Aber wie verbessert man die Qualität in der Praxis?

x

„Cooool“ tönt es spät abends aus dem Labor. Der Postdoc hat nach Auswertung eines Genexpressionsprofils bestätigt, dass die Krebszellen ein Protein exprimieren, welches sie eigentlich nicht machen dürften. Durch dieses Protein können die Zellen besonders empfindlich auf eine neue Krebstherapie reagieren.

Wie häufig kommt diese ungewöhnliche Expression vor? Passiert dies auch in menschlichen Tumorproben? Welcher molekulare Mechanismus liegt dem zu Grunde? Vor den Augen des Wissenschaftlers tut sich ein neues, spannendes Forschungsgebiet auf. Seine Gedanken beginnen um einen eigenen DFG-Antrag, viele Publikationen, Einladungen zu Vorträgen sowie eine Habilitationsstelle zu kreisen.

Wir befinden uns in einem renommierten, akademischen Forschungsinstitut. Schon seit Wochen wird der Befund des Postdocs unter den Kollegen in der Abteilung heiß diskutiert und fast jeder hat bereits seine eigene Hypothese entwickelt, wie es zu der ungewöhnlichen Proteinexpression kommen konnte. Der Abteilungsleiter und die Kollegen drängen den Postdoc, die Daten mehrmals zu reproduzieren. Heute Abend ist dies nun zum wiederholten Male geglückt.

Der Postdoc bekommt bald darauf eine technische Assistenz zur Seite gestellt, um das Projekt zu beschleunigen. Diese Person wird hauptsächlich in der Zellkultur eingesetzt und bekommt so jeden Tag die Krebszellen unter dem Mikroskop zu sehen. Dabei fällt ihr auf, dass wenige Prozent der Zellen irgendwie anders aussehen als der Rest. Noch eine Zeit lang wird diese Beobachtung heruntergespielt und mit verschiedenen Zellzyklusstadien erklärt. Erst nach einigen Monaten wird beschlossen, die Zelllinie zur genomischen Analyse an ein Auftragslabor zu geben. Das Ergebnis ist eindeutig und ernüchternd: Es lag ein Gemisch zweier Zelllinien vor. Das neue Protein wurde also von einer verunreinigenden Zelllinie beigesteuert.

Weitere Nachforschungen im Institut konnten nicht eindeutig klären, wo die verwendeten Zellen eigentlich herkamen. Man fand nur heraus, dass sie schon mindestens seit elf Jahren im Institut vorhanden waren, schon von vielen Studenten und Postdocs verwendet wurden und die Grundlage von einem halben Dutzend Publikationen waren. Zudem ergab die Auftragsanalyse, dass die Zellen auch noch hochgradig mit Mycoplasmen verseucht waren.

Welcher Grundlagenforscher kann sich nicht vorstellen, dass sich so etwas schon einmal in dieser oder ähnlicher Form in einem Institut abgespielt hat? Defekte oder falsch geeichte Messgeräte, Reagenzien mit weit überschrittenem Haltbarkeitsdatum, nachlässige Dokumentation, veraltete Protokolle, Proben unbekannter Herkunft, vertauschte Röhrchen, verunreinigte Zellkulturen, instabile Testverfahren,… Und eine eingeschränkte Kenntnis statistischer Methoden tut dann ihr Übriges, dass ein Teil der Arbeitszeit und der Forschungsmittel schlichtweg vernichtet wird.

Vorausgesetzt, die Mängel werden erkannt und das Projekt für beendet erklärt oder aufwändig wiederholt, bleibt es bei der Vernichtung der Forschungsmittel. Aber wenn die Mängel unerkannt bleiben — oder schlimmer noch, einfach ignoriert werden —, dann werden die unter solchen Bedingungen gewonnenen Ergebnisse schließlich publiziert und bilden so die Grundlage für weitere Forschungsarbeiten, Veröffentlichungen, Mitteleinwerbungen und für wissenschaftliche Karrieren.

Karrieren, auf Treibsand gebaut

Ich bin überzeugt, dass nahezu jeder Wissenschaftler in seiner Laufbahn viele Male mit einem oder gleich mehreren der oben aufgeführten Qualitätsmängel zu tun hatte. Ich vermute daher, dass mangelnde Qualität von Daten ein sehr viel häufigeres Problem in der Grundlagenforschung darstellt als etwa mutwillige Fälschungen von Daten oder andere Betrügereien, wie sie jüngst immer wieder die Schlagzeilen beherrschten.

Mangelnde Qualität von Experimenten scheint bei Studenten in die Kategorie „Lehrgeld“ und bei erfahreneren Wissenschaftlern in die Kategorie „Kann jedem passieren“ zu fallen. Vielerorts fehlt daher ein übergreifendes Bewusstsein für diese Problematik, und effektive Maßnahmen zur Verbesserung der Qualität von Forschungsergebnissen sind in einigen Forschungslabors weitgehend unbekannt.

Dieser Essay fragt daher, wie die Qualitätssicherung in der Grundlagenforschung verbessert werden kann. Hierzu blicken wir zunächst einmal über den Zaun in die Labors der biotechno­lo­gi­schen und pharmazeutischen Industrie.

Eigentlich dürfte sich das Eingangsszenario in der Industrie nicht ohne weiteres ereignen. In den meisten Firmen befinden sich die Forscher in einer Umgebung, die ein Qualitätssicherungssystem in Anlehnung an die Vorgaben der „Good Laboratory Practices“ (GLP) eingeführt hat und wo nach „Standard Operating Procedures“ (SOPs) gearbeitet wird.

SOPs legen beispielsweise fest, dass jedes Plasmid, jede Zelllinie und jedes Reagenz bei Eingang in das Labor einer Qualitätskontrolle unterzogen wird. Bei vielen mir bekannten Unternehmen fällt diese Kontrolle besonders gründlich aus, wenn das Material nicht von einem industriellen Hersteller, sondern aus einem akademischen Forschungslabor stammt. Zur Eingangskontrolle kann gehören, dass ein Plasmid sequenziert, eine Zelllinie genomisch charakterisiert und auf Sterilität getestet wird; oder dass ein Protein auf Reinheit und Aktivität untersucht wird, bevor damit wichtige Daten generiert werden.

SOPs legen auch für jedes Messgerät genau fest, wie oft, von wem und auf welche Weise es kontrolliert wird — und dies wird dann auch genau protokolliert. Genauso werden durch SOPs bestimmte Arbeitschritte an der Laborbank festgelegt, wie beispielsweise das Anfärben von Gelen, die Dokumentation von Ergebnissen, die Bestimmung der Expression eines Oberflächen­anti­gens durch FACS-Analyse, die Durchführung eines ELISA oder die Überprüfung der Haltbarkeit eines Reagenz.

Welche Freiheit, wenn man sich auf nichts verlassen kann?

Ein einmal etabliertes und durch eine SOP beschriebenes Verfahren stellt sicher, dass Daten immer in gleicher Weise generiert und damit untereinander vergleichbar werden. Außerdem dienen die SOPs als systematisierte Datenbasis für das Wissen des Labors. Spezielle Beauftragte für Qualitätssicherung und -management sorgen dafür, dass Standardprozesse in Form von SOPs dokumentiert und regelmäßige Schulungen zu diesen Prozessen stattfinden. Darüber hinaus überprüfen sie die Prozesse auf Aktualität in Übereinstimmung mit Richtlinien der Behörden, wie etwa der US-amerikanischen Food and Drug Administration (FDA).

Dies hört sich zunächst alles ziemlich bürokratisch und reglementiert an — und scheint so gar nicht dem zu entsprechen, was man sich so alles unter der Freiheit der Grundlagenforschung vorstellt. Doch wo bleibt die Freiheit, wenn man sich am Ende nicht auf die gewonnenen Daten verlassen kann, keine schlüssigen Ergebnisse bekommt und eventuell alles noch mal von vorne untersuchen muss?

Im Grunde geht es um nichts anderes als die Einhaltung der wissenschaftlichen Sorgfaltspflicht. In der Pharma- oder auch der Biotech-Industrie ist dies nicht zuletzt zum Schutz des Patienten ein „Muss“. Schließlich setzt auf Grundlage von Laborergebnissen dieser in klinischen Prüfungen seinen eigenen Körper dem Medikament-Kandidaten aus. Aber es geht auch um Verantwortung gegenüber den eigenen Mitarbeitern, Entwicklungspartnern und all jenen, die ihr Geld in das Unternehmen investiert haben. Letztlich steht die Qualität der Daten für den Ruf und Fortbestand des Unternehmens. All dies wird in Frage gestellt, wenn wichtige Entscheidungen auf ungenauen, mangelhaften, nicht-reproduzierbaren oder manipulierten Daten aufbauen.

Typischerweise beginnen junge Start-up-Unternehmen zunächst mit einer „Light“-Version eines Qualitätssicherungssystems und wenigen SOPs, bauen ihre Standards mit der Zeit aber immer weiter aus. Spätestens dann, wenn präklinische Daten erhoben werden, die später für eine klinische Prüfung am Menschen relevant sind, muss jedoch das Qualitätssicherungssystem stehen. Gleiches gilt, wenn auf Grundlage der Daten weitreichende Investitionsentscheidungen getroffen werden.

Präklinische Daten werden zu Multimillionen-Wetten

Hierzu ein Beispiel. Die Produktion therapeutischer, rekombinanter Antikörper ist äußerst kostenintensiv. Die Entscheidung, einen bis zu fünf Millionen Euro teuren kommerziellen Produktionsprozess zu entwickeln, muss getroffen werden, lange bevor erste Daten zur therapeutischen Wirksamkeit aus klinischen Phase-Il-Studien vorliegen. Ansonsten verliert man im Erfolgsfalle zu viel Zeit auf dem Weg zum Markt. Schließlich braucht man für die Entwicklung eines hoch effizienten Fermentationsprozesses mit einer Zelllinie, die rund ein Gramm Antikörper pro Liter produziert, gerne mal zwei Jahre. Mit dem Start der Antikörperproduktion geht man quasi eine Multimillionen-Wette ein — und dies einzig auf Grundlage der bisher erhobenen präklinischen Daten. War man bei der Charakterisierung des Antikörpers, den Studien mit Zelllinien und Tiermodellen oder bei der Etablierung und Charakterisierung einer Produktions­zell­linie nachlässig, kann dies folglich für eine junge Firma schnell das Aus bedeuten. Eine Nachkomma-Stelle bei der Bestimmung der Produktivität des Herstellungsprozesses kann über Fortgang oder Ende eines Antikörper-Projekts entscheiden, denn die Produktivität definiert die „Cost of Goods“ eines Antikörpers und damit seine kommerzielle Realisierbarkeit. Fatal, wenn da mangelnde Sorgfalt das falsche Ergebnis erbracht hat.

Oder — allzu menschlich –, wenn die Forscher ihrem eigenen Wunschdenken erlegen sind.

Wenn zum Beispiel der Aufbau einer experimentellen Testung nicht ausreichend robust ist und am Ende zehn Datenpunkte liefert, von denen vier den Erwartungen entsprechen und sechs davon danebenliegen — dann tendiert ein Wissenschaftler gerne dazu die vier positiven Resultate für „reproduzierbar“ zu erklären sowie Gründe aufzuführen, warum die anderen sechs Experimente gerade nicht funktioniert haben. Wenn man zudem von der Motivation beflügelt ist, neue Therapien verfügbar zu machen, ist man noch eher geneigt, Ergebnisse der gewünschten Richtung auszuwählen.

Gegen solche Versuchungen helfen nur fest etablierte Maßnahmen der Qualitätskontrolle. Dazu gehört zunächst, die Testmethoden ausreichend robust zu entwickeln und zu validieren — das heißt, sie auf vielfältige Beeinflussungen und Stabilität hin zu untersuchen. Weiterhin gilt es, die Resultate damit vielfach zu reproduzieren, statistische Methoden zur Absicherung der Auswertung anzuwenden — sowie schließlich die gesamten Ergebnisse kritisch im Team zu diskutieren und auch von unabhängigen Experten begutachten zu lassen.

Erkenntnisgewinn alleine sorgt nicht für Qualität

Die Grundlagenforschung an öffentlichen Instituten und Universitäten verfolgt hingegen ein anderes Ziel als die anwendungsorientierte Industrieforschung. Nicht die Entwicklung eines therapeutischen oder diagnostischen Produktes steht im Mittelpunkt, sondern das prinzipielle Verständnis eines biochemischen, zellulären oder physiologischen Vorganges — samt der Identi­fi­zierung der beteiligten Komponenten und ihrer Wechselwirkungen. Dabei spielt es beispielsweise keine Rolle, ob die Expression eines Genes durch ein Hormon fünffach oder fünfzehnfach induziert wird. Hauptsache, die Richtung des Effektes ist eindeutig. Der Erkenntnisgewinn wird dann in Publikationen und Vorträgen festgehalten — den „Endprodukten“ der Grundlagen­for­schung.

Man kann dabei den Eindruck gewinnen, dass, wenn das Ziel der Forschung bloßer Erkennt­nis­gewinn ist, die Qualität der Daten gerade mal ausreichen muss, um einen Vorgang prinzipiell zu erkennen. Wenn dieser einmal publiziert ist, so die Erfahrung, werden es andere Labore womöglich bestätigen. Wichtig scheint es vor allem, der Erste zu sein. Wenn dann andere Labors keinen oder den gegenteiligen Effekt beobachten, entbrennt typischerweise ein Disput, der sich über viele Jahre und viele Publikationen hinziehen kann.

Diese Art der akademischen Selbstkontrolle setzt aber nur ein, wenn die Ergebnisse von großer Tragweite oder hoher Aktualität sind. Wenn es sich nicht gerade um ein „Cutting Edge“– Ergebnis handelt, wird der Befund womöglich nie von einem anderen Labor reproduziert. Der Wahr­heits­gehalt des Ergebnisses hängt dann einzig von den Qualitätsansprüchen des Produzenten der ursprünglichen Daten ab.

Peer Review wird gerne als eine weitere Selbstkontrolle der Grundlagenforschung angeführt. Ein Reviewer kann zwar in einer Revision des Manuskriptes weitere Kontrollexperimente oder eine bessere Statistik einfordern — er kann aber beispielsweise nicht herauslesen, ob Instrumente einwandfrei funktioniert haben, wie viele Versuchsansätze das Gegenteil gezeigt haben, ob alle Reagenzien aktiv waren oder wann die Zellen zum letzten Mal auf Mycoplasmen getestet wurden. Peer Review kann demnach nur eingeschränkt auf die Datenqualität der Grundlagenforschung Einfluss nehmen.

Mehr Qualitätsbewusstsein wäre ungemein nützlich

Nach alldem würde die öffentliche Forschung meiner Ansicht nach von einem erhöhten Qualitätsbewusstsein außerordentlich profitieren. Die meisten Universitäten und Forschungs­ein­richtungen verfügen über ein enormes intellektuelles und kreatives Potenzial, dessen effektive Umsetzung in wissenschaftliche Erkenntnisse durch zu niedrige Qualitätsansprüche großen Schaden leiden kann. Gerade in Zeiten knapper Haushalte muss verhindert werden, dass Ressourcen durch schlechte Datenqualität verpuffen, wie im Eingangsbeispiel, welches übrigens teilweise auf Tatsachen beruht, dargestellt.

Was kann also getan werden? Zum Schluss vier naheliegende Vorschläge:

  1. Qualitätssicherung und -management sollte frühzeitig in jedem naturwissenschaftlichen Studienprogramm gelehrt werden.

Und zwar entweder als scheinpflichtige Veranstaltung oder als Teil eines jeden praktischen Kurses. Dabei sollte verstanden werden, wie und warum diese Disziplin in der Industrie — immerhin ein potenzieller zukünftiger Arbeitgeber — so wichtig ist und mit welchen Methoden dort Qualitätssicherung erreicht wird. Ausdrücke wie GLP, SOP oder Validierung sollten jedem Studenten von Anbeginn ein Begriff sein. Schließlich dient Qualitätssicherung nicht nur dem Schutz der Datenqualität, sondern auch dem Schutz der Mitarbeiter. So enthalten SOPs auch wichtige Hinweise zur potenziellen Gefährlichkeit, den vorschriftsmäßigen Umgang und der Entsorgung von verwendeten Reagenzien, sowie Informationen zu Risiken bei der Bedienung von Geräten.

  1. So wie es an den meisten Instituten heute Beauftragte für Strahlenschutz, Abfall oder Gentechnik gibt, so sollte es Beauftragte für Qualitätssicherung geben.

Bei großen Instituten sollte eine Person für diese Aufgabe sogar halbtags oder ganz freigestellt werden. Die beauftragte Person mit wissenschaftlicher Ausbildung wacht beispielsweise darüber, dass alle Instrumente nachweislich gewartet werden, dass aktuelle Protokolle für Standard­ope­ra­tionen (wie zum Beispiel Gele färben) existieren, dass alle Forscher ihre Daten richtig doku­men­tieren (Laborbuchführung), dass Reagenzien routinemäßig auf Stabilität getestet werden, dass Lagerung, Entnahme und Beschriftung von Proben et cetera ordnungsgemäß verlaufen, dass statistische Methoden angewendet und richtig eingesetzt werden, dass detaillierte Datenblätter zu selbsterzeugten oder „vererbten“ Reagenzien oder auch Zellen existieren, dass Rohdaten kritisch im Team diskutiert werden und dass ganz generell die Problematik der Qualität von Daten im Bewusstsein der Mitarbeiter verankert ist.

  1. In den Instituten sollten für alle Mitarbeiter halbjährig Kurse zur Qualitätssicherung als Pflichtveranstaltung durchgeführt werden.

Dabei sollten routinemäßig folgende Themen behandelt werden: Wissenschaftliche Sorgfalts­pflicht und Ethik, Statistik, Datendokumentation, Labororganisation, kritische Analyse von Publi­ka­tionen unter Qualitätsaspekten, Berichterstattung interner Qualitätsprobleme samt der Erarbeitung von Lösungsvorschlägen.

  1. Ein zentrales Instrument der „Good Scientific Practices“ ist ein sorgfältig geführtes Laborbuch, dessen korrekte Führung gelehrt werden muss.

Die Dokumentation der Ergebnisse muss nachvollziehbar, der Bezug zu den Rohdaten hergestellt, die verwendeten Reagenzien beschrieben sowie Zweck, Methoden und Schlussfolgerungen der Experimente erläutert sein. In den USA stellen Laborbücher sogar die Grundlage für das Prioritätsdatum eines Patentes dar, da in ihnen die Erfindung erstmals beschrieben wird („First to invent“). Im Gegensatz dazu ist es in Deutschland das Datum der Patenteinreichung („First to file“).

Es ist denkbar, dass durch die Anwendung industrieähnlicher Qualitätssicherungsmaßnahmen in der Grundlagenforschung der Output an Publikationen zurückgeht, weil mehr Arbeitszeit und Mittel für Kontrollen, Reproduktion und statistische Analyse von Daten, Testung von Reagenzien, Instrumentenpflege oder Dokumentation verloren gehen. Was dabei sicher nicht zurückgeht, sondern eher gesteigert wird, ist die Aussagekraft der gewonnenen Daten. Der immensen Datenflut, der wir Wissenschaftler jeden Tag wie einer Tsunami ausgesetzt sind, würde eine bescheidene Absenkung zu Gunsten der Qualität sicherlich nicht schaden.

Patrick Baeuerle

(Ich danke Evelyn Wolf, Nadja Prang, Sonja Dehnen und Erich Felber für wertvolle Kommentare zum Manuskript.)

 ————-

Der Immunologe Patrick Baeuerle wurde mit 34 Jahren auf den Lehrstuhl für Biochemie der Universität Freiburg berufen, quittierte jedoch drei Jahre später freiwillig den Dienst und wechselte 1996 zur US-Biotechfirma Tularik. Als er diesen Essay im Jahr 2004 schrieb, war er seit sechs Jahren Wissenschaftsvorstand bei der Münchner Biotechfirma Micromet, die damals Antikörper-Präparate gegen Krebs entwickelte. Seit vier Jahren ist er Managing Partner bei MPM Capital, einer auf Investitionen in Therapeutika-Entwickler spezialisierten US-Risikokapital­ge­sell­schaft.

Schlagworte: , , , , , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...