Der „Fake Science-Skandal“ – eine Meinung!

25. Juli 2018 von Laborjournal

Nach langer und aufwendiger Recherche eines Journalisten-Konsortiums von Süddeutscher Zeitung, WDR und NDR haben die betreffenden Medien kürzlich ihre Beiträge zum Thema Pseudojournale und schlechte Wissenschaft veröffentlicht. Was darauf folgte, ist der aktuelle „Skandal“ um sogenannte „Fake Science“. Oder auch #fakescience.

Was ich dabei nicht verstehe, ist, warum der Hochschulverband, die Universitäten und Wissenschaftsorganisationen es unterlassen, die mangelhafte Recherche des Konsortiums zu kritisieren. Stattdessen übt man sich in Selbstkritik, kritisiert Wissenschaftler und weist nur sehr vorsichtig darauf hin, dass ja nicht alle Publikationen in sogenannten „Raubtier-Journalen“ (predatory journals) Fälschungen sein müssen. In vorauseilendem Gehorsam schreibt die Präsidentin der Universität Marburg alle Wissenschaftler an, die in vermeintlichen „Raubtier-Journalen“ publiziert haben und verlangt eine Rechtfertigung — ohne jeden Hinweis auf wissenschaftliches Fehlverhalten in Form von gefälschten Daten.

Was ist überhaupt ein „Raubtier-Journal“?

Eins, das Publikationsgebühren nimmt? Nein, das machen fast alle seriösen Journale.

Eins, das keinen Impact-Factor (IF) angibt? Nein, manche seriöse Journale verzichten ausdrücklich auf die Angabe des stark kritisierten IF.

Eins, das kein beziehungsweise ein schlechtes Peer Reviewing hat? Woher sollen die Wissenschaftler das wissen, wenn das Journal behauptet, dass ein Peer Review stattfindet?

Eins, dass Wissenschaftler anschreibt und zu Publikationen auffordert? Das ist lästig und verstopft den E-Mail Ordner. Aber nein, das tun solide Journals bisweilen auch!

Der Übergang von soliden Journalen zu „Raubtieren“ ist fließend. Große Verlage geben sowohl Qualitäts-Journals als auch minderwertige Zeitschriften heraus, die zumindest im Graubereich der „Raubtiere“ liegen. Der (leider noch immer) renommierte Elsevier-Verlag „verkauft“ das beliebte „Scopus-Indexing“ an alle möglichen Zeitschriften, die sehr viel irrelevante Papers mit unzureichenden Daten publizieren. Das sind meist keine Fälschungen, sehr oft aber Publikationen von schlechter Qualität oder mit Daten von geringem allgemeinen Interesse (gegen letzteres ist nichts einzuwenden!).

Was ist schlechtes oder fehlendes Peer Reviewing? Wenn sich eine Zeitschrift eine Gruppe „großzügiger“ Gutachter hält, die allen „Junk“ durchwinken? Oder wenn der Editor alleine entscheidet, ein Manuskript anzunehmen? Als Geschäftsmodell ist das gewiss unmoralisch — aber die Autoren wissen das (meistens) nicht. Und: „großzügige“ Gutachter findet man auch mehr oder weniger häufig bei renommierten Journalen. Ich erinnere mich, dass ein Manuskript bei einer sehr (!) renommierten amerikanischen Zeitschrift innerhalb von fünf Stunden (einschließlich zwei Reviews) angenommen wurde. Das Paper war gut, aber die Begutachtung war — vorsichtig ausgedrückt — etwas oberflächlich.

Die „weltweite“ Betrachtung von „Raubtier-Journalen“ verzerrt vermutlich die Untersuchung — wohl vor allem, weil eine ordentliche Definition fehlt. In vielen weniger entwickelten Ländern gibt es eine Unmenge wissenschaftlicher Zeitschriften, die viele minderwertige sowie schlecht oder gar nicht überprüfte Daten veröffentlichen. Teilweise sind sie staatlich subventioniert, teilweise durch Scopus „geadelt“ — alle nehmen, für europäische Verhältnisse, moderate Publikationsgebühren. Im Gutachtergremium sitzen meist einige gute Wissenschaftler aus den USA, Europa oder Japan.

 

Ich habe selbst ein Jahr lang im Editorial Board einer solchen Zeitschrift gesessen, die von einer der Top-Universitäten Indonesiens herausgegeben wurde. Nachdem alle Manuskripte, die ich zu begutachten hatte, trotz meiner Ablehnung unverändert publiziert wurden, bin ich zurückgetreten. Sind das „Raubtiere“? Nach meiner Ansicht nicht. Es sind schlechte Zeitschriften, und sie publizieren viel „Junk“ — aber das wird leider von den dortigen Wissenschaftssystemen (inklusive dem Wissenschaftsministerium) ausdrücklich gefordert!

Muss man einem deutschen Wissenschaftler, der im Rahmen einer Zusammenarbeit auf einem Paper in einer minderwertigen Zeitschrift steht (nicht unbedingt einem minderwertigen Paper!), einen Vorwurf machen?

Die Autoren berichten vom tragischen Fall der Krebspatientin Miriam Pielhau, die falschen Studien zum Opfer gefallen ist. „Miriam war eine Krebsexpertin“, wird gesagt. Nein, war sie nicht! Wissenschaftliche Publikationen sind für ein Fachpublikum geschrieben, und Fachexperten können solche Arbeiten auch beurteilen. „Laien-Experten“ können das nicht. Frau Pielhau wäre der Fake-Therapie, die in Deutschland nicht zugelassen ist, nicht zum Opfer gefallen, wenn sie wirkliche Experten gefragt und sich auf die Zulassungsordnung in Deutschland verlassen hätte.

Eine gewisse Schuld tragen aber auch die Medien, die in Talkshows Nicht-Fachleute als Experten präsentieren und ihnen Raum für wissenschaftlich zweifelhafte Statements geben. So entsteht der Eindruck, dass jeder der googeln kann, innerhalb kürzester Zeit zum Fachexperten wird.

Süddeutsche, NDR und WDR implizieren, dass (fast) alle Artikel in „Raubtier-Journalen“ Fälschungen sind oder Interessen der Industrie vertreten. In „Exklusiv im Ersten“ wird berichtet, dass sie 170.000 Paper „ausgewertet“ haben. Wie viele davon wirklich Fälschungen sind, haben sie nicht untersucht. Gehen wir von ein bis zwei Prozent deutscher Publikationen in sogenannten „Raubtier-Journalen“ aus. Wie viele davon sind „Fake“ (enthalten gefälschte Daten), „Junk“ (enthalten schlechte Daten) — und wie viele enthalten korrekte Daten von geringem allgemeinem Interesse, die man nicht in einem Top-Journal unterbringen kann? Die Autoren bleiben die Antwort schuldig, berichten aber über einen „Skandal“. Der Anteil an „echtem Fake“ wird vermutlich im unteren Promillebereich liegen.

Fake-Konferenzen dagegen sind meist gut getarnte Geldschneiderei, aber inzwischen kennt man die Masche. Die im Film gezeigte „Weltkonferenz“ mit schätzungsweise dreißig Teilnehmern ist eigentlich ein gutes Zeichen: Darauf fällt kaum noch jemand herein.

Es ist jedoch auffällig, dass die öffentlichen Medien weit überproportional schlechter oder gefälschter Forschung zum Opfer fallen — unabhängig davon, ob sie in renommierten Zeitschriften oder in mutmaßlichen „Raubtier-Journalen“ steht. Bisweilen schaffen es sogar „Pseudo-Daten“ ohne jeden wissenschaftlichen Hintergrund in die Schlagzeilen. Das schlimmste Beispiel ist eine „wissenschaftliche“ Facebook-Publikation, die von einer politischen Partei inszeniert wurde. Ohne Recherche wurde sie in viele sogenannte Qualitätsmedien aufgenommen. Auf Anfrage antwortete ein Journalist dazu: „Das ist eine zuverlässige Quelle, eine Recherche war nicht erforderlich.“ Geht’s noch! Sollte man nicht gerade von Wissenschaftsjournalisten erwarten, dass sie recherchieren, die Glaubwürdigkeit eines Artikels überprüfen und zuverlässige Experten kennen, die sie befragen können.

Ganz zweifellos ist die Wissenschaft zur Selbstkontrolle verpflichtet. Wissenschaftliches Fehlverhalten wird von Universitäten, Forschungsinstituten und den Förderinstitutionen sorgfältig untersucht und gegebenenfalls geahndet. Ob neben Ombudsleuten und Ethikkommissionen eine weitere „Publikationspolizei“ erforderlich und hilfreich ist, möchte ich bezweifeln. Zumindest in den Naturwissenschaften gibt es zwar einen gewaltigen Publikationsdruck, Publikationen in minderwertigen Zeitschriften sind jedoch weder für die wissenschaftliche Karriere noch für die Einwerbung von Fördergeldern förderlich.

Sicher, der Markt an wissenschaftlichen Zeitschriften ist sehr unübersichtlich geworden. Der Publikationsdruck ist hoch, aber es wird auch exponentiell mehr Wissen produziert. Soll man den Publikationsmarkt daher regulieren? Ich hielte das für einen fatalen Eingriff in die Wissenschaftsfreiheit. Es gibt viele großartige Beispiele dafür, wie sich Wissenschaft selbst reguliert, wie Daten angezweifelt werden und dann mit mehr oder mit besseren Experimenten bestätigt oder falsifiziert werden — ohne dass jemand gefälscht oder betrogen hat. Und es gibt viele Experimente, mit denen tatsächlich spektakuläre (aber falsche) Publikationen experimentell widerlegt wurden. Von den Medien werden die spektakulären Ergebnisse indes allzu gerne aufgegriffen, ihre Falsifizierung aber leider zu oft ignoriert.

Ist es Paranoia? Oder könnte es sein, dass von einem dringend reformbedürftigen Wissenschaftsjournalismus die Glaubwürdigkeit von Wissenschaft durch Skandalisierung grundsätzlich diskreditiert werden soll? Wenn es so viel „Fake Science“ gibt, dann ist Wissenschaft doch nichts anderes als eine Meinung unter vielen, die gleichberechtigt neben Homöopathie, alternativer Medizin und biodynamischem Landbau steht — und eine flache Erde ist ebenso eine Hypothese wie der Globus.

„Fake Science“ ist eine Verallgemeinerung. Der Journalismus hat sich massiv gegen den Begriff „Lügenpresse“ gewehrt, weil er einige wenige Falschinformationen in den öffentlichen Medien auf die gesamte Branche extrapoliert. Wenn Journalisten jetzt den Begriff „Fake Science“ erfinden, ist das dann in Ordnung?

Wolfgang Nellen

 

(Wolfgang Nellen war bis 2015 Professor für Genetik an der Universität Kassel und ist seitdem Gastprofessor an der Brawijaya University in Malang, Indonesien. Von 2011 bis 2014 war er Präsident des Verbandes Biologie, Biowissenschaften und Biomedizin in Deutschland, VBIO e. V.)

 

Tschüss, Donald – Tschüss, Vladimir

24. Juli 2018 von Laborjournal

(Manchmal, aber nur manchmal fällt uns Redakteuren auch etwas völlig… also wirklich VÖLLIG Anderes ein. Wie dieser fiktive Dialog…)

„Tschüss, Donald.“

„Tschüss, Vladimir. War schön, mal ein bisschen mehr Zeit mit Dir zu haben. Und Dein Palast ist ja echt der Hammer. War der teuer?“

„Bin ich günstig drangekommen. Ach ja — und vielen Dank nochmal, dass Du denen da draußen gesagt hast, dass man mir trauen kann. Du weißt schon, wegen Euerm Wahlkampf und so.“

„Hab‘ ich doch gerne gemacht, Vladimir. Aber wahrscheinlich kriege ich jetzt deswegen Ärger zuhause. Du weißt ja: Journalisten, Demokraten, Geheimdienst — alles Idioten.“

„Ja, ja — das kenne ich. Sag‘ doch einfach, Du hast dich versprochen und lass dann Gras drüber wachsen. Die Leute, die Dich wählen, wissen ganz genau, dass Du Dich nicht versprochen hast — und die anderen vergessen das irgendwann. Den Trick habe ich auch meinen Freunden in Deutschland verraten. Erstmal so richtig nazimäßig vom Leder ziehen — und dann dementieren. Die Anhänger wissen dann schon, wie es gemeint war.“

„Toller Trick.“

„Und noch was, Donald: Was macht denn eigentlich der Bannon gerade?“

„Steve? Golfspielen, nehme ich an.“

„Der hat doch gerade nichts Wichtiges vor. Den könnten wir doch nach Europa schicken, damit er alle Rechten Nationalparteien im EU-Parlament zu einem Block zusammenbringt. Dann könnten die Europa blockieren, und vielleicht fällt der Sauhaufen von EU dann endgültig in sich zusammen. Dann sind wir endlich wieder alleine. So wie früher.“

„Saugute Idee. Das mache ich. Du hast ja echt ganz schön was auf dem Kasten. Wo hast Du denn sowas gelernt?“

„Das ist geheim.“

„Ach so.“

„Also bis bald, Donald.“

„Bis bald, Vladimir.“

Kai Herfort

Welche Forschung ist exzellent?

19. Juli 2018 von Laborjournal

Gehen wir die Frage mal mit einem Gedankenexperiment an: Stellen Sie sich vor, Sie begutachten Forschungsanträge für einen großen europäischen Forschungsförderer. Und nehmen wir an, dieser Förderer hätte als Leitlinie ausgegeben, dass einzig „wissenschaftliche Exzellenz“ als Kriterium für die Entscheidungen gelte. Das Anwendungspotenzial der Projekte sei unerheblich, es gebe keinerlei thematische Prioritäten und auch der Grad an Interdisziplinarität spiele keine Rolle. Nur die pure „Exzellenz“!

Okay, verstanden! Sie nehmen sich also die Anträge vor. Der erste formuliert eine brillante neue Hypothese zu einem Phänomen, für das die „alte“ Erklärung erst kürzlich spektakulär in sich zusammengefallen war.

Der nächste dagegen visiert eine „ältere“, ungemein attraktive Hypo­these an, die sich bislang aber jedem rigorosen experimentellen Test entzog — und genau diese quälende Lücke wollen die Antragsteller jetzt auf höchst originelle und einleuchtende Weise füllen.

Der dritte präsentiert einen klaren Plan, wie sich gewisse neue Erkenntnisse für eine völlig neue Methode rekrutieren ließen — eine Methode, die, wenn sie dann funktionierte, ganze Batterien neuer Experimente zu bislang „verschlossenen“ Fragen ermöglichen würde.

Der vierte kombiniert verschiedene vorhandene Tools und Ressourcen auf derart geschickte Weise, dass die Antragsteller damit in der Lage sein würden, riesige Datenmassen zu erheben, zu ordnen und zu analysieren — ein „Service“, mit dem das gesamte Feld zweifellos einen Riesensprung machen würde.

Der fünfte schließlich will auf überzeugende Weise sämtliche zu einem bestimmten Kontext publizierten Daten re- und meta-analysieren, um dann mit dem Paket ein möglichst robustes Simulationsprogramm zu entwickeln — ein Programm, das sicher mannigfach die Entwicklung neuer Hypothesen ermöglichen würde…

Jetzt halten Sie erstmal inne. „Mir war bisher nicht bewusst, auf welche verschiedene Arten Wissenschaft exzellent sein kann“, denken Sie. „Genauso wie exzellente Äpfel, Birnen und Orangen alle exzellentes Obst darstellen. Und die soll man ja bekanntlich nicht miteinander vergleichen.“

Ralf Neumann

x

Kontroverse um Diagnostika

9. Juli 2018 von Laborjournal

In Laborjournal 3/2018 veröffentlichten wir zwei Artikel zum Thema zweifelhafte Qualität und Qualitätskontrolle von Diagnostika — wobei vor allem Immun-Diagnostika im Fokus standen: „Ist Diagnostik Glückssache?“ und „Diagnostika außer Kontrolle“ (S. 16-23). In Heft 6/2018 (S. 14-15) kritisierten drei in der Diagnostik tätige Ärzte die beiden Artikel in einem Leserbrief mit dem Titel „Immundiagnostik braucht Verstand und Erfahrung“. Wir veröffentlichen den Leserbrief an dieser Stelle nochmals inklusive der Antworten unserer Autorin Karin Hollricher sowie von Kira Merk, deren „Fall“ als Betroffene in den Artikeln prominent geschildert wurde. Dies verbunden mit der Hoffnung, dass sich vielleicht die eine oder der andere ebenfalls mit einem Kommentar zu dem offenkundig sehr kontroversen Thema äußern möchte.


Der Leserbrief

„Immundiagnostik braucht Verstand und Erfahrung“

Sehr geehrte Redaktion,

am 9. Januar veröffentlichte die Süddeutsche Zeitung unter dem Titel „Bluts­bande“ einen Artikel, der den diagnostischen Leidensweg der Patientin Kira Merk beschrieb. Das Laborjournal nahm das gleiche Thema erneut auf. Frau Merk leidet an einer seltenen Autoimmunkrankheit, die auf Grund unspezifischer Symptome zu Beginn der Erkrankung, der großen Variabilität der Erkrankungs­manifestationen sowie nicht standardisierter Immundiagnostik sehr schwer zu diagnostizieren ist.

Frau Merk fiel auf, dass ihre Laborergebnisse unterschiedlich sind, je nachdem, in welchem Labor mit welchem Test ihr Blut untersucht wird. Das ist für einen Laien schwer verständlich. Leider sind solche Probleme im Praxisalltag nicht ungewöhnlich.

Die Ursachen hierfür sind vielfältig. Zum einen handelt es sich bei den für die Diagnostik von Autoimmunerkrankungen zu testenden Autoantikörpern um heterogene Analyten, wodurch biologisch bedingte Unterschiede bei Einsatz unterschiedlicher Nachweismethoden resultieren. Ein auf Immundiagnostik spezialisiertes Labor muss aber solche Probleme durch Plausibilitätstestungen erkennen und über Kontrollanalysen lösen können. Das für jedes Labor geforderte Qualitätsmanagement erweist sich selbst bei Akkreditierung meist als nicht ausreichend. Immundiagnostik braucht Verstand und Erfahrung. Zum anderen ist das Abrechnungssystem für Laborleistungen nicht darauf ausgelegt, die hier erforderliche Stufen- und Multiparameteranalytik durchzuführen.

Deshalb wird häufig darauf verzichtet, widersprüchlichen Befunden im Detail nachzugehen. Immundiagnostik gehört in speziell dafür ausgelegte Labore. Die von Krankenkassen geförderte ASV (ambulante spezialärztliche Versorgung) könnte dazu beitragen, die Immundiagnostik zu verbessern. Nicht auf Immundiagnostik spezialisierte Labore sollten keine spezielle Autoimmundiagnostik anbieten. Nur ein enger und regelmäßiger Dialog zwischen klinisch tätigem Arzt, Labormediziner/Immunologen und Testkithersteller kann die Qualität in der Labordiagnostik verbessern und einen hohen Standard gewährleisten.

Der dargestellte Fall greift ein für die Patientenbetreuung sehr relevantes Problemfeld auf. Allerdings finden sich in dem Artikel von Frau Hollricher erschreckend viele Fehler, die von einem grundsätzlichen Nichtverständnis der Autoimmundiagnostik zeugen.

Das größte Missverständnis in Frau Hollrichers Artikel liegt darin, dass sie die Sensitivität (Testempfindlichkeit) mit der Qualität des Tests gleichsetzt. Gerade in der Autoantikörperdiagnostik sind hoch-sensitive Tests gefährlich, weil sie oft Gesunde oder Patienten mit anderen Erkrankungen als positiv identifizieren, also nicht wirklich spezifisch für eine Krankheit sind. Das kann zu Fehldiagnosen führen und im schlimmsten Fall zur falschen Behandlung. Ein Autoantikörpertest ist immer ein Kompromiss zwischen Sensitivität und Spezifität. Und je seltener eine Erkrankung, desto wichtiger ist es, dass der Test spezifisch ist, also nicht bei Patienten mit anderen Erkrankungen positiv anschlägt.

Frau Hollricher schreibt etwa, dass der Anti­körpertest mit Crithidia luciliae mit einer Sensitivität von unter 30 Prozent heute bei weitem nicht mehr Stand der Technik sei. Gleichzeitig zitiert sie aber mehrfach die International recommendations for the assessment of autoantibodies to cellular antigens referred to as anti-nuclear antibodies, in denen der Crithidia-luciliae-Nachweis wegen seiner hohen Spezifität besonders empfohlen wird, vor allem für die Bestätigung von positiven Ergebnissen mit anderen, weniger spezifischen Methoden (Recommendation Nr. 15).

Gerade weil die Autoimmundiagnostik hoch komplex ist, gibt es viele Bestrebungen, die Situation zum Beispiel durch bessere Kommunikation zwischen Labor und Arzt zu verbessern. Das haben sich auch die „European Autoimmunity Standardization Initiative“ (EASI), die aus Laborärzten und Rheumatologen besteht, sowie die Gesellschaft für Förderung der Immundiagnostik (GFID) e.V. (www.gfid-ev.de) auf die Fahnen geschrieben. EASI hat unter anderem die oben genannten International Recommendations erstellt. Im EASI-Artikel „Facing the challenges of diagnostics in autoimmunity“ schreiben die Autoren: “Letztendlich ist das Ziel von EASI, dass die Autoimmundiagnostik im besten Sinn angewendet wird, um so die Patientenfürsorge zu optimieren.“ (Damoiseaux J. et al., Clin. Chem. Lab. Med. 2017, doi: 10.1515/cclm-2017-0826)

Bedauerlich, dass die Autorin sich die Situation nicht von Diagnosespezialisten erklären ließ. Als Vertreter der deutschen EASI-Gruppe laden wir Frau Hollricher herzlich ein, mit uns über die Tücken der Autoimmundiagnostik zu diskutieren. Die GFID e.V. ist auch sehr daran interessiert, solche Fälle wissenschaftlich aufzuarbeiten und ggf. als Fallsammlung im Rahmen ihrer Immundiagnostischen Bibliothek der Öffentlichkeit zugänglich zu machen.

Anstatt vermeintliche Skandale aufzude­cken, braucht es Menschen mit wissenschaftlich-medizinischem Verständnis, die helfen, labordiagnostische Ergebnisse und scheinbare Widersprüche auch für Laien verständlich zu erklären.

 

Prof. Dr. med. Ulrich Sack, Universität Leipzig, Institut für Klinische Immunologie;

Dr. med. Sebastian Rudolph, Immunzentrum Chemnitz;

PD Dr. med. habil. Karsten Conrad, Technische Universität Dresden, Institut für Immunologie


 

Die Antwort der „Betroffenen“ Kira Merk

Diagnostische Tests außer Kontrolle — Zur Verantwortung der Ärzte

An den Artikeln „Ist Diagnostik Glückssache?“ und „Diagnostika außer Kontrolle“ (LJ 3/2018 , S. 16-23) übten Herr Prof. Dr. med. Ulrich Sack (Universität Leipzig, Institut für Klinische Immunologie Leipzig), Dr. med. Sebastian Rudolph (Immunzentrum Chemnitz), PD Dr. med. habil. Karsten Conrad (Technische Universität Dresden, Institut für Immunologie) mit ihrem Leserbrief im Heft 06-2018 heftige Kritik.

Wenn Fachleute (in Anbetracht so einer Thematik) jemandem öffentlich „erschreckend viele Fehler und ein grundsätzliches Nichtverständnis von Autoimmundiagnostik“ vorwerfen, sollten Fehler konkret benannt werden können und einer Überprüfung standhalten.

In Anbetracht der Tatsache, dass der Artikel darauf hinweist, dass zum Teil offenbar Tests mit irreführenden oder fehlerhaften Angaben im Verkehr sind — wohl um sie besser zu verkaufen –, schrieben die Autoren (Ärzte!) nur von einem „vermeintlichen Skandal“.

 

Im Medizinproduktegesetz, MPG, heißt es dazu in § 4 Abs. 2 Satz 1:

Es ist ferner verboten, Medizinprodukte in den Verkehr zu bringen, wenn sie mit irreführender Bezeichnung, Angabe oder Aufmachung versehen sind. Eine Irreführung liegt insbesondere dann vor, wenn Medizinprodukten eine Leistung beigelegt wird, die sie nicht haben.

Die EU-Richtlinie 98/79/EG erklärt dazu in Anhang I, Grundlegende Anforderungen, Abschnitt A, Allgemeine Anforderungen:

Die Produkte müssen so ausgelegt und hergestellt sein, dass sie nach dem allgemein anerkannten Stand der Technik für die nach Artikel 1 Absatz 2 Buchstabe b) vom Hersteller festgelegte Zweckbestimmung geeignet sind. Sie müssen — soweit zutreffend — die Leistungsparameter insbesondere im Hinblick auf die vom Hersteller angegebene analytische Sensitivität, diagnostische Sensitivität, analytische Spezifität, diagnostische Spezifität, Genauigkeit, Wiederholbarkeit, Reproduzierbarkeit, einschließlich der Beherrschung der bekannten Interferenzen und Nachweisgrenzen, erreichen.

Die Autoren räumten Mängel der Autoimmundiagnostik ein und schrieben, dass sie seit Jahren daran arbeiten, die Qualität der Autoimmundiagnostik zu verbessernDaraus muss man schließen können, dass man sich auch mit Charakteristika von Testskits beschäftigt.

Auf konkrete Nachfragen meinerseits zu den von ihnen selbst verwendeten Tests blieben konkrete Antworten jedoch aus. Das wurde zum Beispiel damit begründet, dass angeblich „alle Tests, die in Deutschland verwendet werden, unter Berücksichtigung der gesetzlichen Bestimmungen zugelassen wurden“.

Leider entspricht das nicht den Tatsachen. Die Tests, um die es in dem Artikel ging, sind — wie die meisten anderen — vom Testhersteller eigenverantwortlich in Verkehr gebracht und mit einem CE-Kennzeichen versehen worden. Zulassungsbehörden für diese Tests gibt es nicht.

Ärzte sollten das bitte wissen! Schließlich sind sie selbst in mehrfacher Hinsicht verpflichtet, an der Qualitätssicherung mitzuwirken. In der Musterberufsordnung der Ärzte, MBO-Ä, § 6, die sich so oder ähnlich auch in den Berufsordnungen der Länder wiederfindet, heißt es etwa:

Ärztinnen und Ärzte sind verpflichtet, die ihnen aus ihrer ärztlichen Behandlungstätigkeit bekannt werdenden unerwünschten Arzneimittelwirkungen der Arzneimittelkommission der deutschen Ärzteschaft und bei Medizinprodukten auftretende Vorkommnisse der zuständigen Behörde mitzuteilen.

Die Autoren wiesen diesbezüglich darauf hin, dass alle Labors an Ringversuchen teilnehmen und interne Kontrollen mitführen.

Leider haben wir in Deutschland Testhersteller, die als Ringversuchsanbieter akkreditiert sind, sowie ärztliche Anwender, die mit der Qualitätskontrolle beauftragt sind — aber oft nicht darauf antworten möchten, welchen Test sie selbst anwenden, und warum. Viele Labore kaufen ihre Autoimmundiagnostik ausschließlich bei einem Testhersteller ein — und geben sie selbst in Anbetracht widersprüchlicher Befunde, die in einem menschlichen Körper zweifellos nicht zeitgleich vorkommen können, nur beim gleichen Testhersteller in die Wiederholungsmessung.

Die gleichen Tests beziehungsweise Zellen werden teilweise unter mehreren Namen verkauft. Ein Antikörpertest, der im Befund den gleichen Namen trägt, enthält mitunter völlig verschiedene Zellen. Manche Labore nennen im Befund nicht die Methode, oder sie nennen den Test im Befund anders als er beim Einkauf heißt (laut Gebrauchsanweisung). Leider ist dies kein Einzelfall, und leider betrifft das nicht „nur“ die Autoimmundiagnostik.

Laut der europäischen Richtlinie MEDDEV 2.10/28, über die u. a. auch im Bundesanzeiger veröffentlicht wurde, dürfen Ringversuchsanbieter weder mit dem Hersteller, noch dem Lieferanten, dem Monteur oder dem Anwender der betreffenden In-vitro-Diagnostika identisch, noch Beauftragte einer dieser Personen sein. Sie dürfen weder unmittelbar noch als Beauftragte an der Auslegung, an der Herstellung, am Vertrieb oder an der Instandhaltung dieser Produkte beteiligt sein.

Die Tatsache, dass in Deutschland sogar Testhersteller als Ringversuchsanbieter akkreditiert sind, dürfte also ebenso wenig mit dem EU-Recht in Einklang zu bringen sein wie die Bildung von Herstellerkollektiven in Ringversuchen.

In der Zeitschrift Trillium, in der Ausgabe 02-2017, wurde von diskrepanten Ergebnissen in der Allergiediagnostik berichtet, durch die Kinder mit gefährlichen Allergien, etwa der Erdnussallergie, fehldiagnostiziert werden könnten. Die drei Herstellerkollektive mit den größten Teilnehmerzahlen wiesen einen zwei- bis neunfachen Unterschied ihrer Medianwerte auf. Durch die Bildung von Herstellerkollektiven ließen sich die Medianwerte erheblich steigern — bei Verwendung der gleichen Tests. Der Artikel zieht unter anderem folgendes Fazit:

Die beiden großen Probleme sind nach wie vor, dass es keine Richtlinien für die Standardisierung der in sIgE-Tests verwendeten Allergenextrakte gibt und dass der „wahre Wert“ der Serumproben nicht bekannt ist. Solange es nicht möglich ist, letzteren zu ermitteln, wird es schwer sein, einzelne Hersteller von der Notwendigkeit einer Systemverbesserung zu überzeugen, denn die Ringversuche werden dank der Bildung herstellerbezogener Kollektive ja bestanden.

Laut einer Vereinbarung zwischen der Kassenärztlichen Bundesvereinigung und dem GKV-Spitzenverband der gesetzlichen Krankenkassen müssen Ärzte unter anderem die erfolgreiche Teilnahme an Ringversuchen nachweisen, um Leistungen gegenüber der GKV abrechnen zu dürfen. Zudem müssen Fehleranalysen und Korrekturmaßnahmen funktionieren. Mir liegen aussagekräftige Beweise dafür vor, dass dies in mehreren Laboren nicht der Fall war, und die Aufsichtsbehörden nicht eingeschritten sind.

Das EU-Recht muss eingehalten werden. Wenn Hersteller und Anwender aus der Patientenversorgung in der Qualitätssicherung tätig sind, sind Interessenkonflikte „vorprogrammiert“.

Die Leserbrief-Autoren schreiben weiter zum Thema:

Anstatt vermeintliche Skandale aufzudecken, braucht es Menschen mit wissenschaftlich-medizinischem Verständnis, die helfen, labordiagnostische Ergebnisse und scheinbare Widersprüche auch für Laien verständlich zu erklären.

Es entspricht nicht einem verantwortungsvollen ärztlichen Handeln gemäß der Berufsordnung, wenn man ein Testergebnis als Tatsache in einen Arztbericht schreibt, bei dem ein Test angewendet wurde, der:

  1. beispielsweise eine Sensitivität von weniger als 50 Prozent bei
  2. ebenfalls nicht ausreichender Spezifität hat – und
  3. bei korrekter Betrachtung womöglich auch noch unter einem anderen Namen im Befund deklariert sein müsste.

Für die Patientenversorgung verantwortliche Menschen mit wissenschaftlich-medizinischem Verständnis sollten es bitte nicht so darstellen, als müssten hier in einem „vermeintlichen Skandal“ nur Einzelfälle aufgearbeitet werden — nicht aber die Tests selbst und der ärztliche Umgang mit ihnen in den Fokus gerückt werden. Die Art und Weise, wie seitens mehrerer Ärzte mit den wichtigen und richtigen Artikeln im Laborjournal umgegangen wurde, samt der Tatsache, dass ein Patient diesen Schritt gehen musste und dabei über Jahre auf alle nur erdenklichen Widerstände gestoßen ist, ist sehr aussagekräftig.

Es wäre wünschenswert, dass (nicht nur) hier im Laborjournal-Blog zu diesen Themen eine Diskussion in Gang kommt, in der auch konkrete Fragen von Verantwortlichen öffentlich beantwortet werden.

Kira Merk


 

Die Antwort der Autorin Karin Hollricher

„Über den Test kann man unterschiedlicher Meinung sein“

In zwei Artikeln berichtete ich im Laborjournal 3/2018 darüber, wie schwer es sein kann, von Laboren korrekte diagnostische Tests sowie inhaltlich vollständige wie schlüssige Befunde zu erhalten (hier und hier). Anhand von Beispielen erklärte ich, wie Labore entgegen der Expertenempfehlungen Tests nach Kosten statt nach diagnostischer Leistungsfähigkeit auswählen. Weiterhin beschrieb ich, dass Testhersteller ihre Produkte mitunter falsch deklarieren, wie bei der Qualitätskontrolle von Tests und Laboren die EU-Regeln wie auch deutsche Vorschriften erschreckend drastisch verletzt werden – und, das ist das eigentliche Problem, wie wenig die Verantwortlichen sich um diese vielen Probleme kümmern. Am Ende leidet immer nur der Patient darunter.

Auf diese Artikel antworteten Prof. Dr. med. Ulrich Sack (Universität Leipzig, Institut für Klinische Immunologie Leipzig), Dr. med. Sebastian Rudolph (Immunzentrum Chemnitz), PD Dr. med. habil. Karsten Conrad (Technische Universität Dresden, Institut für Immunologie) mit einem Leserbrief (siehe oben). Ich wollte die angesprochenen Punkte mit den Herren persönlich klären. Conrad und Rudolph reagierten auf mehrere Versuche der Kontaktaufnahme gar nicht, mit Herrn Sack hatte ich ein ausführliches Gespräch.

In dem Leserbrief warfen die Autoren mir, Dr. rer. nat. Karin Hollricher, mit deutlichen Worten und — wie ich finde — in unnötig unverschämter Art „erschreckend schwere Fehler“ und ein grundsätzliches „Nichtverständnis der Autoimmundiagnostik“ vor. Das ist Unsinn und kann nicht unkommentiert bleiben.

Die Autoren des Briefes, allesamt Rheumatologen, beschwerten sich, dass ich den Crithidia-luciliae-Immunfluoreszenz-Test, kurz CLIFT, als „nicht mehr dem Stand der Technik entsprechend“ bezeichnet habe. „Das größte Missverständnis in Frau Hollrichers Artikel liegt darin, dass sie die Sensitivität (Testempfindlichkeit) mit der Qualität des Tests gleichsetzt“, schreiben sie dazu.

Der parasitisch lebende Flagellat C. luciliae enthält ein Organell mit nackter Doppelstrang-DNA (dsDNA), den Kinetoplasten. CLIFT benutzt man daher, um Autoantikörper gegen nackte dsDNA nachzuweisen. Bei gesunden Personen findet man Autoantikörper gegen dsDNA nur sehr selten (<0,1%), wie dem Handbuch „Autoantikörper bei systemischen Autoimmunerkrankungen“, an dem Herr Conrad mitgeschrieben hat, zu entnehmen ist.

In meinem Artikel war ein Auszug aus der Gebrauchsanweisung eines Herstellers abgebildet (siehe oben). Dieser bezieht sich auf Ergebnisse einer Studie der Charité. Dem Bild konnte man entnehmen, dass in einem Kollektiv von Patienten mit Lupus erythematodes drei andere Tests eine Sensitivität zwischen 40 und 60 Prozent hatten, der CLIFT dagegen nur eine von 27 Prozent. Wieso soll man also diesen Test verwenden, wenn es laut der Studie bessere gibt?

Eine 27-prozentige Sensitivität bedeutet, dass 73 Prozent der tatsächlich Lupus-Kranken falsch-negative Ergebnisse erhält. Insofern muss zwingend das Serum eines jeden Patienten mit Lupus-Verdacht und negativem CLIFT nochmals mit anderen Tests überprüft werden. Dessen ist sich jedoch längst nicht jeder Labormediziner bewusst, wie mir Personen versicherten, die sich um die Fortbildung solcher Ärzte bemühen.

Die Rheumatologen argumentierten stattdessen, dass die hohe Spezifität CLIFT so wertvoll mache. Deswegen werde CLIFT auch von den Experten empfohlen, die die in dem Artikel zitierten International recommendations for the assessment of autoantibodies to cellular antigens schrieben.

Das stimmt, und zwar ausdrücklich im Nachgang (!) zu einem positiven ANA-Immunfluoreszenz-Test oder dsDNA-Antikörper-ELISA. Wörtlich heißt es in den Recommendations:

For anti-dsDNA antibody determination, the Farr assay and the CLIFT offer high clinical specificity. Alternative methods may yield lower specificity and, if so, it is recommended that positive results obtained by these methods be confirmed by CLIFT or Farr assay — and be reported separately.“

Tatsächlich wird der CLIFT im diagnostischen Alltag als „Bestätigungstest“ angewendet, um falsch-positive Resultate zu identifizieren. Allerdings haben auch andere, sensitivere Tests ähnlich hohe Spezifitäten. Auf besagter Abbildung hatten wir die Angaben für die Spezifitäten weggelassen. Hier seien sie nun nachgereicht: Die drei anderen Tests schnitten im direkten Vergleich knapp besser ab als CLIFT. Zwar nur knapp, aber immerhin.

Was bedeutet das nun im Hinblick auf die Qualität des CLIFT?

Man sollte zur Bestätigung eines positiven dsDNA-Antikörpertests doch lieber einen Farr-Test verwenden. Der ist sensitiver als der CLIFT und obendrein genauso spezifisch. Allerdings benötigt man dafür ein Isotopenlabor, und daher entstehen dem Laborarzt höhere Kosten.

Aha! Die Leserbrief-Autoren bestätigen, was Sie, liebe Leser, jetzt vermutlich denken: Es liegt am Geld! Das Abrechnungssystem für Laborleistungen sei „nicht darauf ausgelegt, die hier erforderliche Stufen- und Multiparameteranalytik durchzuführen“, schreiben die Rheumatologen.

Ein großes Problem ist anscheinend eine mangelhafte Kommunikation zwischen behandelndem Arzt und Laborarzt. „Ein auf Immundiagnostik spezialisiertes Labor muss aber solche Probleme durch Plausibilitätstestungen erkennen und über Kontrollanalysen lösen können“, fordern die Leserbriefschreiber. Ob ein Ergebnis widersprüchlich ist oder nicht, könne der Laborarzt nur erkennen, wenn ihm eine Verdachtsdiagnose vorliegt. Aber selbst wenn das der Fall ist, „… wird häufig darauf verzichtet, widersprüchlichen Befunden im Detail nachzugehen“, berichten die Rheumatologen. Umgekehrt seien in den Befunden oft nicht die Einschränkungen und Limits der verwendeten Tests genannt — so jedenfalls sagte es Herr Sack in einem Telefonat.

Um hier nochmals auf die vermeintlichen Fehler in meinem Artikel zurück zu kommen: Über den CLIFT kann man unterschiedlicher Meinung sein, „erschreckend schwere Fehler“ befanden sich in den Artikeln aber nicht!

Karin Hollricher


 

Der gute, alte Journal Club

4. Juli 2018 von Laborjournal

Wer geht denn noch in den Journal Club? Ja, gibt es diese Veranstaltung überhaupt noch überall?

Nun, wenigstens die Älteren sollten diese wöchentliche Routineveranstaltung aus ihrer Diplom- und Doktorandenzeit noch kennen. Der Autor hatte etwa an seinem Ex-Institut immer montags um 12 Uhr Journal Club. Was jede Woche für ein bisweilen skurilles Schauspiel sorgte: Einer nach der anderen kam am Montagmorgen meist noch wochenendmüde ins Institut, schlurfte ziemlich unmotiviert ans schwarze Brett, las gelangweilt den Titel des anstehenden Journal Clubs — und trabte noch weniger begeistert wieder ab. Jedenfalls die meisten. Und gesehen hat man dann um 12 Uhr nur wenige.

Ja, so haben viele den guten, alten Journal Club wohl als lästige Institutsroutine im Kopf, die einen nur von den ach so wichtigen Experimenten abhält.

Aber hat der Journal Club das verdient? Wohl nicht wirklich, denn wo sonst kann man besser lernen, die Qualität von Publikationen zu beurteilen. Gerade heute gibt es wahrscheinlich mehr wundervolle Paper als jemals zuvor in der Geschichte der Biowissenschaften — und es ist unglaublich lohnend herauszuarbeiten, warum diese Paper so wundervoll sind. Genauso gibt es heute so viele wirklich furchtbare Paper wie noch nie zuvor in der Geschichte der Biowissenschaften — und es lohnt sich sehr darüber zu sprechen, warum sie so furchtbar sind. Nicht zuletzt auch, da man sich nach den Erfahrungen der letzten zwei bis drei Jahrzehnte kaum noch auf die simple Faustformel „Gute Paper in guten Journals, schlechte in schlechten“ verlassen kann.

Völlig klar: Gute Artikel von schlechten zu unterscheiden zu können, gehört zu den wichtigsten Schlüsselqualitäten des fortgeschrittenen Wissenschaftlers. Gesunder Wissenschaftlerverstand alleine liefert einem diese Qualität jedoch nur bedingt — man muss sie vielmehr trainieren. Und wie? Zum einen natürlich, indem man Paper wirklich liest. Zum anderen, indem man sie diskutiert.

Und wo geht das besser als im guten, alten Journal Club?

x

Information 1


Information 2





Information 4


Information 5


Information 7