Alles falsch (Positive)!

2. April 2013 von Laborjournal

Auch Falsch Positive

Was ist das Schlimmste, das einem Forscher widerfahren kann? Vielleicht abgesehen davon, dass ein Mitarbeiter betrügt und Daten manipuliert. Wie wäre es etwa damit, dass sich herausstellt, dass das letzte Dutzend Veröffentlichungen komplett auf falsch positiven Befunden basiert? Ein ziemlicher GAU, oder? Den Gruppen von Harriet de Wit und Abraham Palmer, beide Neuroforscher an der Universität Chicago, ist jetzt genau das passiert.

Seit Jahren fahndeten die Beiden nach spezifischen genetischen Variationen, die mit den differenziellen Antworten auf Amphetamin-Einnahme gekoppelt sind. In einer Basisstudie hatten sie zunächst die subjektiven psychiatrischen wie auch die physiologischen Antworten auf Amphetamin-Gabe von bis zu 162 gesunden Freiwilligen aufgezeichnet. Anschließend suchten sie in Proben von denselben Probanden nach genetischen Assoziationen, die jeweils mit ganz bestimmten Antworten aus dem Response-Spektrum korrelieren. Mit Erfolg, wie es schien. Nacheinander veröffentlichten sie ein Dutzend Paper, in denen sie jeweils die entsprechende Analyse eines der auf diese Weise aufgespürten 12 Kandidaten-Gene vorstellten (Beispiele dafür hier, hier und hier). Unter anderem berichteten de Wit, Palmer und Co. darin etwa über offenkundige Assoziationen von Polymorphismen in den Genen für den Adenosin-Rezeptor, für die Casein Kinase 1 epsilon oder für den mu-Opioid-Rezeptor mit verschiedenen psychiatrischen Antworten auf Amphetamin.

All dies kann man jetzt offenbar in die Tonne treten. Bereits Ende letzten Jahres  veröffentlichten de Wit und Palmer ein Paper in Neuropsychopharmacology (doi:10.1038/npp.2012.245, publ. online 3. Dez. 2012), indem sie selbst (!) offensiv und brutalstmöglich auf Null zurückrudern. Schon der Titel sagt alles:

Candidate Gene Studies of a Promising Intermediate Phenotype: Failure to Replicate

Und das Abstract macht es endgültig klar:

We previously conducted a series of 12 candidate gene analyses of acute subjective and physiological responses to amphetamine in 99-162 healthy human volunteers […]. Here, we report our attempt to replicate these findings in over 200 additional participants ascertained using identical methodology. We were unable to replicate any of our previous findings.

Alle zwölf Kandidaten-Gene entpuppten sich folglich als falsch positiv. Was die Autoren in der „Discussion“ nochmals fast schon klagend zusammenfassen:

This study is striking because we were attempting to replicate apparently robust findings related to well-studied candidate genes. We used a relatively large number of new participants for the replication, and their data were collected and analyzed using identical procedures. Thus, our study did not suffer from the heterogeneity in phenotyping procedures implicated in previous failures to replicate other candidate gene studies (Ho et al, 2010; Mathieson et al, 2012). The failure of our associations to replicate suggests that most or all of our original results were false positives.

Zu den möglichen Ursachen schreiben die Autoren im Abstract weiter:

These results raise critical issues related to non-replication of candidate gene studies, such as power, sample size, multiple testing within and between studies, publication bias and the expectation that true allelic effect sizes are similar to those reported in genome-wide association studies. Many of these factors may have contributed to our failure to replicate our previous findings.

Und da all dies natürlich auch ganz allgemein auf Studien zu genetischen Assoziationen mit psychiatrischen Phänomenen zutrifft, schicken sie noch eine eindringliche Warnung hinterher:

Our results should instill caution in those considering similarly designed studies.

Man muss es ganz klar sagen: Den Autoren ist tatsächlich widerfahren, was nur die gewissenlosesten Forscher ihren Konkurrenten in besonders schwarzen Stunden an den Hals wünschen würden. Und sie können nicht mal wirklich viel dafür, wie etwa auch der Autor des Blogs DrugMonkey, der ausführlich über den Fall berichtet, klarstellt:

The authors make no bones about the fact that they’ve found that no less than 12 papers that they have published were the result of false positives. Not wrong… not fraudulent. Let us be clear. We must assume they were published with peer review, analysis techniques and samples sizes that were (and are?) standard for the field. But they are not true.

Natürlich ist das äußerst schmerzhaft für de Wit, Palmer und ihre anderen betroffenen Kollegen. Aber die Art und Weise, wie sie nach dem Schock den Scientific Record umgehend wieder gerade rückten, verdient allerhöchste Anerkennung. Abgesehen davon, dass sowieso die wenigsten überhaupt die Replikation einer solchen, vermeintlich robusten Studie in Angriff genommen hätten.

Auch wenn es de Wit und Palmer sicher nur wenig trösten wird: Man kann eine Menge aus ihrer Geschichte lernen.

Schlagworte: , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...