Falsch positive Blindgänger

2. April 2012 von Laborjournal

Die größten Feinde der experimentellen Forschung sind „Falsch Positive“. Man kann gar nicht scharf genug darauf drängen, Bedingungen und Kontrollen der jeweiligen Untersuchung so stringent zu planen, dass diese lästigen „Trittbrettfahrer-Daten“ weitmöglichst ausgeschlossen werden können. Nicht zuletzt auch zum Selbstschutz. Schließlich ist es jedes Mal höchstpeinlich, wenn einem die Kollegen hinterher nachweisen, dass man in seinem Paper vor allem Artefakten auf den Leim gegangen ist.

Vor diesem Grund erstrahlt gerade ein Science-Paper aus dem Sommer letzten Jahres in ziemlich unangenehmem Scheinwerferlicht. Mit dem Titel „Widespread RNA and DNA Sequence Differences in the Human Transcriptome“ (Li et al., Science 333:53-58) schlug es damals äußerst geräuschvoll nicht nur in der RNA-Editing-Szene ein. Im Blog genomes unzipped bestätigt etwa Joe Pickrell im Rückblick:

In light of what we know about RNA editing, Li et al. was a bombshell.

Und bereits zuvor hatte er klar gemacht, dass…

…If these observations are correct, they represent a fundamental change in how we view the process of gene regulation.

Dieser fundamentale Umbruch bestand darin, dass die US-Autoren des Papers in einer breit angelegten Studie über 10.000 Fälle im Humangenom aufgespürt haben wollten, in denen die mRNA-Sequenz von derjenigen der korrespondierenden cDNA abwich. Klarer Schluss daher: Die Zelle editiert mRNA post-transkriptional deutlich öfter als bisher vermutet. Und sie tauscht nicht nur Adenosin gegen Inosin (als Guanin gelesen) und Cytosin gegen Uracil, wie bisher bekannt — nein, alle zwölf möglichen Nukleotidsubstitionen wollten die Autoren in humanen mRNAs beobachtet haben. Eine bis dato niemals erwartete Häufigkeit und Vielfalt.

Logisch daher aber auch, dass viele Insider dem Paper von Anfang an skeptisch gegenüber standen. So schrieb etwa Joe Pickrell im oben bereits erwähnten Blogbeitrag weiter:

However, in this post I am going to point out a couple of technical issues that, if not properly taken into account, have the potential to cause a large number of false positives in this type of data. The main point can be summarized like this: RNA editing involves the production of two different RNA and/or protein sequences from a single DNA sequence. To infer RNA editing from the presence of two different RNA and/or protein sequences, then, one must be very sure that they derive from the same DNA sequence, rather than from two different copies of the DNA (due to, for example, paralogs or copy number variants).

Weiterhin erklärte er in diesem Zusammenhang noch einige technische Probleme, die vor allem die Verhältnisse an Exon-Spleißverbindungen verschleiern, wo die Autoren gerade besonders viele Substitionen gezählt hatten.

Pickrells Bedenken waren wohl durchaus berechtigt, denn Mitte März musste Science gleich drei Kommentare zu dem „Bomben“-Paper abdrucken, die ihn mehr als zu bestätigen scheinen (hier, hier und hier — letzterer mit Pickrell selbst als Erstautor). Jeder dieser Kommentare kommt nach eigenen Analysen zu dem vernichtenden Schluss, dass mindestens 90 Prozent der von Li et al. beobachteten DNA-RNA-Basentausche falsch positive Artefakte sind.

Li et al. versuchten zwar umgehend in einer eigenen Stellungnahme in Science zu retten, was kaum mehr zu retten war. Die Autoren der drei Kommentare beeindruckten deren neue Daten allerdings nicht.

They may have answered anecdotal cases, but they did not address the difficulties the three comments raised,

entgegnete etwa einer.

Auch Pickrell bleibt daher bei seinem Urteil:

The comments published today, however, indicate that the analyses done by Li et al. are based on technical artifacts, and do not provide evidence for interesting biology. My opinion is that the Li et al. study should have been outright retracted.

Ein bedauerlicher Einzelfall? Beileibe nicht. Nur zwei Wochen später erschien in PLoS Genetics ein Paper mit dem Titel „Critical Evaluation of Imprinted Gene Expression by RNA–Seq: A New Perspective“. Dieses räumte mit zwei Publikationen auf, die ganz offenbar nach ähnlichem Muster die Gesamtzahl an geprägten (imprinted) Säugergenen weit zu hoch ansetzten.

Geprägt‘ (imprinted) sind Gene, die im Säugergenom zwar in mütterlicher und väterlicher Kopie vorliegen, wovon jedoch streng nur eine elterliche Kopie exprimiert wird. Zwanzig Jahre nach der Entdeckung des Imprinting und entsprechend unzählige Studien später schätzte die Szene, dass das Säugergenom nicht mehr als 200 solcher geprägten Gene enthalte. Im Jahr 2010 jedoch kamen US-Forscher mit gleich zwei Studien in Science (Vol. 329: 643-8 sowie Vol. 329: 682-5) heraus, in denen sie diese Zahl nach umfassender Hochdurchsatz-RNA-Sequenzierung schier versiebenfachten — auf mehr als 1.300.

Wie schon im Beispiel zuvor decken nun die Autoren des PLoS Genetics-Papers schonungslos methodische und statistische Mängel der beiden Studien auf — um am Ende die Zahl der geprägten Gene wieder nahezu auf den ursprünglichen Schätzwert zurückzuschrauben:

Further analysis and pyrosequencing-based validation revealed that the vast majority of the novel reported imprinted loci are false-positives explained by technical and biological variation of the experimental approach. We show that allele-specific expression (ASE) measured with RNA–Seq is not accurately modeled with statistical methods that assume random independent sampling and that systematic error must be accounted for to enable accurate identification of imprinted expression. Application of a robust approach that accounts for these effects revealed 50 candidate genes where allelic bias was predicted to be parent-of-origin–dependent. However, 11 independent validation attempts through a range of allelic expression biases confirmed only 6 of these novel cases. The results emphasize the importance of independent validation and suggest that the number of imprinted genes is much closer to the initial estimates.

So schreiben sie in ihrem Abstract.

Oder wie ein Kommentar in PLoS Genetics den offensichtlichen ‚Lapsus‘ lapidar zusammenfasst:

… the limitations of the novel technology may not have been fully appreciated.

Und was lernen wir daraus? Dass man nicht umsonst bereits den Diplomanden einschärfen sollte: Kontrollen, Kontrollen, Kontrollen — und, wenn möglich, noch unabhängige Evaluationen der erhaltenen Ergebnisse. Denn schließt man die überall lauernden Falsch Positiven nicht scharf genug aus, entpuppt sich am Ende so manche „Bombe“ allzu leicht als „Blindgänger“. Und wer den Schaden erst einmal hat,…

Schlagworte: , , , , , , ,

Ein Gedanke zu „Falsch positive Blindgänger“

  1. Ralf Neumann sagt:

    Und wie vermutet: Die Autoren des PLoS Genetics-Widerlegungs-Papers im zweiten Beispiel hatten das Manuskript zuerst bei Science eingereicht, wo die angefochtenen Studien ja erschienen waren und wo es demnach auch reingehört hätte. In diesem Fall jedoch lehnten die Editoren aus Platzgründen ab. Der oben ebenfalls erwähnte Joe Pickrall schreibt dazu auf Twitter:

    Author confirms rebuttal was rejected by Science for lack of space. Ridiculous.

    Scheinbar ein Dauerthema, wie hartnäckig die vermeintlichen Edelblätter zu vermeiden versuchen, dass solche Widerlegungen ihrer zuvor publizierten und entsprechend begutachteten Artikel publiziert werden. Wir hatten das ja gerade erst in diesem Lab Times-Editorial thematisiert.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...