Kleine Lügen

22. April 2013 von Laborjournal

Jedes Paper enthält kleine Lügen. Ohne Ausnahme, da wetten wir.

Nehmen wir ein typisches Paper. Das liest sich — ohne die jeweils spezifischen Details — etwa nach folgendem Muster:

„Wir wollten wissen, ob […] Dazu gab es bereits diese und jene Beobachtung […] Wir folgerten daher, dass […] Um dies zu testen, führten wir zunächst das Experiment durch, dessen Ergebnisse in Abbildung 1 zusammengefasst sind […] Aufgrund dieser Daten vermuteten wir weiter, dass […] Die Ergebnisse der Experimente in den Abbildungen 2 und 3 erhärteten diesen Verdacht […] Da zudem Kollege Müller vor einiger Zeit XYZ beobachtete, lag nun nahe, dass Faktor A diesen Effekt vermittelt […] Wir verifizierten diese Annahme anschließend in den Experimenten der Abbildungen 4 und 5 […] Um die Beteiligung von A und damit den gesamten Mechanismus abzusichern, entwarfen wir schließlich das Experiment in Abbildung 6, welches den Mechanismus nochmals bestätigt […] Damit zeigen die Daten insgesamt klar, dass […] Abschließend schlagen wir angesichts dieser Erkenntnisse daher vor, dass […]“

Klingt nach einer guten Story, oder? Und genau das ist es auch — eine Story! Eine Story, in der messerscharf eins aus dem anderen folgt — die sich so aber nie abgespielt hat. Die Wahrheit würde wohl eher so klingen:

„Als wir dieses untersuchten, erhielten wir immer wieder seltsame Daten […] Kollege Meier brachte uns schließlich darauf, dass es damit jenes auf sich haben könnte […] Also machten wir die folgenden zwei Experimente, wodurch sich der Verdacht erhärtete […] Den Beweis lieferte schließlich das nächste Experiment […] Allerdings erklärte es (dummerweise) nicht das Problem aus den früheren Experimenten X und Y […] Diesem kamen wir nach einigen Irrwegen schließlich mit folgendem Test auf die Spur […] Jetzt fehlten uns nur noch die Daten um das Ausgangsproblem überhaupt anschaulich darstellen zu können […]“

Übliches experimentelles Herumgetappe also. Ehrlich, aber grausam zu lesen und wahrscheinlich auch schwer zu verstehen. Und genau deswegen sind die „kleinen Lügen“ erlaubt. Weil die Experimente erst dann einen klaren Sinn ergeben, wenn man sie neu zu einer schlüssigen Story ordnet.

Forscher sind daher immer auch irgendwie Geschichtenerzähler.

Schlagworte: , , , , ,

9 Gedanken zu „Kleine Lügen“

  1. Siehe dazu Twitter hashtag: #overlyhonestmethods
    🙂

  2. RevierPate sagt:

    Ha! Der Hashtag gefällt mir! 🙂 Danke @brembs

  3. Ralf Neumann sagt:

    Ja, über #overlyhonestmethods hatten wir ja bereits hier, hier und hier berichtet. Der jetzige Post ist übrigens die ausführlichere und neu überarbeitete Version des Textes unserer „Inkubiert“-Kolumne in Laborjournal 9/2007.

  4. RevierPate sagt:

    @RalfNeumann Danke für die weiteren Quellen! Bin ich noch nicht drüber gestolpert, aber ich bin ja auch schon ein paar Jahre aus dem Labor raus. Ok, ich muss trotzdem mehr Laborjournal lesen (Asche auf mein Haupt) 🙂

  5. D.S. sagt:

    Der geschriebene Text läßt sich problemlos auf quasi jede Doktorarbeit erweitern….

  6. Panagrellus sagt:

    Aus solchen kleinen Lügen wird aber schnell eine große – und zwar dann, wenn durch das „kreative Nacherzählen“ der Unterschied zwischen geplantem Hypothesen-Testen und zufälligen, post-hoc erklärten Beobachtungen verwischt wird.

    z.B. so:

    ‚echte Geschichte‘:
    „eigentlich wollten wir ja wissen, ob Substanz X bei Fliegenlarven die Entwicklung der Flügel beeinflusst. Damit war’s nix, aber hey, was waren wir erstaunt als wir im gleichen Experiment die Beinchen mal nachgemessen haben , die waren in der Gruppe mit Substanz X viiiiel kürzer als in der Kontrolle.
    Wir haben dann noch ein paar in-vitro -versuche mit unserem Lieblingsenzym gemacht und konnten zeigen, dass Substanz X das Enzym y hemmt, das beim Beinwachstum wichtig ist“

    Was also wäre davon zu halten, wenn die Geschichte schließlich so im Journal steht:

    „Enzym Y interessiert uns schon lange im Zusammenhang mit Beinchenwachstum , und wir konnten zeigen, dass Substanz X dieses Enzym in-vitro hemmt. Deshalb unsere Hypothese: Substanz X hemmt das Enzym auch in-vivo und führt zu kürzeren Beinchen. Experiment bestätigt Hypothese, p < 0.001 , HA, was sind wir für Helden! "

    Das Szenario ist natürlich hypothetisch, aber ist es wirklich abwegig?

  7. D.S. sagt:

    Panagrellus die Frage ob das hypothetisch ist, ist rhetorisch gemeint, oder? Das meinte ich mit Doktorarbeiten, Bachelorarbeiten und Masterarbeiten. Im Prinzip steht in jeder „Fragestellung der Arbeit“ o.ä. und dann die Ergebnisse. Auf wundersame Weise hat man genau die Fragestellung in seiner Arbeit bearbeiten können, welch Wunder wir doch quasi täglich erleben dürfen wenn wir als Wissenschaftler arbeiten!

  8. Panagrellus sagt:

    Da hast Du wohl recht, da verlassen wir aber dann aber das Territorium der „kleinen erlaubten Lügen“ und betreten die dunklen Bereiche des wissenschaftlichen Fehlverhaltens.

    In meinem Beispielszenario: Die Hypothese vor Experimentbeginn war „Substanz X wirkt auf Flügel“, und nur diese Hypothese darf man dann auch statistisch auswerten. Beobachtet man dann etwas ganz anderes, kann man das schon als interessante Beobachtung ansehen; die muss man dann aber in EINEM NEUEN EXPERIMENT testen, denn es kann gut sein, dass man einem Zufallsergebnis aufgesessen ist – irgendeins der sieben Dutzend möglichen Merkmale, die man zwischen Experiment und Kontrolle vergleichen kann, wird immer mal „statistisch signifikante“ (falsch-positive) Unterschiede zeigen.

    Wenn man Zufallsfunde als „Hypothesentesten“ darstellt, führt man die Leser an der Nase herum; das ist etwas anderes, als dem Leser einen Gefallen zu tun, indem man die Ergebnisse in eine logisch nachvollziehbare Abfolge bringt (wie in Ralf’s Beispiel im Post).

  9. „Der Beste muß mitunter lügen, zuweilen tut er’s mit Vergnügen.“
    Wilhelm Busch (1832-1908)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...