Kastrierte Methoden

14. Januar 2016 von Laborjournal

In unserer aktuellen Printausgabe schrieben wir unter „Inkubiert“, welch ärgerlich geringschätzige Politik manche Journals hinsichtlich der Referenzen betreiben. Daneben gibt es aber noch eine — vielleicht sogar noch wichtigere — Rubrik, bei der viele Journals den Anschein erwecken, als würden sie diese am liebsten gar nicht drucken: Material und Methoden.

Sehr schön illustriert diesen Eindruck die folgende Twitter-Diskussion aus dem Jahr 2014:
 


 
Die Symptome dieser Geringschätzung des „Material und Methoden“-Teils sind folglich,

  • ihn auf ein völlig unverständliches Maß zusammenzukürzen;
  • ihn ganz ans Ende des Artikel zu hängen;
  • dazu noch die Schrift auf eine schwer zu lesende Größe zu verkleinern;
  • oder ihn gar nicht zu drucken, sondern nur noch als Online-Supplement anzubieten.

 
Wie „Neuroskeptic“ schreibt: All dies sendet ein fatales Signal — nämlich, dass „Material und Methoden“ ein zu vernachlässigendes Anhängsel eines Forschungsartikels seien. Und dass das „Interessante“ — Entdeckungen und Erkenntnisse — ja sowieso woanders stehe.

Dabei wird doch (hoffentlich) jedem Jungforscher eingetrichtert, dass Forschungsergebnisse erst zählen, wenn sie jederzeit und überall unabhängig reproduziert werden können. Was natürlich nur geht, wenn man die beschriebenen Experimente absolut exakt „nachkochen“ kann. Und was braucht man dazu? Eben — eine bis ins letzte Detail exakte Beschreibung der verwendeten Materialien und eingesetzten Methoden.

Was machen daher also die Journals, wenn sie den vermeintlich ach so langweiligen „Material und Methoden“-Teil der Forschungsartikel immer mehr verstecken und kastrieren? Genau — sie sorgen zunehmend dafür, dass Forschungsergebnisse nicht mehr unabhängig verifiziert werden können.

Und war da nicht gerade was von wegen Reproduzierbarkeitskrise in der Forschung?…
 
 

Forschung steht auf einer Säule, nicht auf vier

3. September 2015 von Laborjournal

Die Institutionen sollen ihren Teil zu Reproduzierbarkeit und zuverlässige Forschung beitragen — das fordern Ulrich Dirnagl, Leiter des Schlaganfallcentrums an der Charité Berlin, sowie Glenn Begley, leitender Wissenschaftler bei der US-Firma TetraLogic Pharmaceuticals, und Alastair Buchan, Medizindekan an der Universität Oxford ganz frisch in Nature (Vol. 525: 25–27).

In ihrem Meinungsartikel identifizieren die drei Autoren die Universitäten und andere akademische Forschungseinrichtungen als mitverantwortlich für die mangelnde Reproduzierbarkeit publizierter Ergebnisse und werfen ihnen gar einen laxen Umgang mit wissenschaftlichem Fehlverhalten ihrer Forscher vor. Statt die Akademiker zu immer mehr und immer bombastischeren Publikationen zu anzutreiben, sollten die Institutionen lieber Sorgfältigkeit, Selbstkritik, gute Mitarbeiterschulung und zuverlässige Versuchsaufzeichnungen fördern — so die Autoren weiter. Konkret sollten sie dazu interne Regeln für die sogenannte Good Institutional Practice einführen. Wissenschaftler, die diese vorbildlich umsetzen, sollten mit Beförderungen belohnt werden, deren nachlässigere Kollegen hingegen Personal- und Fördermittelkürzung befürchten müssen.

Allesamt gute und sehr sinnvolle Vorschläge, ohne Frage. Nur wirken sie ein wenig wie das Weiterreichen von Verantwortung. Diesen Beitrag weiterlesen »

Wie eine Autorin plötzlich unverschuldet als Plagiatorin dastand

22. Juli 2015 von Laborjournal

Gerade auf editage Insights eine skurrile Vermischung von blödem Fehler und schlimmem Missverständnis gelesen. Kurz zusammengefasst ging das Ganze so:

Journal X akzeptierte das Manuskript von Autorin A zur Veröffentlichung. Als die angepeilte Ausgabe erschien, musste A jedoch erstaunt feststellen, dass ihr Name unter einem völlig anderen Artikel stand. Umgehend kontaktierte sie den Journal-Editor und klärte ihn auf, dass sie nicht die Autorin dieses Artikels sei — und dass sie auch kein irgendwie ähnliches Manuskript eingereicht habe. Der Editor erklärte ihr, dass dem Journal hier ein dummer Fehler passiert sei und sie das natürlich in der nächsten Ausgabe korrigieren würden.

Soweit, so schlecht. Aber es kam noch deutlich krasser. Als A den „Autorendreher“ bemerkte, war die Ausgabe schon eine kleine Weile draußen. Und wie das heute so ist, wurde der Artikel mit ihr als falscher Autorin bereits in den gängigen sozialen (Forscher-)Medien zitiert und diskutiert. Dies bekam auch der „wahre“ Autor B des Artikels mit — und dachte natürlich, dass A ihm auf irgendeine Weise mit einem Plagiat zuvorgekommen sei.

Auch B kontaktierte daraufhin das Journal. Parallel aber klagte er A in den entsprechenden sozialen Medien schon mal sehr aggressiv des Plagiierens an. Was natürlich wiederum A nicht nur verwirrte, sondern verständlicherweise ziemlich aufbrachte. Schließlich stand plötzlich völlig unverschuldet und ungerechtfertigt ihr guter Ruf auf dem Spiel.

Also rief A wieder beim Journal-Editor an und verlangte aufgrund dieser Entwicklung schnelleres Handeln, als bis zur nächsten Ausgabe zu warten. Dies geschah dann auch: Der Editor informierte B umgehend über den Fehler und dessen daraus resultierenden Irrtum, B wusch A in den sozialen Medien von allen Verdächtigungen frei und entschuldigte sich dafür — und der Editor wiederum veröffentlichte gleich am nächsten Tag eine Erklärung samt Entschuldigung bei beiden, A und B, auf der Journal-Website. Letztere erschien dann auch noch als Erratum in der nächsten Printausgabe.

Eine blöde Geschichte, die sich aus einem seltenen dummen Fehler hochgeschaukelt hat. Allerdings kann man sich schon fragen, ob die Leute im Zeitalter sozialer Medien vielleicht immer mehr verlernen, dass man ja auch mal per Direktkontakt nachfragen kann. Denn hätte B umgehend direkt bei A angerufen, um die Sache zu klären, wäre die Angelegenheit wohl kaum derart hochgekocht.

Forschung im Komparativ

26. Juni 2015 von Laborjournal

Gestern war wieder einer dieser Tage, an denen ich besonders viele Paper-Abstracts anschauen musste. Eigentlich kaum erwähnenswert — gehört schließlich immer wieder zum Alltag eines Laborjournal-Redakteurs. Eines war diesmal allerdings besonders krass: nämlich, wie oft ich auf diese eine unselige Floskel stieß…

Abstract No. 1:

[…] Proteins that both hinder and spur cancer progression may not be as uncommon as previously thought […]

Abstract No. 2:

[…] Mini-strokes may be more serious than previously thought […]

Abstract No. 3:

[…] CO2 is a more complex sensory cue for C. elegans than previously thought, both in terms of behavior and neural circuitry […]

Es ist schon auffällig, wie oft Forscher ihre Resultate mit dem Komparativ beschreiben. Da enthalten Genome weniger Gene als zuvor gedacht; treten Mutationen viel häufiger auf, als man bis dahin erwartet hatte; entwickeln sich Merkmale evolutionsgeschichtlich schneller, als man angenommen hatte; interagieren Proteine mit mehr Partnern als bisher vermutet; reagieren Regel-Netzwerke viel flexibler als bislang gedacht;…

Genug Beispiele? Es gäbe noch jede Menge mehr. Aber schon anhand dieser kleinen Aufzählung, muss man sich doch fragen: Was haben all die Forscher eigentlich vorher gedacht/erwartet/vermutet/angenommen/geschätzt/…, dass sie offenbar so oft so weit neben dem liegen, was die nächstneueren Daten dann offenbaren? Klar, liegt einem da sofort der Spruch auf der Zunge, dass die Forscher besser nachdenken statt vordenken sollten. Aber das trifft es ja nicht wirklich…

Natürlich müssen Forscher vorausschauen (und -denken), natürlich müssen sie Daten interpretieren und gewichten, um daraus realistische Szenarien und klare Hypothesen für möglichen künftigen Erkenntnisgewinn zu entwickeln. Und sicher ist dabei ein großer Unsicherheitsfaktor, dass sie sich mit ihren Schätzungen/Erwartungen/Vermutungen/Annahmen/… auf unvollständige Datensätze beziehen müssen, die zudem in aller Regel mit weniger „starken“ Methoden gewonnen wurden.

Aber wie so oft kann man das Pferd auch anders herum aufzäumen. Man könnte beispielsweise fragen, ob all diese Ergebnisse auch nur annähernd so aufregend und spektakulär daherkommen würden, wenn man zuvor nicht derart „danebengedacht“ hätte. Schließlich klingt der Satz „Das Genom ist ganz anders aufgebaut als gedacht“ viel aufregender als ein nüchternes „Wir haben ein Genom entziffert“. Oder ist es viel spektakulärer zu verkünden, dass Bakterienmutanten den ausgeschalteten Zuckertransport wieder viel schneller regenerieren als erwartet — statt sachlich zu konstatieren, dass nach n Teilungszyklen die Bakterien den Zucker wieder abbauen können.

Am besten sollte man also vorher so falsch wie möglich liegen. Damit man die späteren Ergebnisse nachher als umso bedeutender verkaufen kann…

Bild unter Verdacht (1)

5. Mai 2015 von Laborjournal

Seit jeher erhält Laborjournal Hinweise auf mögliche Manipulationen in Paper-Abbildungen. In den letzten Monaten haben diese jedoch auffällig zugenommen. Grund genug, ab jetzt einige der verdächtigen Abbildungen anonymisiert hier im Blog zu präsentieren — und zu fragen, ob an dem Manipulationsverdacht tatsächlich etwas dran sein könnte. Oder eben nicht.

Den Anfang machen wir mit folgendem Ausschnitt aus der Abbildung eines gewissen 2007er-Papers:

Der Verdacht:

(1) Das unterste Western-Blot-Panel scheint eine vertikal gespiegelte Kopie des obersten zu sein, obwohl beide natürlich zwei verschiedene Experimente darstellen sollen. Neben der Ähnlichkeit der Bandenformen besonders starkes Indiz für eine unzulässige Duplikation: Der helle, vertikale „Störungsstreifen“ (roter Pfeil) durch die zweite Bande von rechts (oben) beziehungsweise die zweite Bande von links (unten).

(2) Zudem scheint das zweite Panel von unten eine Kopie des zweiten Panels von oben zu sein – allerdings wurden hier offenbar die Banden des oberen Panels zusätzlich noch in der Breite gestreckt sowie in der Höhe gestaucht. Besonders „entlarvend“ für die mutmaßliche Kopie scheinen auch hier wiederum die unspezifischen Störungen zu sein — konkret die Dreckpunkte (blaue Pfeile), die sich relativ zu den Banden jeweils an denselben Stellen befinden.

Die Frage:

Sind die Panels womöglich wirklich in der beschriebenen Weise dupliziert worden? Oder gibt es stattdessen andere, „angenehmere“ Erklärungen für die Auffälligkeiten?

x

Komische Kommentarauswahl bei PubPeer

30. April 2015 von Laborjournal

Nicht nur unser Autor Leonid Schneider macht gerade so seine Erfahrungen mit der Paper-Diskussionsplattform PubPeer (siehe hier und hier). Meine eigenen letzten Erlebnisse dort fand ich allerdings gar nicht prickelnd. Und das kam so:

In den letzten Wochen postete ich insgesamt drei Kommentare als „Unregistered Submission“ auf PubPeer. (Als „Peer“ kann ich mich dort nicht anmelden, da hierfür eine Instituts-Emailadresse verlangt wird, die ich als Laborjournalist nun mal nicht habe.) Laut eigener Aussage prüfen die PubPeer-Betreiber zunächst alle Beiträge, die als „Unregistered Submission“ hereinkommen — und versprechen deren baldige Publikation, sofern sie keine persönlichen Beleidigungen enthalten.

Von meinen drei eingereichten Kommentaren erschien genau einer — und dies sehr schnell. Die anderen beiden erschienen bis heute nicht. Jetzt ist ein Schelm, wer Böses dabei denkt, dass es ausgerechnet der „negative“ Beitrag war, den PubPeer publizierte. In diesem hatte ich mögliche Duplikationen von Gelbanden, die zudem noch durch Spiegeln, Zerren und Stauchen der Banden-Bilder getarnt wurden, zur Diskussion gestellt. (Wer es genauer wissen will, siehe hier. Leider hat dann niemand weiter mitdiskutiert, obwohl es sich für mich um einen klaren Fall von Manipulation handelt.)

Die anderen beiden Kommentare waren dagegen „positive“ Beiträge, in denen ich Argumente vorstellte, warum gewisse, von anderen der Manipulation verdächtigten Abbildungen meiner Meinung nach falschen Alarm darstellten. Diesen Beitrag weiterlesen »

Plötzlich stand ich in PubPeer

21. April 2015 von Laborjournal

(Unser Autor Leonid Schneider berichtet bevorzugt über Fälle wissenschaftlichen Fehlverhaltens — zuletzt etwa über den „Fall“ des Zürcher Pflanzenforschers Olivier Voinnet. Jetzt wurden plötzlich zwei Erstautor-Publikationen aus dessen Doktorandenzeit selbst der unsauberen Datenpräsentation verdächtigt. Hier seine Erfahrungen und Lehren aus dem eigenen Fall.)  

——————————–

Leonid Schneider hat in seinen wissenschaftlichen Publikationen betrogen und Daten manipuliert. Das müssen sich viele gedacht haben, die neulich auf dem Internetportal PubPeer die aktuellsten Kommentare abriefen.  Plötzlich stand dort in anonymen Kommentaren, dass ich damals als Doktorand in Düsseldorf womöglich Western-Blot-Banden unzulässig gespleißt oder gar wegretuschiert hätte (siehe Abbildungen am Ende des Texts).

Als ich das sah, habe ich mich natürlich erschrocken. Nein, nicht weil ich erwischt wurde. Als Erstautor habe ich bei diesen beiden Publikationen (J Biol Chem; 282(40):29273-83 und Oncogene; 27(1):116-25) und auch in fast allen anderen Werken die meisten oder gar alle Daten selbst produziert und kann jederzeit dafür gerade stehen. Erschrocken habe ich mich, weil ich inzwischen die Originaldaten nicht mehr besitze, um hier noch etwas beweisen zu können. Das heißt, mein damaliger Chef müsste sie zwar noch haben, aber beruhigt hat es mich nicht unbedingt. Damit hatte ich also dieselbe faule Ausrede anzuführen wie die vielen anderen, denen man, zum Teil auch zu Recht, Datenmanipulation vorwirft: die Originaldaten seien leider nicht mehr auffindbar.

Ich hatte aber Glück. Diesen Beitrag weiterlesen »

Phagen zu Nano-Multitools

20. März 2015 von Laborjournal

Mal wieder was aus der Reihe „Unübliche Abbildungen in Originalveröffentlichungen“:

 

 

Das Bild dient als Abstract-Illustration im Paper „Bacteriophages as Scaffolds for Bipartite Display: Designing Swiss Army Knives on a Nanoscale“ von Peter Molek und Tomaž Bratkovič, Universität Ljubljana (Bioconjugate Chem. 26 (3):367-78). Die Autoren wollen damit verdeutlichen, dass Phagen ihrer Meinung nach ein großes Potential für Anwendungen in der Nanobiotechnologie haben, da man sie gezielt mit multiplen funktionellen Modulen bestücken könnte — analog einem Schweizer Offiziersmesser also.

Okay, die Botschaft ist angekommen…

x

Ist doch egal, wer — die Sache zählt!

20. Februar 2015 von Laborjournal

(In dieser Antwort auf den Beitrag „Leidige Praxisprobleme“ vom 13. Februar verteidigt unser Autor Leonid Schneider das Prinzip der anonymen Kommentare auf der Post-Publikation-Review-Plattform PubPeer.)

————-

Früher hieß es: Es ist publiziert, also stimmt es! Oft beendete man noch jegliche kritische Diskussion mit den Argumenten des Peer-Review und des Journal-Impaktfaktors. Den Grund dafür, dass publizierte Versuchsergebnisse im eigenen Labor nicht zu reproduzieren waren, suchte man dann ausschließlich bei sich selbst.

Nun kann sich jeder Jungwissenschaftler sofort über die Webseite PubPeer eine darüber hinausgehende Meinung bilden. Denn auch was in Nature, Cell und Science steht, muss man nicht unbedingt treudoof glauben. Unbeantwortete, aber plausible öffentliche Anschuldigungen der Daten-Unzulänglichkeit in einem Paper können schon an dessen Glaubwürdigkeit und Verlässlichkeit rütteln. Endlich geht es dann um Evidenz statt Eminenz — und das ist auch gut so.

Trotz diverser Kinderkrankheiten hat das junge Internetportal PubPeer bereits jetzt einen enormen Beitrag zur Richtigstellung der wissenschaftlichen Literatur geleistet. Sie beherbergt inzwischen doch einige Beispiele, wo Fehler oder auch potenzielle Manipulationen in der Fachliteratur öffentlich und mit Bildbelegen aufgedeckt wurden. Ständig kommen neue dazu. Die Bild-Duplikationen in Shoukhrat Mitalipovs Cell-Paper (Vol. 153(6): 1228-38), das übrigens ohne Peer-Review erschien, wurden in PubPeer erstmals angeprangert — was später zu einer umfassenden und peinlichen Korrektur führte. Die Manipulationen in einem der größten Forschungsskandale der letzten Zeit um die sogenannten STAP-Stammzellen wurden vor allem durch PubPeer bekannt.

Die Bedeutung von PubPeer wird daher immer mehr Wissenschaftlern bewusst. Immer mehr nehmen sie zu den sie selbst betreffenden Kommentaren und Vorwürfen Stellung — dies im Übrigen mal mehr, mal weniger überzeugend. Diesen Beitrag weiterlesen »

Best of Science Cartoons (33)

17. Februar 2015 von Laborjournal

… Aus der Reihe „Die Tücken des Wissenschaftssprechs“ (daher lässt man ihn auch besser in Englisch stehen):

Von Hilda Bastian (www.hildabastian.net) via Sci-Med Cartoonery

 

Information 4


Information 5


Information 7