Die Lance Armstrongs der Tour de Science

3. Februar 2016 von Ralf Neumann

Und wieder ein Zitat aus einer E-Mail an unsere Redaktion. Ein Bio-Emeritus im aktiven Unruhestand prangert darin mit deutlichen Worten einige „Unsitten“ im aktuellen Forschungsbetrieb an:

Da die Zahl der für das öffentliche und private Leben relevanten Skandale meine Fähigkeit zu kotzen weit überfordert […], bemühe ich mich schon seit einiger Zeit um eine gewisse pragmatische Rangordnung. Im Hinblick auf Wissenschaftsskandale heißt das für mich, dass ich nach den Lance Armstrongs der internationalen Tour de Science und vor allem nach den Strukturen frage, die diesen Figuren zur Verfügung stehen.

Da komme ich dann auf Fragen zum Wahnsinn der Impact Faktoren und CNS-Publikationen als Kriterium wissenschaftlicher Befähigung. CNS hat nichts mit Gehirn zu tun, sondern steht für Cell, Nature, Science — und damit gleichsam für den Glauben an die Weisheit der Editoren von Journalen, deren Hauptziel darin besteht, den Impact Faktor ihres Journals zu steigern oder wenigstens zu halten.

Ich beschäftige mich weiter mit dem Problem, was alles „behind the scenes“ passiert und offenbar möglich ist. Ich frage mich, warum ich immer wieder auf Arbeiten stoße, die in High Impact-Journalen veröffentlicht wurden und die völlig perfekt erscheinen — abgesehen davon, dass sich die Hauptergebnisse nicht reproduzieren lassen.

Ich frage mich, warum viele Wissenschaftler das Gefühl haben, dass man in einem Manuskript die — oftmals ja leider berechtigten — eigenen Sorgen wegen der Grenzen der verwendeten Methoden, beispielsweise aufgrund unerwünschter, schwer zu kontrollierender Artefakte, besser gar nicht erst andiskutieren sollte.

Ich frage mich, warum es üblich scheint, Ergebnisse besser wegzulassen, die nicht ins Schema der perfekten Reproduzierbarkeit passen und die möglicherweise die Beweisführung für oder gegen eine bestimmte Hypothese untergraben könnten.

Ich frage mich, wie es dazu kommt, dass heute umgehend immer nur nach einem molekularen Mechanismus gefragt wird, selbst wenn die phänomenologischen Grundlagen des untersuchten biologischen  Systems noch weitgehend ungeklärt sind.

Ich frage mich, wie das Begutachtungssystem verändert werden sollte — und vor allen Dingen, wie es öffentlich gemacht werden kann. Ich für meinen Teil habe seit etwa einem Jahr begonnen, alle meine Zeitschriftengutachten mit meinem Namen zu zeichnen.

Ich frage mich, wie es kommt, dass Gutachter ihren Auftrag dahingehend missbrauchen, dass sie die Autoren eingereichter Arbeiten zwingen, eine To-do-Liste abzuarbeiten, nach der die geforderten zusätzlichen Experimente gar nichts mehr mit notwendigen Kontrollen zu tun haben, sondern lediglich willkürliche Erweiterungen nach dem Geschmack des Gutachters darstellen.

Fragen, die viele zwar schon lange kennen — die deswegen aber nicht aufhören zu schmerzen. Antworten und Meinungen dazu, wie immer, direkt unten als Kommentar zu diesem Blog-Beitrag, oder auch per E-Mail an redaktion@laborjournal.de.

(Foto: Fotolia/erkamit)

x

Paper zurückgezogen — und wen soll ich jetzt zitieren?

11. Dezember 2015 von Ralf Neumann

Schon seit einiger Zeit muss der Zürcher Pflanzenforscher Olivier Voinnet ein Paper nach dem anderen wegen inkorrekter Abbildungen zurückziehen oder zumindest großflächig korrigieren. Zwischenstand sind momentan zwölf „Corrections“ und sieben „Retractions“.

Dennoch sticht die letzte Retraction heraus. Mitte November zog The Plant Journal den Artikel „An enhanced transient expression system in plants based on suppression of gene silencing by the p19 protein of tomato bushy stunt virus“ in Übereinkunft mit den Autoren Olivier Voinnet, Susana Rivas, Pere Mestre und David Baulcombe vollends zurück, nachdem sie ihn bereits im Juni erstmals korrigiert hatten. Das jedoch ist nicht wirklich der Punkt. Viel erstaunlicher ist die Tatsache, dass der Artikel bis dahin bereits über 900-mal zitiert worden war.

Was heißt das?

Der Artikel beschreibt erstmals eine neue und einfache Methode zur effektiven Steigerung der transienten Expression von eingebrachten Fremdgenen in Pflanzen. Basis dafür ist die Ko-Transfektion mit dem Gen für das Virusprotein P19, welches allgemein das posttranslationale Gene Silencing in Pflanzenzellen hemmt. Das P19-System steigert also die Expression des Fremdgens, indem es die natürliche Expressionsbremse der Pflanzenzelle blockiert.

Über 900 Zitierungen, wie gesagt. Die muss es doch großteils dafür gegeben haben, dass trotz der unzulässig manipulierten Abbildungen die Methode funktioniert. Und tatsächlich twitterte Sophien Kamoun, Laborleiter am Sainsbury Lab in Norwich/UK:

Das scheint also tatsächlich nicht die Frage. Allerdings ergibt sich daraus ein ganz anderes Problem, das Dmitri Nusinow vom Donald Danforth Plant Science Center in Creve Coer, Missouri/USA, via Twitter folgendermaßen ausdrückt:

 

Berechtigte Frage — denn schließlich gilt ein zurückgezogenes Paper per definitionem als augenblicklich aus dem Scientific Record gelöscht. Wen sollen die zahlreichen P19-Anwender also künftig zitieren? Die Erstbeschreibung der Methode gilt — aus guten Gründen! — als gelöscht. Woanders steht sie offensichtlich nicht in ausreichendem Detail beschrieben, da alle nachfolgenden Anwender — zu Recht — auf die Erstbeschreibung verwiesen.

Soll man sich jetzt also darauf einigen, stattdessen einen der ersten Anwender zu zitieren? Wohl kaum — denn zum einen stünde die Methode dort auch nicht vollständig drin, und zum anderen bekäme der betreffende Artikel auf diese Art sicher viel mehr Zitierungen als er tatsächlich verdient. Oder erklärt man die Methode einfach zum allgemeinen Wissen, das man nicht mehr zu zitieren braucht — und muss wegen der Details trotzdem weiter in das zurückgezogene Paper schielen, weil sie ja nirgendwo sonst aufgeschrieben stehen.

Eigentlich müsste jemand die Methode nochmals „neu“ mit allen Details veröffentlichen — vielleicht ja sogar noch mit einigen neuen. Das wäre dann zwar ordnungsgemäß zitierbar, aber wie oben schon gesagt: Ordnungsgemäß verdiente Zitierungen wären das nicht.

Hmm — hat vielleicht jemand einen anderen Vorschlag?

Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Ralf Neumann

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Bild unter Verdacht (1)

5. Mai 2015 von Ralf Neumann

Seit jeher erhält Laborjournal Hinweise auf mögliche Manipulationen in Paper-Abbildungen. In den letzten Monaten haben diese jedoch auffällig zugenommen. Grund genug, ab jetzt einige der verdächtigen Abbildungen anonymisiert hier im Blog zu präsentieren — und zu fragen, ob an dem Manipulationsverdacht tatsächlich etwas dran sein könnte. Oder eben nicht.

Den Anfang machen wir mit folgendem Ausschnitt aus der Abbildung eines gewissen 2007er-Papers:

Der Verdacht:

(1) Das unterste Western-Blot-Panel scheint eine vertikal gespiegelte Kopie des obersten zu sein, obwohl beide natürlich zwei verschiedene Experimente darstellen sollen. Neben der Ähnlichkeit der Bandenformen besonders starkes Indiz für eine unzulässige Duplikation: Der helle, vertikale „Störungsstreifen“ (roter Pfeil) durch die zweite Bande von rechts (oben) beziehungsweise die zweite Bande von links (unten).

(2) Zudem scheint das zweite Panel von unten eine Kopie des zweiten Panels von oben zu sein – allerdings wurden hier offenbar die Banden des oberen Panels zusätzlich noch in der Breite gestreckt sowie in der Höhe gestaucht. Besonders „entlarvend“ für die mutmaßliche Kopie scheinen auch hier wiederum die unspezifischen Störungen zu sein — konkret die Dreckpunkte (blaue Pfeile), die sich relativ zu den Banden jeweils an denselben Stellen befinden.

Die Frage:

Sind die Panels womöglich wirklich in der beschriebenen Weise dupliziert worden? Oder gibt es stattdessen andere, „angenehmere“ Erklärungen für die Auffälligkeiten?

x

Komische Kommentarauswahl bei PubPeer

30. April 2015 von Ralf Neumann

Nicht nur unser Autor Leonid Schneider macht gerade so seine Erfahrungen mit der Paper-Diskussionsplattform PubPeer (siehe hier und hier). Meine eigenen letzten Erlebnisse dort fand ich allerdings gar nicht prickelnd. Und das kam so:

In den letzten Wochen postete ich insgesamt drei Kommentare als „Unregistered Submission“ auf PubPeer. (Als „Peer“ kann ich mich dort nicht anmelden, da hierfür eine Instituts-Emailadresse verlangt wird, die ich als Laborjournalist nun mal nicht habe.) Laut eigener Aussage prüfen die PubPeer-Betreiber zunächst alle Beiträge, die als „Unregistered Submission“ hereinkommen — und versprechen deren baldige Publikation, sofern sie keine persönlichen Beleidigungen enthalten.

Von meinen drei eingereichten Kommentaren erschien genau einer — und dies sehr schnell. Die anderen beiden erschienen bis heute nicht. Jetzt ist ein Schelm, wer Böses dabei denkt, dass es ausgerechnet der „negative“ Beitrag war, den PubPeer publizierte. In diesem hatte ich mögliche Duplikationen von Gelbanden, die zudem noch durch Spiegeln, Zerren und Stauchen der Banden-Bilder getarnt wurden, zur Diskussion gestellt. (Wer es genauer wissen will, siehe hier. Leider hat dann niemand weiter mitdiskutiert, obwohl es sich für mich um einen klaren Fall von Manipulation handelt.)

Die anderen beiden Kommentare waren dagegen „positive“ Beiträge, in denen ich Argumente vorstellte, warum gewisse, von anderen der Manipulation verdächtigten Abbildungen meiner Meinung nach falschen Alarm darstellten. Diesen Beitrag weiterlesen »

Vertrauen ist gut, Kontrollen sind uncool

28. April 2015 von Ralf Neumann

(Auf der Paper-Debattier-Plattform PubPeer entwickeln sich bisweilen besorgniserregende Diskussionen. In eine davon war unlängst unser Autor Leonid Schneider verwickelt. Hier sein Bericht.)

————————-

Kürzlich konnte ich bei einer Diskussion auf dem Publikations-Debattier-Portal PubPeer wieder einmal Erstaunliches lernen. Im Rahmen der Manipulationsverdächtigungen gegen den Zürcher Pflanzenforscher Olivier Voinnet wurde dort unter anderem auch diese Abbildung aus der Publikation Gibbings et al. in Nature Cell Biology 14:1314-21 diskutiert:

 

Der „Kritiker“ schrieb dazu:

TUBA and EF1A are not from the same gel; same molecular weight but different „curving/tilitng“ of the bands.

Was nichts anderes heißt, als dass die Banden der Ladungskontrolle einen ganz anderen Verlauf haben als diejenigen eines anderen gezeigten Proteins, obwohl beide Proteine ungefähr das gleiche Molekulargewicht haben. Und dies deutet wiederum klar darauf hin, dass die Ladungskontrolle von einem ganz anderen Gel oder einer anderen Membran kommt als das Protein, dessen gleiche Beladung sie bescheinigen sollte.

Tatsächlich hat diesen Befund auch niemand auf PubPeer bestritten. Stattdessen jedoch fragten manche, wo denn hier bitte überhaupt das Problem sei. Diesen Beitrag weiterlesen »

Plötzlich stand ich in PubPeer

21. April 2015 von Ralf Neumann

(Unser Autor Leonid Schneider berichtet bevorzugt über Fälle wissenschaftlichen Fehlverhaltens — zuletzt etwa über den „Fall“ des Zürcher Pflanzenforschers Olivier Voinnet. Jetzt wurden plötzlich zwei Erstautor-Publikationen aus dessen Doktorandenzeit selbst der unsauberen Datenpräsentation verdächtigt. Hier seine Erfahrungen und Lehren aus dem eigenen Fall.)  

——————————–

Leonid Schneider hat in seinen wissenschaftlichen Publikationen betrogen und Daten manipuliert. Das müssen sich viele gedacht haben, die neulich auf dem Internetportal PubPeer die aktuellsten Kommentare abriefen.  Plötzlich stand dort in anonymen Kommentaren, dass ich damals als Doktorand in Düsseldorf womöglich Western-Blot-Banden unzulässig gespleißt oder gar wegretuschiert hätte (siehe Abbildungen am Ende des Texts).

Als ich das sah, habe ich mich natürlich erschrocken. Nein, nicht weil ich erwischt wurde. Als Erstautor habe ich bei diesen beiden Publikationen (J Biol Chem; 282(40):29273-83 und Oncogene; 27(1):116-25) und auch in fast allen anderen Werken die meisten oder gar alle Daten selbst produziert und kann jederzeit dafür gerade stehen. Erschrocken habe ich mich, weil ich inzwischen die Originaldaten nicht mehr besitze, um hier noch etwas beweisen zu können. Das heißt, mein damaliger Chef müsste sie zwar noch haben, aber beruhigt hat es mich nicht unbedingt. Damit hatte ich also dieselbe faule Ausrede anzuführen wie die vielen anderen, denen man, zum Teil auch zu Recht, Datenmanipulation vorwirft: die Originaldaten seien leider nicht mehr auffindbar.

Ich hatte aber Glück. Diesen Beitrag weiterlesen »

„Darum trauen wir deutschen Veröffentlichungen nicht“

16. März 2015 von Ralf Neumann

Eigentlich wollte unser Autor Leonid Schneider im Rahmen einer Artikel-Recherche nur ein paar spezifische Informationen. Doch sein Adressat, immerhin Direktor an einem Edel-Institut der amerikanischen Westküste, holte nebenbei gleich mal zu folgendem Rundumschlag gegen deutsche Postdocs aus:

In general, since you are journalist: I admire your investigative efforts. But you have to know that it was widely known that German postdocs did everything they could to get as many papers as possible published because of the pathological promotion system in Germany that puts so much insane pressure on scientists to have large numbers of papers. This led sadly to sacrificing the truth. That is why we do not trust German papers from authors with suspiciously large numbers of papers. This is an open secret.

Wir haben erstmal geschluckt. Ist der Ruf deutscher Postdocs und Paper im Ausland tatsächlich so schlecht?

Ist doch egal, wer — die Sache zählt!

20. Februar 2015 von Ralf Neumann

(In dieser Antwort auf den Beitrag „Leidige Praxisprobleme“ vom 13. Februar verteidigt unser Autor Leonid Schneider das Prinzip der anonymen Kommentare auf der Post-Publikation-Review-Plattform PubPeer.)

————-

Früher hieß es: Es ist publiziert, also stimmt es! Oft beendete man noch jegliche kritische Diskussion mit den Argumenten des Peer-Review und des Journal-Impaktfaktors. Den Grund dafür, dass publizierte Versuchsergebnisse im eigenen Labor nicht zu reproduzieren waren, suchte man dann ausschließlich bei sich selbst.

Nun kann sich jeder Jungwissenschaftler sofort über die Webseite PubPeer eine darüber hinausgehende Meinung bilden. Denn auch was in Nature, Cell und Science steht, muss man nicht unbedingt treudoof glauben. Unbeantwortete, aber plausible öffentliche Anschuldigungen der Daten-Unzulänglichkeit in einem Paper können schon an dessen Glaubwürdigkeit und Verlässlichkeit rütteln. Endlich geht es dann um Evidenz statt Eminenz — und das ist auch gut so.

Trotz diverser Kinderkrankheiten hat das junge Internetportal PubPeer bereits jetzt einen enormen Beitrag zur Richtigstellung der wissenschaftlichen Literatur geleistet. Sie beherbergt inzwischen doch einige Beispiele, wo Fehler oder auch potenzielle Manipulationen in der Fachliteratur öffentlich und mit Bildbelegen aufgedeckt wurden. Ständig kommen neue dazu. Die Bild-Duplikationen in Shoukhrat Mitalipovs Cell-Paper (Vol. 153(6): 1228-38), das übrigens ohne Peer-Review erschien, wurden in PubPeer erstmals angeprangert — was später zu einer umfassenden und peinlichen Korrektur führte. Die Manipulationen in einem der größten Forschungsskandale der letzten Zeit um die sogenannten STAP-Stammzellen wurden vor allem durch PubPeer bekannt.

Die Bedeutung von PubPeer wird daher immer mehr Wissenschaftlern bewusst. Immer mehr nehmen sie zu den sie selbst betreffenden Kommentaren und Vorwürfen Stellung — dies im Übrigen mal mehr, mal weniger überzeugend. Diesen Beitrag weiterlesen »

So viel Schlamperei?

6. Februar 2015 von Ralf Neumann

Auszug aus dem Corrigendum eines Nature-Artikels:

We introduced two errors (by inadvertently removing five data points, two from the wild type and three from Ripk2-/-) into this figure when we were asked to provide a higher-resolution version at the production stage.

Auszug aus dem Corrigendum eines Nucleic Acid Research-Artikels:

The LSD1 panels were inadvertently duplicated on the construction of Figure 4D.

Auszug aus dem Corrigendum eines Froniers in Human Neuroscience-Artikels:

A small part of the data on five of the 43 patients was accidentally displaced in the data file, which affected two of the results presented in the original manuscript.

Auszug aus dem Erratum eines Cell-Papers:

[…] the panel for DMSO control (0.1% apoptosis) was misplaced in the next panel for Y-27632-treated control (0.3% apoptosis).

Auszug aus dem Erratum eines Nature Communications-Artikels:

This Article contains errors in Figs 4 and 6 that were introduced during the production process. In Fig. 4d, the lane labels ‘HA-JMJD2B mut’ and ‘HA-JMJD2B’ on the western blot were inadvertently switched. In Fig. 6b,c, labels for the red and green lines were also accidentally swapped.

Ohne Probleme ließen sich dieser Liste der „inadvertent and accidental errors, duplications and misplacements“ jede Menge weitere Beispiele anfügen. Insbesondere in den letzten Jahren haben Corrections und Errata massiv zugenommen — und auffallend oft bezichtigen sich die Forscher darin selbst solcher versehentlicher Schlampereien. Diesen Beitrag weiterlesen »

a_lj_wp_4_3


a_lj_wp_5_3


a_lj_wp_6_3


a_lj_wp_7_3


a_lj_wp_8_3