Kastrierte Methoden

14. Januar 2016 von Laborjournal

In unserer aktuellen Printausgabe schrieben wir unter „Inkubiert“, welch ärgerlich geringschätzige Politik manche Journals hinsichtlich der Referenzen betreiben. Daneben gibt es aber noch eine — vielleicht sogar noch wichtigere — Rubrik, bei der viele Journals den Anschein erwecken, als würden sie diese am liebsten gar nicht drucken: Material und Methoden.

Sehr schön illustriert diesen Eindruck die folgende Twitter-Diskussion aus dem Jahr 2014:
 


 
Die Symptome dieser Geringschätzung des „Material und Methoden“-Teils sind folglich,

  • ihn auf ein völlig unverständliches Maß zusammenzukürzen;
  • ihn ganz ans Ende des Artikel zu hängen;
  • dazu noch die Schrift auf eine schwer zu lesende Größe zu verkleinern;
  • oder ihn gar nicht zu drucken, sondern nur noch als Online-Supplement anzubieten.

 
Wie „Neuroskeptic“ schreibt: All dies sendet ein fatales Signal — nämlich, dass „Material und Methoden“ ein zu vernachlässigendes Anhängsel eines Forschungsartikels seien. Und dass das „Interessante“ — Entdeckungen und Erkenntnisse — ja sowieso woanders stehe.

Dabei wird doch (hoffentlich) jedem Jungforscher eingetrichtert, dass Forschungsergebnisse erst zählen, wenn sie jederzeit und überall unabhängig reproduziert werden können. Was natürlich nur geht, wenn man die beschriebenen Experimente absolut exakt „nachkochen“ kann. Und was braucht man dazu? Eben — eine bis ins letzte Detail exakte Beschreibung der verwendeten Materialien und eingesetzten Methoden.

Was machen daher also die Journals, wenn sie den vermeintlich ach so langweiligen „Material und Methoden“-Teil der Forschungsartikel immer mehr verstecken und kastrieren? Genau — sie sorgen zunehmend dafür, dass Forschungsergebnisse nicht mehr unabhängig verifiziert werden können.

Und war da nicht gerade was von wegen Reproduzierbarkeitskrise in der Forschung?…
 
 

Paper zurückgezogen — und wen soll ich jetzt zitieren?

11. Dezember 2015 von Laborjournal

Schon seit einiger Zeit muss der Zürcher Pflanzenforscher Olivier Voinnet ein Paper nach dem anderen wegen inkorrekter Abbildungen zurückziehen oder zumindest großflächig korrigieren. Zwischenstand sind momentan zwölf „Corrections“ und sieben „Retractions“.

Dennoch sticht die letzte Retraction heraus. Mitte November zog The Plant Journal den Artikel „An enhanced transient expression system in plants based on suppression of gene silencing by the p19 protein of tomato bushy stunt virus“ in Übereinkunft mit den Autoren Olivier Voinnet, Susana Rivas, Pere Mestre und David Baulcombe vollends zurück, nachdem sie ihn bereits im Juni erstmals korrigiert hatten. Das jedoch ist nicht wirklich der Punkt. Viel erstaunlicher ist die Tatsache, dass der Artikel bis dahin bereits über 900-mal zitiert worden war.

Was heißt das?

Der Artikel beschreibt erstmals eine neue und einfache Methode zur effektiven Steigerung der transienten Expression von eingebrachten Fremdgenen in Pflanzen. Basis dafür ist die Ko-Transfektion mit dem Gen für das Virusprotein P19, welches allgemein das posttranslationale Gene Silencing in Pflanzenzellen hemmt. Das P19-System steigert also die Expression des Fremdgens, indem es die natürliche Expressionsbremse der Pflanzenzelle blockiert.

Über 900 Zitierungen, wie gesagt. Die muss es doch großteils dafür gegeben haben, dass trotz der unzulässig manipulierten Abbildungen die Methode funktioniert. Und tatsächlich twitterte Sophien Kamoun, Laborleiter am Sainsbury Lab in Norwich/UK:

Das scheint also tatsächlich nicht die Frage. Allerdings ergibt sich daraus ein ganz anderes Problem, das Dmitri Nusinow vom Donald Danforth Plant Science Center in Creve Coer, Missouri/USA, via Twitter folgendermaßen ausdrückt:

 

Berechtigte Frage — denn schließlich gilt ein zurückgezogenes Paper per definitionem als augenblicklich aus dem Scientific Record gelöscht. Wen sollen die zahlreichen P19-Anwender also künftig zitieren? Die Erstbeschreibung der Methode gilt — aus guten Gründen! — als gelöscht. Woanders steht sie offensichtlich nicht in ausreichendem Detail beschrieben, da alle nachfolgenden Anwender — zu Recht — auf die Erstbeschreibung verwiesen.

Soll man sich jetzt also darauf einigen, stattdessen einen der ersten Anwender zu zitieren? Wohl kaum — denn zum einen stünde die Methode dort auch nicht vollständig drin, und zum anderen bekäme der betreffende Artikel auf diese Art sicher viel mehr Zitierungen als er tatsächlich verdient. Oder erklärt man die Methode einfach zum allgemeinen Wissen, das man nicht mehr zu zitieren braucht — und muss wegen der Details trotzdem weiter in das zurückgezogene Paper schielen, weil sie ja nirgendwo sonst aufgeschrieben stehen.

Eigentlich müsste jemand die Methode nochmals „neu“ mit allen Details veröffentlichen — vielleicht ja sogar noch mit einigen neuen. Das wäre dann zwar ordnungsgemäß zitierbar, aber wie oben schon gesagt: Ordnungsgemäß verdiente Zitierungen wären das nicht.

Hmm — hat vielleicht jemand einen anderen Vorschlag?

Wie eine Autorin plötzlich unverschuldet als Plagiatorin dastand

22. Juli 2015 von Laborjournal

Gerade auf editage Insights eine skurrile Vermischung von blödem Fehler und schlimmem Missverständnis gelesen. Kurz zusammengefasst ging das Ganze so:

Journal X akzeptierte das Manuskript von Autorin A zur Veröffentlichung. Als die angepeilte Ausgabe erschien, musste A jedoch erstaunt feststellen, dass ihr Name unter einem völlig anderen Artikel stand. Umgehend kontaktierte sie den Journal-Editor und klärte ihn auf, dass sie nicht die Autorin dieses Artikels sei — und dass sie auch kein irgendwie ähnliches Manuskript eingereicht habe. Der Editor erklärte ihr, dass dem Journal hier ein dummer Fehler passiert sei und sie das natürlich in der nächsten Ausgabe korrigieren würden.

Soweit, so schlecht. Aber es kam noch deutlich krasser. Als A den „Autorendreher“ bemerkte, war die Ausgabe schon eine kleine Weile draußen. Und wie das heute so ist, wurde der Artikel mit ihr als falscher Autorin bereits in den gängigen sozialen (Forscher-)Medien zitiert und diskutiert. Dies bekam auch der „wahre“ Autor B des Artikels mit — und dachte natürlich, dass A ihm auf irgendeine Weise mit einem Plagiat zuvorgekommen sei.

Auch B kontaktierte daraufhin das Journal. Parallel aber klagte er A in den entsprechenden sozialen Medien schon mal sehr aggressiv des Plagiierens an. Was natürlich wiederum A nicht nur verwirrte, sondern verständlicherweise ziemlich aufbrachte. Schließlich stand plötzlich völlig unverschuldet und ungerechtfertigt ihr guter Ruf auf dem Spiel.

Also rief A wieder beim Journal-Editor an und verlangte aufgrund dieser Entwicklung schnelleres Handeln, als bis zur nächsten Ausgabe zu warten. Dies geschah dann auch: Der Editor informierte B umgehend über den Fehler und dessen daraus resultierenden Irrtum, B wusch A in den sozialen Medien von allen Verdächtigungen frei und entschuldigte sich dafür — und der Editor wiederum veröffentlichte gleich am nächsten Tag eine Erklärung samt Entschuldigung bei beiden, A und B, auf der Journal-Website. Letztere erschien dann auch noch als Erratum in der nächsten Printausgabe.

Eine blöde Geschichte, die sich aus einem seltenen dummen Fehler hochgeschaukelt hat. Allerdings kann man sich schon fragen, ob die Leute im Zeitalter sozialer Medien vielleicht immer mehr verlernen, dass man ja auch mal per Direktkontakt nachfragen kann. Denn hätte B umgehend direkt bei A angerufen, um die Sache zu klären, wäre die Angelegenheit wohl kaum derart hochgekocht.

Journal Covers, mal anders (9)

27. Mai 2014 von Laborjournal

Molecular Biology and Evolution titelte sein Mai-Heft (Vol 31, No. 5) folgendermaßen:

c

… Und schrieb dazu:

RhesusBase is a resource for comparative analyses of the gene structure and associated regulations in humans and monkeys (Volume 31, pp. 1309-1324). Artwork provided by the RhesusBase Team and Shaomei Hu.
 c

Kooperationen klappen — oder nicht!

23. April 2014 von Laborjournal

Folgende Anekdote gestern am Telefon gehört [Namen geändert!]:

Forscher Müller hat eine Kooperation mit Meier. Eines Tages erhält Müller überraschend ein Manuskript von Meier. Er finde, dass die gemeinsamen Daten inzwischen für eine „nette, kleine Publikation“ reichen, schreibt Meier dazu. Müller findet das nicht. Er schreibt zurück, dass er lieber noch die ein oder andere Testreihe durchziehen wolle, um der „Story“ mehr Substanz zu verleihen. Meier entgegnet, dass dies seiner Meinung nach unnötig sei — die Geschichte wäre auch so schon klar. Und überhaupt habe dessen Gruppe ja nur etwa zwanzig Prozent zum aktuellen Manuskript beigetragen. Wenn er die jetzt wieder rausnehme und ein paar kleine Experimente selber mache, könne er das Paper auch gut ohne ihn veröffentlichen. „Tu, was Du nicht lassen kannst“, schreibt Müller sinngemäß zurück — und schmeißt das Manuskript in den Müll.

Einige Wochen später erhält Müller Post vom Journal of Any Results. Darin ein Manuskript samt einem Brief mit der Bitte, es für eine mögliche Publikation zu begutachten. Korrespondierender Autor des Manuskripts:… Meier.

Wie er jetzt mit dem Manuskript verfahren werde, wisse er noch nicht, erzählte uns Müller. Wahrscheinlich werde er es aber zurückschicken — mit dem Hinweis, dass er es wegen Befangenheit nicht begutachten kann.

Und die Moral von der Geschicht‘: Kooperationen klappen — oder nicht!

(Illustration: graphicgeoff / Fotolia.com)

 

Wer braucht Konferenzbände?

11. März 2014 von Laborjournal

Also Conference Proceedings auf englisch. Schaut tatsächlich jemand in solche Tagungs- oder Konferenzbände rein? Oder anders gefragt: Hat darin wirklich schon mal jemand etwas Wertvolles für seine eigene Arbeit gefunden? Und selbst wenn: Wartet man nicht doch lieber die „richtige“ Veröffentlichung in einem Originalartikel ab?

Schließlich ist es ein offenes Geheimnis, dass das ganze Geschäft oftmals so — oder zumindest ähnlich — abläuft, wie es der Neuroforscher Bill Skaggs kürzlich in einem Kommentar auf Retraction Watch formulierte:

[…] The larger issue here relates to conference proceedings in general. In most cases they are unreviewed, and their value is minimal. The situation is particularly bad in computer science, where the general story is (1) a group of organizers decide to hold a conference in some nice vacation spot; (2) lots of corporate employees attend in order to have fun; (3) they write up some bullshit and submit it to the proceedings in order to justify attending, knowing that nobody will ever look at it; (4) the organizers pay a journal to publish the proceedings in order to justify the scientific value of the conference.

Worauf ihm Kollege Dan Zabetakis gleich im nächsten Kommentar zur Seite springt:

[…] This is the key point. I never look at proceedings, and I don’t think many people do either. The work hasn’t been seriously reviewed, and if it doesn’t rapidly appear in the literature, that is a sure sign that it wasn’t true in the first place. Perhaps it would be better to stop publishing these proceedings at all, at least under the name of the formal journals.

Aber vielleicht läuft es ja tatsächlich hin und wieder ganz anders. Wir nehmen gerne Gegenbeispiele zur Kenntnis…

(Foto: goodluz/Fotolia.com, Montage: LJ)

„Lieber keine Eier als faule Eier“

16. Oktober 2013 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. E. Isern, Striktologisches Institut Universität Hochlattburg.

LJ: Hallo Herr Isern, so tiefe Falten zwischen den Augenbrauen. Warum?

Isern: Ach, ich habe mich mal wieder über einen Kollegen geärgert, dessen Manuskript ich begutachten musste.

LJ: War es so schlecht?

Isern: Die weit verbreitete und scheinbar unausrottbare Schlamperei, dass die Zahl der Proben einfach zu klein war. Die Leute kapieren einfach nicht, dass man auf diese Art keine belastbare Statistik bekommen kann. Und dass die Ergebnisse auf diese Art nur Anekdoten bleiben, die keinerlei allgemein gültige Schlussfolgerungen erlauben.  Diesen Beitrag weiterlesen »

AutorenReviewer am Rande des Nervenzusammenbruchs (20)

6. September 2013 von Laborjournal

Auf „My Chrobial Romance“ fasst der US-Pflanzenforscher und Assistant Professor David Baltrus unter anderem folgende Erfahrung mit dem Peer Review eines eingereichten Manuskripts zusammen:

Baltrus erhielt das Manuskript von einer Zeitschrift, deren weitaus wichtigstes Kriterium zur Annahme die technische Korrektheit und Schlüssigkeit der Studie ist. Womit die besagte Zeitschrift bei weitem nicht alleine steht.

Damit hatte Baltrus überhaupt kein Problem — technisch war das Manuskript völlig okay. Einleitung und Diskussion dagegen stießen ihm ziemlich unangenehm auf. Er fand, dass die Autoren ihre Resultate ziemlich „überverkauften“ und dabei die einzelnen Aspekte der Studie auch noch verzerrt gewichteten. Aus diesem Grund empfahl er schließlich, das Manuskript vorerst abzulehnen. Zugleich schlug er aber den Autoren sehr detailliert vor, auf welche Weise sie ihre Ergebnisse angemessener gewichten und schlüssiger interpretieren könnten — um damit am Ende auch mehr wirklich relevante Leser zu erreichen.

Den Editoren jedoch war’s egal. Immerhin betonte Baltrus in seinem Gutachten ja mehrfach, dass das Manuskript „technically OK“ sei. Und da dies ja erklärtermaßen das Königskriterium des Journals war, wurde das Paper am Ende ohne jegliche Änderungen akzeptiert.

Ein Beispiel, das ganz klar die Nachteile dieser weit verbreiteten „Publish if experiments are technically OK“-Maxime aufzeigt. Und das zugleich illustriert, wie wertvoll offener Post-Publication Review — zumindest als Zusatz-Option — sein kann. Denn da könnte Baltrus jetzt allen seine — wohl berechtigten — Einwände gegen das Paper mitteilen.

Zitat des Monats (12)

24. Mai 2013 von Laborjournal

In Zeiten, in denen sich Journals bisweilen allzu arg gegen die Veröffentlichung von Widerlegungen und „negativer“ Ergebnisse sperren, erscheinen die folgenden Worte von Karl Popper aus dem Jahre 1963 aktueller denn je:

(Aus Karl R. Popper (1963) „Conjectures and Refutations, The Growth of Scientific Knowledge“.)


Zitat des Monats (10)

22. März 2013 von Laborjournal

Geoffrey Boulton, Edinburgh University, im Wall Street Journal.

 

Information 4


Information 5





Information 7