Wozu Journals?

10. November 2016 von Ralf Neumann

 

dustbook3

 

Es ist und bleibt interessant, immer wieder mal in unseren alten Ausgaben zu blättern. Nicht nur, aber auch, um zu sehen, wie sich gewisse Dinge in der Zwischenzeit entwickelt haben.

Kürzlich etwa blieb ich an folgendem Text unserer „Inkubiert“-Kolumne aus Heft 4/2000 (!) hängen:

Wozu braucht man Fach-Journale? Vor allem doch wohl als Vehikel von Information. Allerdings ist da das Internet mittlerweile schneller, billiger, einfacher und vielseitiger. So gesehen erfüllen die Fachblätter also ihre primäre Aufgabe inzwischen nicht mehr optimal. Allenfalls als glorifizierte Listen von Leseempfehlungen taugen sie noch. Womit wir direkt bei der nächsten Frage wären: Braucht man noch ein System des Vorab-Peer Review? Zumal doch gerade auf dem gut gedüngten Boden des anonymen Peer Review-Systems die menschlichen Schwächen der Gutachter oftmals allzu üppig wuchern. Warum also nicht gleich einfach alles unmittelbar und direkt im Internet publizieren — allenfalls durch eine grobe Vorab-Kontrolle von blankem Unsinn freigehalten? Beurteilt nicht sowieso jeder Forscher selbst die Artikel, die ihn interessieren — ob von Gutachtern empfohlen oder nicht? Was ein echter Forscher ist, sollte dies jedenfalls alleine können. Herrliche Diskussionen direkt im Anhang an die einzelnen Artikel könnten sich entwickeln. Nachlesbar und gezeichnet. Ein Artikel wäre nicht nur Information, sondern auch Anstoß zur Debatte. Jedenfalls die guten unter ihnen. Und daran wiederum würde man sie erkennen. Ja, ja — jetzt schreien wieder einige, dass unter solchen Bedingungen doch am Ende jeder Schrott publiziert würde. Hmm? Ohne Journals publiziert vielleicht tatsächlich nur, wer wirklich etwas Neues hat. Und schielt nicht vorrangig danach, durch Publikation in prestigeträchtigen Journals Impact-Punkte zu sammeln.

Scheint es nur mir so, dass wir heute, 16 Jahre später, in dieser Diskussion immer noch weitgehend auf demselben Stand sind?

x

Oder vielleicht ist ja auch das die Zukunft des offenen Post-Publication-Peer-Review?…

22. März 2016 von Ralf Neumann

x

(Zeichnung entnommen aus “Forscher Ernst” von Rafael Florés)

Ist das die Zukunft des offenen Post-Publication-Peer-Review?…

10. März 2016 von Ralf Neumann

(Zeichnung entnommen aus „Forscher Ernst“ von Rafael Florés)

Nicht ganz frei von Horror, diese Vorstellung. Oder?

x

Paper zurückgezogen — und wen soll ich jetzt zitieren?

11. Dezember 2015 von Ralf Neumann

Schon seit einiger Zeit muss der Zürcher Pflanzenforscher Olivier Voinnet ein Paper nach dem anderen wegen inkorrekter Abbildungen zurückziehen oder zumindest großflächig korrigieren. Zwischenstand sind momentan zwölf „Corrections“ und sieben „Retractions“.

Dennoch sticht die letzte Retraction heraus. Mitte November zog The Plant Journal den Artikel „An enhanced transient expression system in plants based on suppression of gene silencing by the p19 protein of tomato bushy stunt virus“ in Übereinkunft mit den Autoren Olivier Voinnet, Susana Rivas, Pere Mestre und David Baulcombe vollends zurück, nachdem sie ihn bereits im Juni erstmals korrigiert hatten. Das jedoch ist nicht wirklich der Punkt. Viel erstaunlicher ist die Tatsache, dass der Artikel bis dahin bereits über 900-mal zitiert worden war.

Was heißt das?

Der Artikel beschreibt erstmals eine neue und einfache Methode zur effektiven Steigerung der transienten Expression von eingebrachten Fremdgenen in Pflanzen. Basis dafür ist die Ko-Transfektion mit dem Gen für das Virusprotein P19, welches allgemein das posttranslationale Gene Silencing in Pflanzenzellen hemmt. Das P19-System steigert also die Expression des Fremdgens, indem es die natürliche Expressionsbremse der Pflanzenzelle blockiert.

Über 900 Zitierungen, wie gesagt. Die muss es doch großteils dafür gegeben haben, dass trotz der unzulässig manipulierten Abbildungen die Methode funktioniert. Und tatsächlich twitterte Sophien Kamoun, Laborleiter am Sainsbury Lab in Norwich/UK:

Das scheint also tatsächlich nicht die Frage. Allerdings ergibt sich daraus ein ganz anderes Problem, das Dmitri Nusinow vom Donald Danforth Plant Science Center in Creve Coer, Missouri/USA, via Twitter folgendermaßen ausdrückt:

 

Berechtigte Frage — denn schließlich gilt ein zurückgezogenes Paper per definitionem als augenblicklich aus dem Scientific Record gelöscht. Wen sollen die zahlreichen P19-Anwender also künftig zitieren? Die Erstbeschreibung der Methode gilt — aus guten Gründen! — als gelöscht. Woanders steht sie offensichtlich nicht in ausreichendem Detail beschrieben, da alle nachfolgenden Anwender — zu Recht — auf die Erstbeschreibung verwiesen.

Soll man sich jetzt also darauf einigen, stattdessen einen der ersten Anwender zu zitieren? Wohl kaum — denn zum einen stünde die Methode dort auch nicht vollständig drin, und zum anderen bekäme der betreffende Artikel auf diese Art sicher viel mehr Zitierungen als er tatsächlich verdient. Oder erklärt man die Methode einfach zum allgemeinen Wissen, das man nicht mehr zu zitieren braucht — und muss wegen der Details trotzdem weiter in das zurückgezogene Paper schielen, weil sie ja nirgendwo sonst aufgeschrieben stehen.

Eigentlich müsste jemand die Methode nochmals „neu“ mit allen Details veröffentlichen — vielleicht ja sogar noch mit einigen neuen. Das wäre dann zwar ordnungsgemäß zitierbar, aber wie oben schon gesagt: Ordnungsgemäß verdiente Zitierungen wären das nicht.

Hmm — hat vielleicht jemand einen anderen Vorschlag?

Ein Review zur falschen Zeit

3. November 2015 von Ralf Neumann

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern. Und gerade in diesen Zeiten der Zitatezählerei kann das sehr unangenehm sein. Wie genau das geschehen kann, sei mit folgendem fiktiven Beispiel illustriert, in welches durchaus einige reale Muster und Begebenheiten hineinkondensiert wurden:

———————

[…] Das Feld war „heiß“, seit Jahren schon. Wer wirklich Neues zur regulatorischen RNAs in einem der Edel-Bätter publizieren konnte, durfte mit einem Haufen Zitierungen rechnen. Mehrere Hundert in den zwei bis drei folgenden Jahren waren üblich.

Nachwuchsgruppenleiter Müller war kurz davor. Die Resultate waren neu, eindeutig und bestätigt, das Manuskript gestern an Nature geschickt. Und insgeheim sah Müller schon allwöchentlich die Zahlen durch die Datenbank rattern: „Times cited: 23“, … „Times cited: 78“, … „Times cited: 145“, … „Times cited: 238“, …

Doch es gab etwas, das ihm ein wenig Sorgen machte. Rockman, der große, alte Emeritus und RNA-Pionier aus Berkeley, hatte ihn vor vier Wochen angerufen. Er schreibe einen Review für Cell, erzählte er ihm. Ob er nicht etwas Neues habe, das er ihm jetzt schon mitteilen könne — oder gar als „Draft“ schicken. Schließlich dauere es ja noch eine ganze Weile, bis der Review käme.

Müller war platt ob solcher Ehre. Dass Rockman ihn überhaupt kannte. DER Rockman, der in den letzten Jahren regelmäßig als heißer Kandidat für Stockholm gehandelt wurde. Fast schwindelig ob solcher Wertschätzung hatte sich Müller umgehend an den Rechner gesetzt und Rockman „mit besten Grüßen“ sein Manuskript gemailt.

Nature stellte sich quer. Ungewöhnlich lange dauerte es, bis Müller überhaupt etwas hörte. Und dann sollte er sogar noch ein paar Experimente nachliefern. Reine Gutachter-Schikane, fluchte er.

Müller schrieb nur geringfügig um und schickte das Manuskript stattdessen zu Science. Doch hier das gleiche Spiel. Absichernde Experimente forderten die Gutachter. Als ob die Sache nicht klar wäre. Aber was sollte er machen? Zwei Monate dauerte die „überflüssige“ Arbeit. Und Müller ärgerte sich. Verschwörungstheorien nahmen Gestalt an: „Ob Rockman…? Einfluss hat er ja… Ach Quatsch, der ist doch emeritiert.“

Als Müller schließlich vier Monate später das Science-Heft mit seinem Artikel in den Händen hielt, war aller Ärger weg geblasen. Jetzt also Zitierungen zählen. Nach zwei Monaten war er bereits bei 18, das war viel für die kurze Zeit. Nach vier Monaten waren es 26, — hm, na ja. Nach sechs Monaten waren es … immer noch nur 32? Was war los?

Rockmans Review war erschienen. Unerwartet schnell. Nur zwei Monate nach Müllers Paper. Eigentlich kein Wunder, denn Rockman war immer noch im Editorial Board von Cell. Der Review hatte alle Schlüsseldaten von Müller. Und die wurden jetzt bei Rockman zitiert. Wer kannte schon Müller, trotz frischem Science-Paper?

Zwei Jahre später schwebte der Rockman-Review satten 600 Zitierungen entgegen, Müllers Originalarbeit dümpelte immer noch bei unter 60 […]

———————

Ohne den Review wäre Müllers Originalarbeit sicher um einiges häufiger gelesen und zitiert worden — und sein Name hätte deutlich mehr Aufmerksamkeit erhalten. Gewichtige „Pfunde“, mit denen unser Nachwuchsgruppenleiter beim nächsten Karriereschritt gut hätte wuchern können. Ganz abgesehen davon, dass er sie sowieso verdient gehabt hätte.

Irgendwelche Anmerkungen dazu?

 

Wie eine Autorin plötzlich unverschuldet als Plagiatorin dastand

22. Juli 2015 von Ralf Neumann

Gerade auf editage Insights eine skurrile Vermischung von blödem Fehler und schlimmem Missverständnis gelesen. Kurz zusammengefasst ging das Ganze so:

Journal X akzeptierte das Manuskript von Autorin A zur Veröffentlichung. Als die angepeilte Ausgabe erschien, musste A jedoch erstaunt feststellen, dass ihr Name unter einem völlig anderen Artikel stand. Umgehend kontaktierte sie den Journal-Editor und klärte ihn auf, dass sie nicht die Autorin dieses Artikels sei — und dass sie auch kein irgendwie ähnliches Manuskript eingereicht habe. Der Editor erklärte ihr, dass dem Journal hier ein dummer Fehler passiert sei und sie das natürlich in der nächsten Ausgabe korrigieren würden.

Soweit, so schlecht. Aber es kam noch deutlich krasser. Als A den „Autorendreher“ bemerkte, war die Ausgabe schon eine kleine Weile draußen. Und wie das heute so ist, wurde der Artikel mit ihr als falscher Autorin bereits in den gängigen sozialen (Forscher-)Medien zitiert und diskutiert. Dies bekam auch der „wahre“ Autor B des Artikels mit — und dachte natürlich, dass A ihm auf irgendeine Weise mit einem Plagiat zuvorgekommen sei.

Auch B kontaktierte daraufhin das Journal. Parallel aber klagte er A in den entsprechenden sozialen Medien schon mal sehr aggressiv des Plagiierens an. Was natürlich wiederum A nicht nur verwirrte, sondern verständlicherweise ziemlich aufbrachte. Schließlich stand plötzlich völlig unverschuldet und ungerechtfertigt ihr guter Ruf auf dem Spiel.

Also rief A wieder beim Journal-Editor an und verlangte aufgrund dieser Entwicklung schnelleres Handeln, als bis zur nächsten Ausgabe zu warten. Dies geschah dann auch: Der Editor informierte B umgehend über den Fehler und dessen daraus resultierenden Irrtum, B wusch A in den sozialen Medien von allen Verdächtigungen frei und entschuldigte sich dafür — und der Editor wiederum veröffentlichte gleich am nächsten Tag eine Erklärung samt Entschuldigung bei beiden, A und B, auf der Journal-Website. Letztere erschien dann auch noch als Erratum in der nächsten Printausgabe.

Eine blöde Geschichte, die sich aus einem seltenen dummen Fehler hochgeschaukelt hat. Allerdings kann man sich schon fragen, ob die Leute im Zeitalter sozialer Medien vielleicht immer mehr verlernen, dass man ja auch mal per Direktkontakt nachfragen kann. Denn hätte B umgehend direkt bei A angerufen, um die Sache zu klären, wäre die Angelegenheit wohl kaum derart hochgekocht.

Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Ralf Neumann

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Tausche Falsch gegen Neu

18. Juni 2015 von Ralf Neumann

Wenn in einer Publikation nach Jahren eine Abbildung als „falsch“ erkannt wird — ist es dann in Ordnung, diese im Rahmen einer „Correction“ durch analoge Daten aus der frischen Wiederholung des beschriebenen Experiments zu ersetzen?

Hintergrund dieser Frage ist eine aktuelle „Correction“, die als Folge der Kritik an rund vierzig Veröffentlichungen des Zürcher Pflanzenforscher Olivier Voinnet publiziert wurde. Auf der Diskussions-Plattform PubPeer wird Voinnet und seinen Ko-Autoren seit Monaten vorgeworfen, dass sie allesamt zweifelhafte Abbildungen enthielten (siehe auch unsere Berichte hier und hier). Zu sechs dieser Publikationen sind seither „Corrections“ erschienen (1, 2, 3, 4, 5, 6), ein Paper wurde komplett zurückgezogen.

Die aktuelle Correction des Papers Olivier Voinnet et al. in The Plant Journal (Vol. 33(5): 949-56) aus dem Jahr 2003 beginnt folgendermaßen:

In the article by Voinnet et al. (2003), it has recently been noted that the original Figure 3b in this paper was assembled incorrectly and included image duplications. As the original data are no longer available for assembly of a corrected figure, the experiment was repeated, in agreement with the editors, by co-author S. Rivas. The data from the repeated experiment, presented below together with the original figure legend, lead to the same interpretation and conclusions as in the original paper.

Die Originaldaten waren folglich zwölf Jahre später nicht mehr vorhanden, also wiederholte einer der Autoren das beschriebene Experiment. Die resultierenden 2015er-Ergebnisse korrigierten die Autoren schließlich mit der damaligen (!) Original-Bildlegende  in das 2003er-Paper hinein — und proklamierten am Ende, dass die frischen Daten ja genauso prima zu der alten Interpretation und Schlussfolgerung führen würden wie damals diejenigen aus dem „falsch zusammengestellten“ Bild.

Klingt komisch, oder? Ist das überhaupt in Ordnung?     Diesen Beitrag weiterlesen »

Bonanza-Journals

31. März 2015 von Ralf Neumann

Letzte Woche schrieb uns Burkhard Morgenstern, Bioinformatik-Professor an der Uni Göttingen, folgende E-Mail:

Liebe LJ-Redaktion,

Sie berichten ja regelmäßig über Missstände im Publikationswesen. Vor drei Jahren hatten Sie unter dem Titel “Junk Journals” und die “Peter-Panne” über den Fall des Fake-Editors „Peter Uhnemann“ berichtet. Inzwischen sitzt auch ein gewisser „Dr. Hoss Cartwright“ vom „Ponderosa Institute of Bovine Research“ im Editorial Board bzw. „Scientific Advisory Board“ mehrerer Journale. (Die Älteren unter uns erinnern sich sicher noch an den „Hoss“ aus der TV-Serie „Bonanza“.) Auf meiner Homepage www.gobics.de/burkhard ist ein wenig Information darüber zu finden.

 

Weiterhin versorgte uns Morgenstern noch mit den folgenden Screenshots einer Mail, die „Hoss“ als „Bewerbung“ auf die Editorial Boards mehrerer Journale schickte, sowie von einer Antwort, die er nur wenige Stunden später darauf erhielt:

 

 

 

Um dann zu schließen:

Möglicherweise ist das für Ihre Leser von Interesse. Die Geschichte ist ja nicht einfach ein Witz, sondern sagt einiges über unsere Publikationslandschaft und über den Publikationsdruck, unter dem Wissenschaftler stehen — auch wenn dieser Fall natürlich ein Extremfall ist.

Beste Grüße

Burkhard Morgenstern

D

Die oben abgebildete Antwort-Mail kam vom Journal of Veterinary Advances. Überdies ist „Hoss Cartwright“ inzwischen auch in den Editorial Boards des Journal of Agriculture & Life Sciences und des Journal of Primatology zu finden. Für letzteres lieferte er auf Rückfrage noch folgende ausführliche Biografie, die nun unverändert auf dessen Webseite steht:

 

 

Eine weitere Editorial-Board-Mitgliedschaft, die ihm das Journal of Advances in Biology ebenfalls umgehend anbot, lehnte „Hoss“ nach Lektüre der folgenden E-Mail jedoch aus naheliegenden Gründen ab:

 

 

Viel mehr als über den Publikationsdruck, unter dem Wissenschaftler stehen, sagt diese Episode wohl über die frappante Unseriösität aus, mit der gewisse Online-Spam-Journals frisch auf den Markt drängen. „Predatory Journals“ nennt sie der US-Bibliothekar Jeffrey Beall — und führt schon seit einiger Zeit eine Art „Schweine-Liste“, in der er „potential, possible, or probable predatory scholarly open-access publishers“ aufreiht. Reinschauen lohnt sich — weil sie leider stetig wächst.

Phagen zu Nano-Multitools

20. März 2015 von Ralf Neumann

Mal wieder was aus der Reihe „Unübliche Abbildungen in Originalveröffentlichungen“:

 

 

Das Bild dient als Abstract-Illustration im Paper „Bacteriophages as Scaffolds for Bipartite Display: Designing Swiss Army Knives on a Nanoscale“ von Peter Molek und Tomaž Bratkovič, Universität Ljubljana (Bioconjugate Chem. 26 (3):367-78). Die Autoren wollen damit verdeutlichen, dass Phagen ihrer Meinung nach ein großes Potential für Anwendungen in der Nanobiotechnologie haben, da man sie gezielt mit multiplen funktionellen Modulen bestücken könnte — analog einem Schweizer Offiziersmesser also.

Okay, die Botschaft ist angekommen…

x

a_lj_wp_4_3


a_lj_wp_5_3


a_lj_wp_6_3


a_lj_wp_7_3


a_lj_wp_8_3