Vertrauenssache Peer Review

29. September 2017 von Laborjournal

Mitarbeiter der Annals of Internal Medicine stellten vorletzte Woche auf dem International Congress for Peer Review and Scientific Publication die Ergebnisse einer ziemlich interessanten Befragung vor. Deren Thema: Missbrauch von eingereichten Manuskripten durch Peer Reviewer (Originaltitel: Misuse of Received Manuscripts by Peer Reviewers: A Cross-sectional Survey).

Als Resultat halten sie zunächst einmal fest:

A total of 1431 of 3275 invited reviewers (44%) returned the survey […] Nearly half indicated having reviewed and published more than 50 manuscripts and having mentored others in peer review. Reasons reported for agreeing to review included keeping up to date in a research field (957/1417 [68%]), a sense of obligation to peer review (1316/1417 [93%]), …

So weit, so gut. Mit dem nächsten Grund, warum die Befragten die Manuskripte zur Begutachtung annehmen, wird es dann allerdings schon etwas kniffliger:

… and to know what competitors are doing (190/1417 [13%]).

Aha — ganze 13 Prozent der Befragten gaben also zu, Manuskripte vor allem deswegen zur Begutachtung anzunehmen, weil es ein guter Weg sei, sich darüber zu informieren, was die Konkurrenz so treibt. Da man derlei aber selbst in anonymen Umfragen aus selbstwertdienlichen Gründen nicht wirklich gerne preisgibt, dürften die 13 Prozent die tatsächliche Realität sogar noch schmeichelhaft abbilden.

Doch es kommt noch besser:

One hundred sixty-nine of 1417 (12%) had agreed to review manuscripts from authors with whom they had conflicts of interest; of these, 61 (36%) did so without informing the journal’s editor. One hundred fifty-three of 1413 (11%) showed manuscripts to colleagues without seeking permission.

Diese Art „Schindluder-Verhalten“ gibt man in diesem Zusammenhang sicher noch weniger gerne zu. Mit der Folge, dass die „Dunkelziffern“ für diese Art Missbrauch von anvertrauten Manuskripten nochmals höher ausfallen dürften.

Gleiches gilt natürlich auch für das letzte vorgestellte Ergebnis der Befragung:

Twenty-six of 1414 (2%; 95% CI, 1%-3%) indicated having used the information in a reviewed manuscript for personal or academic benefit prior to the paper’s publication. Such reported use included using what was learned to alter one’s own research plans, speeding up journal submission of one’s own work related to the subject of the manuscript being reviewed, and copying some part of the reviewed manuscript for one’s own work.

Okay, das sind zwar nur zwei Prozent — aber dennoch heißt das zusammen mit den anderen, bereits genannten Ergebnissen schlichtweg, dass das Vertrauensverhältnis zwischen Autoren und Gutachtern, auf dem das gesamte Peer-Review-System fußt, offenbar deutlich öfter gebrochen wird, als einem lieb sein kann.

Entsprechend schreiben die Autoren dann auch in ihrer Conclusion:

Trust that reviewers will treat manuscripts received for peer review as confidential communications is an essential tenet of peer review. Although self reported and of uncertain generalizability, these results suggest that breaches of this trust do occur. Larger studies involving multiple journals should be considered to assess the generalizability of these results and to inform targeted educational initiatives aimed at promoting the highest ethical standards among peer reviewers.

Kommentare, Meinungen oder gar eigene Erlebnisse zu potenziellem Peer-Review-Missbrauch nehmen wir gerne entgegen. Entweder direkt hier über das unten folgende Kommentarfenster, oder auch diskreter via Mail an die Laborjournal-Redaktion.

Die Lance Armstrongs der Tour de Science

3. Februar 2016 von Laborjournal

Und wieder ein Zitat aus einer E-Mail an unsere Redaktion. Ein Bio-Emeritus im aktiven Unruhestand prangert darin mit deutlichen Worten einige „Unsitten“ im aktuellen Forschungsbetrieb an:

Da die Zahl der für das öffentliche und private Leben relevanten Skandale meine Fähigkeit zu kotzen weit überfordert […], bemühe ich mich schon seit einiger Zeit um eine gewisse pragmatische Rangordnung. Im Hinblick auf Wissenschaftsskandale heißt das für mich, dass ich nach den Lance Armstrongs der internationalen Tour de Science und vor allem nach den Strukturen frage, die diesen Figuren zur Verfügung stehen.

Da komme ich dann auf Fragen zum Wahnsinn der Impact Faktoren und CNS-Publikationen als Kriterium wissenschaftlicher Befähigung. CNS hat nichts mit Gehirn zu tun, sondern steht für Cell, Nature, Science — und damit gleichsam für den Glauben an die Weisheit der Editoren von Journalen, deren Hauptziel darin besteht, den Impact Faktor ihres Journals zu steigern oder wenigstens zu halten.

Ich beschäftige mich weiter mit dem Problem, was alles „behind the scenes“ passiert und offenbar möglich ist. Ich frage mich, warum ich immer wieder auf Arbeiten stoße, die in High Impact-Journalen veröffentlicht wurden und die völlig perfekt erscheinen — abgesehen davon, dass sich die Hauptergebnisse nicht reproduzieren lassen.

Ich frage mich, warum viele Wissenschaftler das Gefühl haben, dass man in einem Manuskript die — oftmals ja leider berechtigten — eigenen Sorgen wegen der Grenzen der verwendeten Methoden, beispielsweise aufgrund unerwünschter, schwer zu kontrollierender Artefakte, besser gar nicht erst andiskutieren sollte.

Ich frage mich, warum es üblich scheint, Ergebnisse besser wegzulassen, die nicht ins Schema der perfekten Reproduzierbarkeit passen und die möglicherweise die Beweisführung für oder gegen eine bestimmte Hypothese untergraben könnten.

Ich frage mich, wie es dazu kommt, dass heute umgehend immer nur nach einem molekularen Mechanismus gefragt wird, selbst wenn die phänomenologischen Grundlagen des untersuchten biologischen  Systems noch weitgehend ungeklärt sind.

Ich frage mich, wie das Begutachtungssystem verändert werden sollte — und vor allen Dingen, wie es öffentlich gemacht werden kann. Ich für meinen Teil habe seit etwa einem Jahr begonnen, alle meine Zeitschriftengutachten mit meinem Namen zu zeichnen.

Ich frage mich, wie es kommt, dass Gutachter ihren Auftrag dahingehend missbrauchen, dass sie die Autoren eingereichter Arbeiten zwingen, eine To-do-Liste abzuarbeiten, nach der die geforderten zusätzlichen Experimente gar nichts mehr mit notwendigen Kontrollen zu tun haben, sondern lediglich willkürliche Erweiterungen nach dem Geschmack des Gutachters darstellen.

Fragen, die viele zwar schon lange kennen — die deswegen aber nicht aufhören zu schmerzen. Antworten und Meinungen dazu, wie immer, direkt unten als Kommentar zu diesem Blog-Beitrag, oder auch per E-Mail an redaktion@laborjournal.de.

(Foto: Fotolia/erkamit)

x

Ein Review zur falschen Zeit

3. November 2015 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern. Und gerade in diesen Zeiten der Zitatezählerei kann das sehr unangenehm sein. Wie genau das geschehen kann, sei mit folgendem fiktiven Beispiel illustriert, in welches durchaus einige reale Muster und Begebenheiten hineinkondensiert wurden:

———————

[…] Das Feld war „heiß“, seit Jahren schon. Wer wirklich Neues zur regulatorischen RNAs in einem der Edel-Bätter publizieren konnte, durfte mit einem Haufen Zitierungen rechnen. Mehrere Hundert in den zwei bis drei folgenden Jahren waren üblich.

Nachwuchsgruppenleiter Müller war kurz davor. Die Resultate waren neu, eindeutig und bestätigt, das Manuskript gestern an Nature geschickt. Und insgeheim sah Müller schon allwöchentlich die Zahlen durch die Datenbank rattern: „Times cited: 23“, … „Times cited: 78“, … „Times cited: 145“, … „Times cited: 238“, …

Doch es gab etwas, das ihm ein wenig Sorgen machte. Rockman, der große, alte Emeritus und RNA-Pionier aus Berkeley, hatte ihn vor vier Wochen angerufen. Er schreibe einen Review für Cell, erzählte er ihm. Ob er nicht etwas Neues habe, das er ihm jetzt schon mitteilen könne — oder gar als „Draft“ schicken. Schließlich dauere es ja noch eine ganze Weile, bis der Review käme.

Müller war platt ob solcher Ehre. Dass Rockman ihn überhaupt kannte. DER Rockman, der in den letzten Jahren regelmäßig als heißer Kandidat für Stockholm gehandelt wurde. Fast schwindelig ob solcher Wertschätzung hatte sich Müller umgehend an den Rechner gesetzt und Rockman „mit besten Grüßen“ sein Manuskript gemailt.

Nature stellte sich quer. Ungewöhnlich lange dauerte es, bis Müller überhaupt etwas hörte. Und dann sollte er sogar noch ein paar Experimente nachliefern. Reine Gutachter-Schikane, fluchte er.

Müller schrieb nur geringfügig um und schickte das Manuskript stattdessen zu Science. Doch hier das gleiche Spiel. Absichernde Experimente forderten die Gutachter. Als ob die Sache nicht klar wäre. Aber was sollte er machen? Zwei Monate dauerte die „überflüssige“ Arbeit. Und Müller ärgerte sich. Verschwörungstheorien nahmen Gestalt an: „Ob Rockman…? Einfluss hat er ja… Ach Quatsch, der ist doch emeritiert.“

Als Müller schließlich vier Monate später das Science-Heft mit seinem Artikel in den Händen hielt, war aller Ärger weg geblasen. Jetzt also Zitierungen zählen. Nach zwei Monaten war er bereits bei 18, das war viel für die kurze Zeit. Nach vier Monaten waren es 26, — hm, na ja. Nach sechs Monaten waren es … immer noch nur 32? Was war los?

Rockmans Review war erschienen. Unerwartet schnell. Nur zwei Monate nach Müllers Paper. Eigentlich kein Wunder, denn Rockman war immer noch im Editorial Board von Cell. Der Review hatte alle Schlüsseldaten von Müller. Und die wurden jetzt bei Rockman zitiert. Wer kannte schon Müller, trotz frischem Science-Paper?

Zwei Jahre später schwebte der Rockman-Review satten 600 Zitierungen entgegen, Müllers Originalarbeit dümpelte immer noch bei unter 60 […]

———————

Ohne den Review wäre Müllers Originalarbeit sicher um einiges häufiger gelesen und zitiert worden — und sein Name hätte deutlich mehr Aufmerksamkeit erhalten. Gewichtige „Pfunde“, mit denen unser Nachwuchsgruppenleiter beim nächsten Karriereschritt gut hätte wuchern können. Ganz abgesehen davon, dass er sie sowieso verdient gehabt hätte.

Irgendwelche Anmerkungen dazu?

 

Best of Science Cartoons (33)

17. Februar 2015 von Laborjournal

… Aus der Reihe „Die Tücken des Wissenschaftssprechs“ (daher lässt man ihn auch besser in Englisch stehen):

Von Hilda Bastian (www.hildabastian.net) via Sci-Med Cartoonery

 

Reviewer No. 3

2. Oktober 2014 von Laborjournal

Während einer Recherche zum Thema Peer Review folgende nette Geschichte gehört:

Professor X erinnerte sich, wie er seinerzeit als Doktorand sein allererstes Manuskript abgeschickt hatte und nun aufgeregt auf den Bescheid des Journals wartete. Er kam schließlich mit drei Reviews. Zwei waren positiv, wenn auch mit einigen Änderungswünschen — Review No. 3 dagegen war ein Schlag in die Magengrube. Dass der Gutachter das Paper inhaltlich in tausend Fetzen zerriss, war das eine. Dazu kam das Wie. Reviewer No. 3 präsentierte seine Kritik in einem derart herablassend-aggressiven Ton, dass Jung-X zunächst einmal förmlich die Luft wegblieb. Es wimmelte darin geradezu vor Vokabeln wie „naiv“, „trivial“, „unangemessen“, „unvollständig“, „verirrt“, „Fehlschluss“, „schlampig“, „lächerlich“,…

Als er sich schließlich halbwegs von dem Schock erholt hatte, stieg Zorn in ihm hoch — und er begann, sich „das Arschloch“ vorzustellen. „Sicher so ein frustrierter alter Sack, kurz vor der Pensionierung“, dachte X. „Ein ergrautes, faltiges Alphatier, das Spaß daran hat, den Jungen nochmal so richtig zu zeigen, wo der Hammer hängt. Der ansonsten aber gerade darüber verbittert, dass seine Zeit nun endgültig bald vorbei ist. Da kommt ihm ein Manuskript von so einem kleinen Würstchen wie mir natürlich gerade recht, um all den Frust und die Verbitterung unerkannt, aber wirksam rauszulassen.“

X fand nie heraus, wer tatsächlich dieser „Reviewer No. 3“ war. Allerdings wurde er später selbst Editor und Chief Editor bei mehreren Zeitschriften. Und da gingen natürlich jede Menge weiterer solcher „Reviewer No. 3“-Gutachten über seinen Tisch. Nicht dass er gezielt danach geschaut hatte, aber irgendwann fiel ihm dabei auf, dass die meisten dieser „Reviewer No. 3“-Gutachten eben nicht von bärbeißigen alten Platzhirschen verfasst waren. Ganz im Gegenteil, vielmehr stammten sie auffallend oft aus den Federn junger Senior-Postdocs oder Nachwuchsgruppenleiter.

Gefragt, ob X dafür irgendeine Erklärung habe, antwortete er: „Ich glaube, es kommt von der Unerfahrenheit und Unsicherheit. Die Leute kriegen teilweise ihr erstes Manuskript auf den Tisch — und haben vorher nirgendwo lernen können, wie man einen Review eigentlich macht. Da wollen sie natürlich keinen Fehler machen, um Himmels willen nichts Wichtiges übersehen oder vergessen. Ebenso möchten sie natürlich nicht als „zu sanft“ oder unkritisch erscheinen. Und in dem Zwang, all dies vor allem sich selbst beweisen zu müssen, verlieren sie irgendwann das rechte Maß — und schießen am Ende über das Ziel hinaus…“

Also eher junge aufgeregte Kläffer als bärbeißige graue Platzhirsche.

Einstein und der Peer Review

24. Juni 2014 von Laborjournal

Auch Einstein hielt anfangs nicht viel von Peer Review. Aus seiner „deutschen Zeit“ kannte er dieses System, etwa von seinen fünf berühmten 1905er-Artikeln in den Annalen der Physik, überhaupt nicht. Erst nachdem er in die USA ausgewandert war, sah er sich plötzlich damit konfrontiert, dass seine Manuskripte bisweilen zunächst irgendwelchen Kollegen zur Begutachtung vorgelegt wurden.

Das Online-Organ The Conversation hat dazu gerade eine nette Anekdote wieder ausgegraben, die Physics Today bereits 2005 veröffentlicht hatte. Demnach schickte Einstein zusammen mit seinem Kollegen Nathan Rosen 1936 ein Manuskript über Gravitationswellen an Physical Review. Dessen damaliger Chief Editor John Tate fand das Manuskript aber offenbar derart kontrovers, spekulativ, ja geradezu „phantastisch“, dass er es Einsteins Princeton-Nachbarn Howard Percey Robertson zum Begutachten schickte. Immerhin stellten Einstein und Rosen darin gar die Wellennatur der Gravitation überhaupt in Frage.

Robertson schrieb einen zehnseitigen Kommentar mit jeder Menge gravierender „Entschärfungssvorschlägen“, den Tate umgehend an Einstein weiterleitete. Dieser schrieb Tate schnöde zurück:

We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorised you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.

Einstein publizierte das Manuskript letztlich in dem deutlich „bescheideneren“ Journal of the Franklin Institute. Dies allerdings erst nach einiger Zeit — und mit einem Großteil der Änderungen, die Robertson vorgeschlagen hatte. Es sollte sich herausstellen, dass die Beiden in der Zwischenzeit ausführlich in Princeton über die Befunde des Manuskripts diskutiert hatten — wobei Einstein am Ende offenbar doch einräumen musste, dass dessen schlussfolgernde Behauptungen etwas zu hoch gegriffen waren.

Womöglich bewahrte dieser indirekte Peer Review Einstein also vor einer gehörigen öffentlichen Blamage. In einem reinen Post-Publication-Peer-Review-System, wie es viele heute fordern, hätte er sich sehr wahrscheinlich mit einem voreiligen Schnellschuss ziemlich in die Nesseln gesetzt.

Kooperationen klappen — oder nicht!

23. April 2014 von Laborjournal

Folgende Anekdote gestern am Telefon gehört [Namen geändert!]:

Forscher Müller hat eine Kooperation mit Meier. Eines Tages erhält Müller überraschend ein Manuskript von Meier. Er finde, dass die gemeinsamen Daten inzwischen für eine „nette, kleine Publikation“ reichen, schreibt Meier dazu. Müller findet das nicht. Er schreibt zurück, dass er lieber noch die ein oder andere Testreihe durchziehen wolle, um der „Story“ mehr Substanz zu verleihen. Meier entgegnet, dass dies seiner Meinung nach unnötig sei — die Geschichte wäre auch so schon klar. Und überhaupt habe dessen Gruppe ja nur etwa zwanzig Prozent zum aktuellen Manuskript beigetragen. Wenn er die jetzt wieder rausnehme und ein paar kleine Experimente selber mache, könne er das Paper auch gut ohne ihn veröffentlichen. „Tu, was Du nicht lassen kannst“, schreibt Müller sinngemäß zurück — und schmeißt das Manuskript in den Müll.

Einige Wochen später erhält Müller Post vom Journal of Any Results. Darin ein Manuskript samt einem Brief mit der Bitte, es für eine mögliche Publikation zu begutachten. Korrespondierender Autor des Manuskripts:… Meier.

Wie er jetzt mit dem Manuskript verfahren werde, wisse er noch nicht, erzählte uns Müller. Wahrscheinlich werde er es aber zurückschicken — mit dem Hinweis, dass er es wegen Befangenheit nicht begutachten kann.

Und die Moral von der Geschicht‘: Kooperationen klappen — oder nicht!

(Illustration: graphicgeoff / Fotolia.com)

 

Autoren am Rande des Nervenzusammenbruchs (23)

14. Februar 2014 von Laborjournal

Gerade am Telefon folgende interessante Geschichte gehört:

Forscherin hatte mit ihren Leuten eine Studie abgeschlossen, deren Ergebnisse sie für „bahnbrechend“ hielt — sowohl, was gewisse zelluläre Steuermechanismen anging, wie auch in ihrer klinischen Bedeutung. Auch das Manuskript hielt sie für überaus gelungen (was ja keineswegs automatisch der Fall ist, nur weil man gute Daten hat). Doch die Enttäuschung kam prompt: Der Editor des Edelblatts, welches sie für die Veröffentlichung ausgewählt hatte, schickte das Manuskript schnöde wieder zurück. Abgelehnt, ohne überhaupt zum Review geschickt worden zu sein!

Der Editor hatte das Manuskript offenbar nur kurz überflogen — und entschieden, dass es nicht mal einen Peer Review wert war. Warum? — fragte sich unsere Forscherin. Waren die Daten doch nicht so gut, wie sie gedacht hatte? Enthielten die Schlussfolgerungen logische Fehler? Hatte sie mit der Bedeutung der Resultate für das gesamte Feld übertrieben? Oder war es vielleicht „nur“ schlecht geschrieben? Es musste ja wohl etwas Offensichtliches sein, dass der Editor es umgehend wieder zurückschickte. Aber diesen „offensichtlichen“ Grund hätte der Editor doch wenigstens mitteilen können. Das wäre doch ein wichtiges und konstruktives Feedback gewesen.

Immer wieder drehten diese und ähnliche Gedanken ihre Kreise im Kopf der Forscherin — bis sie den Entschluss fasste, den Editor in dieser Angelegenheit nochmals anzuschreiben. Höflich erklärte sie in dem Schreiben noch einmal kurz und klar, warum sie ihre Ergebnisse für so wichtig hielt — und warum das Paper daher ihrer Meinung nach genau in dieses Journal passen würde. Nur um schließlich darum zu bitten, ihr kurz mitzuteilen, was genau die Editoren dazu bewogen hatte, das Manuskript nicht einmal begutachten zu lassen. Schließlich könne ihr eine entsprechende „handfeste“ Rückmeldung enorm helfen, das Manuskript zu verbessern — wenn auch wohl für ein anderes Journal.

Die Antwort kam eine Woche später — und ließ unsere Forscherin endgültig den Glauben an das Peer Review-System verlieren: „We cannot give you any feedback as the paper had not been sent out for review.“

Autoren am Rande des Nervenzusammenbruchs (22)

17. Januar 2014 von Laborjournal

Kurz nach Neujahr veröffentlichte Dorothy Bishop, Professorin für Entwicklungsneuropsychologie an der Universität Oxford, in ihrem immer lesenswerten BishopBlog einen ganz besonderen „Neujahrsbrief“ an alle Wissenschaftsverlage („A New Year’s letter to academic publishers“). Sie beginnt mit der Klarstellung:

My relationships with journals are rather like a bad marriage: a mixture of dependency and hatred.

Um bald darauf festzustellen:

In the past, the top journals had no incentive to be accommodating to authors. There were too many of us chasing scarce page space. But there are now some new boys on the open access block, and some of them have recognised that if they want to attract people to publish with them, they should listen to what authors want. And if they want academics to continue to referee papers for no reward, then they had better treat them well too.

Sie fordert also ein, dass die Verlage netter werden sollen zu den Autoren (und übrigens auch zu den Reviewern). Diesen Beitrag weiterlesen »

Wie Kooperationen entzweien können

19. November 2013 von Laborjournal

Gestern hatte ein nicht ganz unbekannter Forscher in der Redaktion angerufen — nennen wir ihn „Schmidt“. Eigentlich hatte Schmidt nur ein relativ kleines Anliegen, aber wie solche Gespräche manchmal laufen — man geriet ein wenig ins Plaudern.

Im Rahmen dieser Plauderei erzählte uns Forscher Schmidt schließlich von einem Manuskript, das er fertig im Rechner habe — aber nicht abschicken könne, weil Kooperationspartner „Schneider“ plötzlich quergetrieben habe. Dieser sei mit der Darstellung, vor allem aber mit Schmidts Interpretation der Daten samt Schlussfolgerung nicht einverstanden. Schneiders Interpretation und Schlussfolgerung konnte sich hingegen wiederum Schmidt nicht anschließen. So standen sich Schmidt und Schneider unversöhnlich gegenüber und es kam zum Streit. Diesen Beitrag weiterlesen »

Information 4


Information 5