Die netten Gutachter von nebenan

22. Mai 2019 von Laborjournal

Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…

Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.

Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.

Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.)  Diesen Beitrag weiterlesen »

Die Geister des Peer Review

8. Mai 2019 von Laborjournal

Hand auf’s Herz, liebe Profs und Gruppenleiter: Wer von euch hat schon mal einen Postdoc oder anderen Mitarbeiter der eigenen AG ein Manuskript begutachten lassen, das ihm zum Peer Review geschickt wurde — und das Gutachten am Ende gänzlich unter eigenem Namen an den Journal-Editor zurückgeschickt? Rein statistisch müsste sich jetzt eigentlich jeder Zweite ertappt fühlen — jedenfalls, wenn man das Ergebnis einer aktuellen Befragung von Nachwuchsforschern durch US-Forscher mal herumdreht: Knapp die Hälfte von fünfhundert befragten Early Career Researchers gab darin an, bereits als Ghostwriter im Namen des Chefs einen Peer Review verfasst zu haben — ohne dass den Journal-Editoren deren Autorenschaft offenbart wurde (. Die große Mehrheit von ihnen kam aus den Life Sciences.

In der gleichen Umfrage verurteilten achtzig Prozent der Befragten diese Praxis der verschwie­genen Review-(Ko)-Autoren. Warum aber kommt es trotzdem zu derart vielen GhostwriterReviews?

Die Zielrichtung dieser Frage muss man vorab genauer erklären. Diesen Beitrag weiterlesen »

Für ein paar Referenzen mehr…

25. April 2019 von Laborjournal

Es war einmal ein Editor. Dies war er noch nicht lange, denn er war noch ein sehr junger Forscher. Umso stolzer machte ihn seine erste Berufung in ein Editorial Board. Schließlich durfte er das durchaus als unmittelbare Wertschätzung seiner Forschungsarbeiten deuten. Und als Aufnahme in einen gewissen, wie auch immer gearteten „Club“.

Jetzt stand sein erstes Treffen mit dem gesamten Board an, bei dem wie in jedem Jahr die Editorial Policy kritisch geprüft sowie die Schwerpunkte neu fokussiert wurden. Unser junger Mann war beeindruckt von der Routine, mit der die erfahrenen Forscher und langjährigen Editoren die Dinge auf den Punkt brachten. Alles war so, wie er es sich vorgestellt hatte.

Vor allem publikationsethisch schien unserem jungen Editor alles einwandfrei. Das war ihm besonders wichtig in diesen Tagen des „Publish or perish“ und der immer aggressiveren Konkurrenz zwischen den Journalen. „Nein, alles auf einem guten Weg hier“, dachte er. „Und ich bin dabei.“

Blieb nur noch das Abschluss-Bankett. Bei diesem nahm ihn plötzlich der Chief Editor persönlich beiseite. Diesen Beitrag weiterlesen »

Verstehen wir uns noch?

9. Januar 2018 von Laborjournal

Denn sie wissen nicht, was sie tun. — Viele dürfte diese Zeile unmittelbar an den gleichnamigen Filmklassiker mit James Dean erinnern. Heute könnte sie jedoch auch für einen großen Teil biomedizinischer Forschung gelten.

Wobei man hier ein klein wenig wie folgt präzisieren müsste: „Denn sie wissen nicht mehr, was der andere tut.“ Bittere Konsequenz dessen, dass in vielen Gebieten die einzelnen Veröffentlichungen immer komplexer werden.

Ein besonders eindrückliches Beispiel dafür schilderte kürzlich Dorothy Bishop von der Oxford University in ihrem „BishopBlog“. In dem entsprechenden Beitrag klagt sie, dass sie die Publika­tionen ihrer Kollegen immer weniger versteht, sobald sie auch nur ein klein wenig über ihren eigenen Tellerrand hinausschaut. Sie schreibt:

Für eine Art Meta-Analyse über die Anwendung bestimmter statistischer Methoden studierte ich zuletzt eine Reihe von neurowissenschaftlichen Artikeln“, schreibt sie. „Einige davon musste ich stundenlang lesen und wieder lesen, bis ich endlich verstan­den hatte, welches überhaupt die statistisch relevantesten Ergebnisse waren.

Und dann schwenkt sie auf den eigentlich beunruhigenden Punkt um:

Mir scheint daher, dass in manchen Feldern die Zahl der Kollegen, die derart komplexe Paper überhaupt noch umfassend und kompetent begutachten können, extrem zusammenschnurrt.

Selbst gute und engagierte Editoren würden daher irgendwann kaum noch Reviewer mit voll­um­fäng­lich ausreichender Expertise auftreiben können. Und umgekehrt würde es den meisten immer stärker widerstreben, solch hochkomplexe Studien zu prüfen, wenn sie derart viel Substanz jenseits der eigenen Expertise enthalten.

Und Frau Bishop ist mit solchen Befürchtungen keineswegs allein. Bereits 2013 fragte Diethard Tautz, Direktor am Plöner Max-Planck-Institut für Evolutionsbiologie, in einem Essay für Labor­journal:

Lesen wir noch, was andere schreiben? Ja, verstehen wir uns überhaupt noch?

Und er erzählte folgendes Beispiel:

Ich musste kürzlich so ein „Big Data“-Paper für ein angesehenes Journal begutachten. Es hatte 60 Autoren und präsentierte ein Feuerwerk an intelligenten Auswertungen, Statistiken und Modellierungen. Etwas seltsam war der modulare Aufbau. Die einzelnen Teile des Papers waren offensichtlich von unterschiedlichen Autoren geschrieben worden, jeder ein Spezialist für sein Feld mit einem eigenen Sprachstil und wenig Bezug zu den anderen Modulen. An ein paar ‚Kleinigkeiten‘ wie fehlenden Übergängen und unvollständigen Sätzen war zu erkennen, dass die meisten der Autoren offen­sicht­lich ihr eigenes Paper nicht vollständig gelesen haben konnten — denn zumindest einem von den 60 hätte so etwas doch auffallen müssen. Haben auch Autoren gar keine Zeit mehr zum Lesen oder ist das der Beginn der Sprachverwirrung? Auch als Gutachter konnte ich nur einen Teil kompetent begutachten, den Rest nur auf Plausibilität prüfen. Und ich vermute, dass es den anderen Gutachtern ebenso ging.

Und er schloss:

Natürlich wurde es publiziert — und ich darf annehmen, dass es so gut wie keinen Leser mehr gibt, der wirklich alles davon versteht. Wenn das so weiter geht, dann sind wir bald nahe an dem Punkt,… dass keiner des andern Sprache verstehe!

Wobei das letztere Zitat jetzt nicht aus der Filmwelt kommt.

Ralf Neumann

 

Wozu Journals?

10. November 2016 von Laborjournal

 

dustbook3

 

Es ist und bleibt interessant, immer wieder mal in unseren alten Ausgaben zu blättern. Nicht nur, aber auch, um zu sehen, wie sich gewisse Dinge in der Zwischenzeit entwickelt haben.

Kürzlich etwa blieb ich an folgendem Text unserer „Inkubiert“-Kolumne aus Heft 4/2000 (!) hängen:

Wozu braucht man Fach-Journale? Vor allem doch wohl als Vehikel von Information. Allerdings ist da das Internet mittlerweile schneller, billiger, einfacher und vielseitiger. So gesehen erfüllen die Fachblätter also ihre primäre Aufgabe inzwischen nicht mehr optimal. Allenfalls als glorifizierte Listen von Leseempfehlungen taugen sie noch. Womit wir direkt bei der nächsten Frage wären: Braucht man noch ein System des Vorab-Peer Review? Zumal doch gerade auf dem gut gedüngten Boden des anonymen Peer Review-Systems die menschlichen Schwächen der Gutachter oftmals allzu üppig wuchern. Warum also nicht gleich einfach alles unmittelbar und direkt im Internet publizieren — allenfalls durch eine grobe Vorab-Kontrolle von blankem Unsinn freigehalten? Beurteilt nicht sowieso jeder Forscher selbst die Artikel, die ihn interessieren — ob von Gutachtern empfohlen oder nicht? Was ein echter Forscher ist, sollte dies jedenfalls alleine können. Herrliche Diskussionen direkt im Anhang an die einzelnen Artikel könnten sich entwickeln. Nachlesbar und gezeichnet. Ein Artikel wäre nicht nur Information, sondern auch Anstoß zur Debatte. Jedenfalls die guten unter ihnen. Und daran wiederum würde man sie erkennen. Ja, ja — jetzt schreien wieder einige, dass unter solchen Bedingungen doch am Ende jeder Schrott publiziert würde. Hmm? Ohne Journals publiziert vielleicht tatsächlich nur, wer wirklich etwas Neues hat. Und schielt nicht vorrangig danach, durch Publikation in prestigeträchtigen Journals Impact-Punkte zu sammeln.

Scheint es nur mir so, dass wir heute, 16 Jahre später, in dieser Diskussion immer noch weitgehend auf demselben Stand sind?

x

Wird „Summa cum Laude“ nach Quote verteilt?

23. Juni 2016 von Laborjournal

Kürzlich wurde unserer Redaktion der Brief eines Biologie-Dekans an seine „lieben Kolleginnen und Kollegen“ zugeschickt. Der entscheidende Ausschnitt daraus:

x

scl

x

Klar, „Summa“-Noten häufen sich bisweilen in derart hoher Zahl, dass sie sicher tatsächlich nicht nur absolute Spitzen-Promotionen schmücken. Aber als Gegenmaßnahme Quoten festzulegen, ab wann „Summa“ mutmaßlich allzu großzügig verteilt wird? Letztlich zählt doch die Qualität jeder einzelnen Arbeit, unabhängig von den anderen. Und ist es so unwahrscheinlich, dass man dazwischen immer wieder mal „starke Jahrgänge“ mit Ausreißerquoten hat?

Grund für die Zusendung dieses Briefs (samt anderem „Material“) war denn auch, dass ein Promovend womöglich zu Unrecht auf „Magna“ zurückgestuft wurde. Und das lief so: Die beiden Gutachter gaben beide einheitlich ein „Summa“. Aus welchem offiziellen Grund auch immer wurde dann aber noch eine externe dritte Gutachterin nachgeschaltet. Diese wurde allerdings explizit und eindringlich instruiert, dass „die Bestnote lediglich in extremen Ausnahmesituationen zu erteilen“ sei. Und derart verunsichert gab sie dem Kandidaten am Ende tatsächlich ein „Magna“. Die Höchstnote für die Promotion war damit futsch, da für diesen Fall sämtliche Gutachter mit „Summa“ werten müssen.

Wir maßen uns jetzt nicht an zu urteilen, ob die betreffende Promotion eigentlich die Höchstnote verdient gehabt hätte. Aber irgendwie bleibt doch der Geruch, dass hier eine etwas willkürliche Quoten-Verschärfung letztlich genau das falsche Opfer gekostet hat. Und dass dies womöglich kein Einzelfall ist.

 

 

Die netten Gutachter…

25. April 2016 von Laborjournal

x

 

(Zeichnung entnommen aus „Forscher Ernst“ von Rafael Florés)

x

Die Lance Armstrongs der Tour de Science

3. Februar 2016 von Laborjournal

Und wieder ein Zitat aus einer E-Mail an unsere Redaktion. Ein Bio-Emeritus im aktiven Unruhestand prangert darin mit deutlichen Worten einige „Unsitten“ im aktuellen Forschungsbetrieb an:

Da die Zahl der für das öffentliche und private Leben relevanten Skandale meine Fähigkeit zu kotzen weit überfordert […], bemühe ich mich schon seit einiger Zeit um eine gewisse pragmatische Rangordnung. Im Hinblick auf Wissenschaftsskandale heißt das für mich, dass ich nach den Lance Armstrongs der internationalen Tour de Science und vor allem nach den Strukturen frage, die diesen Figuren zur Verfügung stehen.

Da komme ich dann auf Fragen zum Wahnsinn der Impact Faktoren und CNS-Publikationen als Kriterium wissenschaftlicher Befähigung. CNS hat nichts mit Gehirn zu tun, sondern steht für Cell, Nature, Science — und damit gleichsam für den Glauben an die Weisheit der Editoren von Journalen, deren Hauptziel darin besteht, den Impact Faktor ihres Journals zu steigern oder wenigstens zu halten.

Ich beschäftige mich weiter mit dem Problem, was alles „behind the scenes“ passiert und offenbar möglich ist. Ich frage mich, warum ich immer wieder auf Arbeiten stoße, die in High Impact-Journalen veröffentlicht wurden und die völlig perfekt erscheinen — abgesehen davon, dass sich die Hauptergebnisse nicht reproduzieren lassen.

Ich frage mich, warum viele Wissenschaftler das Gefühl haben, dass man in einem Manuskript die — oftmals ja leider berechtigten — eigenen Sorgen wegen der Grenzen der verwendeten Methoden, beispielsweise aufgrund unerwünschter, schwer zu kontrollierender Artefakte, besser gar nicht erst andiskutieren sollte.

Ich frage mich, warum es üblich scheint, Ergebnisse besser wegzulassen, die nicht ins Schema der perfekten Reproduzierbarkeit passen und die möglicherweise die Beweisführung für oder gegen eine bestimmte Hypothese untergraben könnten.

Ich frage mich, wie es dazu kommt, dass heute umgehend immer nur nach einem molekularen Mechanismus gefragt wird, selbst wenn die phänomenologischen Grundlagen des untersuchten biologischen  Systems noch weitgehend ungeklärt sind.

Ich frage mich, wie das Begutachtungssystem verändert werden sollte — und vor allen Dingen, wie es öffentlich gemacht werden kann. Ich für meinen Teil habe seit etwa einem Jahr begonnen, alle meine Zeitschriftengutachten mit meinem Namen zu zeichnen.

Ich frage mich, wie es kommt, dass Gutachter ihren Auftrag dahingehend missbrauchen, dass sie die Autoren eingereichter Arbeiten zwingen, eine To-do-Liste abzuarbeiten, nach der die geforderten zusätzlichen Experimente gar nichts mehr mit notwendigen Kontrollen zu tun haben, sondern lediglich willkürliche Erweiterungen nach dem Geschmack des Gutachters darstellen.

Fragen, die viele zwar schon lange kennen — die deswegen aber nicht aufhören zu schmerzen. Antworten und Meinungen dazu, wie immer, direkt unten als Kommentar zu diesem Blog-Beitrag, oder auch per E-Mail an redaktion@laborjournal.de.

(Foto: Fotolia/erkamit)

x

Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Laborjournal

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Reviewer No. 3

2. Oktober 2014 von Laborjournal

Während einer Recherche zum Thema Peer Review folgende nette Geschichte gehört:

Professor X erinnerte sich, wie er seinerzeit als Doktorand sein allererstes Manuskript abgeschickt hatte und nun aufgeregt auf den Bescheid des Journals wartete. Er kam schließlich mit drei Reviews. Zwei waren positiv, wenn auch mit einigen Änderungswünschen — Review No. 3 dagegen war ein Schlag in die Magengrube. Dass der Gutachter das Paper inhaltlich in tausend Fetzen zerriss, war das eine. Dazu kam das Wie. Reviewer No. 3 präsentierte seine Kritik in einem derart herablassend-aggressiven Ton, dass Jung-X zunächst einmal förmlich die Luft wegblieb. Es wimmelte darin geradezu vor Vokabeln wie „naiv“, „trivial“, „unangemessen“, „unvollständig“, „verirrt“, „Fehlschluss“, „schlampig“, „lächerlich“,…

Als er sich schließlich halbwegs von dem Schock erholt hatte, stieg Zorn in ihm hoch — und er begann, sich „das Arschloch“ vorzustellen. „Sicher so ein frustrierter alter Sack, kurz vor der Pensionierung“, dachte X. „Ein ergrautes, faltiges Alphatier, das Spaß daran hat, den Jungen nochmal so richtig zu zeigen, wo der Hammer hängt. Der ansonsten aber gerade darüber verbittert, dass seine Zeit nun endgültig bald vorbei ist. Da kommt ihm ein Manuskript von so einem kleinen Würstchen wie mir natürlich gerade recht, um all den Frust und die Verbitterung unerkannt, aber wirksam rauszulassen.“

X fand nie heraus, wer tatsächlich dieser „Reviewer No. 3“ war. Allerdings wurde er später selbst Editor und Chief Editor bei mehreren Zeitschriften. Und da gingen natürlich jede Menge weiterer solcher „Reviewer No. 3“-Gutachten über seinen Tisch. Nicht dass er gezielt danach geschaut hatte, aber irgendwann fiel ihm dabei auf, dass die meisten dieser „Reviewer No. 3“-Gutachten eben nicht von bärbeißigen alten Platzhirschen verfasst waren. Ganz im Gegenteil, vielmehr stammten sie auffallend oft aus den Federn junger Senior-Postdocs oder Nachwuchsgruppenleiter.

Gefragt, ob X dafür irgendeine Erklärung habe, antwortete er: „Ich glaube, es kommt von der Unerfahrenheit und Unsicherheit. Die Leute kriegen teilweise ihr erstes Manuskript auf den Tisch — und haben vorher nirgendwo lernen können, wie man einen Review eigentlich macht. Da wollen sie natürlich keinen Fehler machen, um Himmels willen nichts Wichtiges übersehen oder vergessen. Ebenso möchten sie natürlich nicht als „zu sanft“ oder unkritisch erscheinen. Und in dem Zwang, all dies vor allem sich selbst beweisen zu müssen, verlieren sie irgendwann das rechte Maß — und schießen am Ende über das Ziel hinaus…“

Also eher junge aufgeregte Kläffer als bärbeißige graue Platzhirsche.

Information 1


Information 2


Info

Info

Mit dem HandyStep® Touch bringt BRAND® den Touchscreen auch für handgehaltene Geräte ins Labor. mehr

Info

Info

cobas® pro integrated solutions – das neue System von Roche für den Serumarbeitsplatz. mehr

Info

Info

Die WLAN-Funktion der Olympus Kamera ermöglicht ein interaktives Zusammen­arbeiten der Studierenden. mehr