Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Warum Selbstzitate öfter mal nicht „böse“ sind …

2. Juli 2019 von Laborjournal

(Über 150 weitere „Abenteuer“ aus mehr als zwanzig Jahren „Forscher Ernst“ gibt’s hier.)

Die netten Gutachter von nebenan

22. Mai 2019 von Laborjournal

Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…

Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.

Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.

Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.)  Diesen Beitrag weiterlesen »

Die Geister des Peer Review

8. Mai 2019 von Laborjournal

Hand auf’s Herz, liebe Profs und Gruppenleiter: Wer von euch hat schon mal einen Postdoc oder anderen Mitarbeiter der eigenen AG ein Manuskript begutachten lassen, das ihm zum Peer Review geschickt wurde — und das Gutachten am Ende gänzlich unter eigenem Namen an den Journal-Editor zurückgeschickt? Rein statistisch müsste sich jetzt eigentlich jeder Zweite ertappt fühlen — jedenfalls, wenn man das Ergebnis einer aktuellen Befragung von Nachwuchsforschern durch US-Forscher mal herumdreht: Knapp die Hälfte von fünfhundert befragten Early Career Researchers gab darin an, bereits als Ghostwriter im Namen des Chefs einen Peer Review verfasst zu haben — ohne dass den Journal-Editoren deren Autorenschaft offenbart wurde (. Die große Mehrheit von ihnen kam aus den Life Sciences.

In der gleichen Umfrage verurteilten achtzig Prozent der Befragten diese Praxis der verschwie­genen Review-(Ko)-Autoren. Warum aber kommt es trotzdem zu derart vielen GhostwriterReviews?

Die Zielrichtung dieser Frage muss man vorab genauer erklären. Diesen Beitrag weiterlesen »

Zehnmal #Forscherfrust

28. Februar 2019 von Laborjournal

In der vergangenen Woche eröffneten wir auf Twitter den Hashtag #Forscherfrust. Unsere zehn Beispiele für entsprechende Frusterlebnisse rund um das Forscher-Dasein sind hier nochmals zusammengetragen:

x

x

Wenn jemand noch weitere Beispiele loswerden will — entweder hier unten im Kommentarfenster oder unter dem Hashtag #Forscherfrust auf Twitter.

x

Gebt uns bitte mehr Wörter!

10. Januar 2019 von Laborjournal

Ob bei Paper-Manuskripten oder Konferenzen — überall werden einem strenge Limits für Sprechzeiten oder Wörterzahlen gesetzt. Die Autorin des folgenden Gastbeitrags hat sich gerade ganz besonders darüber geärgert…

Okay, vielleicht ist es mein ganz persönliches Problem. Denn ja, ich gebe zu: Bereits in der Schule habe ich mit Vorliebe ausschweifend Gedichte interpretiert und mit Freude lange Diskussionen über biologische Fragestellungen verfasst. Und dennoch, mit zunehmender Reife habe ich mittlerweile auch etwas gegen Geschwafel und unnötige Repetitionen oder Füllwörter — sei es in Text- oder Sprechform — und versuche diese grundlegend zu vermeiden. Auch ist es klar, dass man zur besseren Verständlichkeit und „Verdaulichkeit“ für Außenstehende komplexe Sachverhalte in klare, präzise und eindeutige kurze Sätze fassen (können) sollte — zumal dies überdies den Eindruck von besonderer Kompetenz in dem jeweiligen Gebiet vermittelt.

Dennoch befinde ich mich diesbezüglich gerade in einem Zwiespalt. Und bin zunehmend frustrierter.

In Journal Clubs beschweren wir uns über Publikationen, bei denen unserer Meinung nach unerhörterweise wichtige Details „nirgendwo erwähnt werden — nein, auch nicht in den Supplements!“. Ebenso ärgern wir uns bei der Etablierung oder Optimierung von Methoden und Fragestellungen über all die Publikationen, in denen Zellzahlen, Konzentrationen, Antikörper-IDs, usw. nicht oder nur unzureichend angegeben werden. Im Gegensatz dazu bricht Freude aus, wenn wir tatsächlich eine komplette Doktorarbeit (!) zu dem gewünschten Thema im Netz finden, mit der man nun endlich Schritt für Schritt sämtliche Abläufe und Details komplett nachvollziehen kann.

Wir alle arbeiten an komplexen Themen und Fragestellungen. Und um diese einem Außenstehenden ausreichend erklären zu können, bedarf es nun mal eines Mindestmaßes an Zeit oder Worten. Aber nein, gerade wir jüngeren Wissenschaftler bekommen auf Fachkonferenzen ganze drei, fünf oder — welch’ ein Glück! — zehn Minuten zur Verfügung gestellt, um unser Projekt und unsere Ergebnisse vorzustellen (oder gar uns selbst und unsere Kompetenzen?).

Sicherlich, man sollte diese Präsentationen als „Teaser“ verstehen, in denen man kurz und knackig auf sich aufmerksam macht — das Interesse weckt, um dann in der darauffolgenden Pause oder Poster-Session auf mehr und konkretere Resonanz zu hoffen. Wenn es aber um Publikationen geht, frustriert mich die Lage endgültig.

Natürlich kann ich mein Manuskript kürzen, indem ich Aussagen sinnvoll konkretisiere oder aber mit List und Tücke (etwa Bindestrichen…) die Wortzahl künstlich drücke. Aber allem ist irgendwo eine Grenze gesetzt. Und so sehe ich mich letztlich gezwungen, Details im Material- und Methodenteil rauszustreichen, da dies alles ja offenbar „Common Knowledge“ sei. Oder ich verbitte mir jeden tieferen Gedankengang oder Einblick in meine Daten, nur um der lieben Wörter willen.

Irgendwann befinde ich mich dann an dieser kritischen Grenze, ab der sich mein Manuskript durch weiteres Kürzen zwar mehr und mehr der gewünschten Wortzahl nähert, es mit jedem Wort aber auch an Stärke, an Tiefe und letztlich an lebensnotwendiger Substanz verliert. Und ich beginne mich zu fragen, ob und wo ich wohl jemals genug Zeit bekommen werde und genug Wörter verwenden werden darf, um die viele Arbeit, die ich geleistet habe, in angemessenem Maße darlegen zu dürfen? Inklusive all meiner daraus resultierenden Daten sowie den zu Grunde liegenden wichtigen Details und Erkenntnissen. Oder muss ich dafür eigens einen YouTube-Kanal einrichten beziehungsweise extra ein Buch schreiben (quasi eine weitere Dissertation)?

Doch was bleibt mir anderes übrig? Ich beuge mich dem Druck, denn Publikationen „sind alles, was zählt“ — sagen „sie“. Und so sitze ich hier und kürze mein Manuskript, von 4.000 Wörtern auf 3.000, auf 2.500 Wörter,… — ganz nach dem Geschmack des jeweiligen Journals. Und die ganze Zeit trauere ich jedem Absatz, jedem einzelnen Wort hinterher, das doch so wichtig gewesen wäre, um von vorne bis hinten eine verständliche, nachvollziehbare und reproduzierbare Geschichte zu erzählen…

Britta Klein
Institut für Anatomie und Zellbiologie der Universität Gießen

Monolog vor dem Paperschreiben

18. Oktober 2018 von Laborjournal

„Okay, erstmal kurz nachdenken! Wie pack ich’s jetzt an? Wie schreibe ich all das nette Zeug jetzt auf?

Dass ich das alles nicht so bringen kann, wie es sich wirklich abgespielt hat, ist klar. Die ganzen Irrungen und Wirrungen, die Umwege, Rückbesinnungen und Neustarts, bis wir endlich am Ziel waren — da wird der Leser ja wahnsinnig.

Warum also die Einzelteile nicht neu ordnen und das Ganze wie einen Thriller aufziehen? Zuerst beschreibe ich die Reise unseres kleinen Trupps zum Ort des Geschehens (und illustriere sie in Fig. 1), um dann dort eingehend die Umgebung zu erkunden (Fig. 2). Dabei stoßen wir natürlich — Trommelwirbel! — zielsicher auf ein ziemlich unerwartetes und dunkles Mysterium (Fig. 3).

Mit allen Mitteln der Kunst untersuchen wir den rätselhaften Ort — und sammeln tatsächlich einen Hinweis nach dem anderen, was hier eigentlich vor sich gehen könnte (Fig. 4 A bis H). Bis wir an den Punkt kommen, an dem wir innehalten und versuchen, all diese Hinweise zu einem sinnvollen Muster zu ordnen (Fig. 5 A bis D). Und dabei fällt es uns plötzlich wie Schuppen von den Augen, so dass wir — nochmal Tata! — die logische Antwort auf unser Mysterium schließlich glasklar vor uns liegen sehen (Fig. 6).

Zum endgültigen Abrunden der Story bleibt dann nur noch der Epilog, der das finale Fazit noch mal schön klar zusammenfasst (Fig. 7). Et violá!“

(… Kurzes Innehalten, dann weiter…)

„Hm… Klingt zwar gut, keine Frage. Allerdings… Ich befürchte, dass wohl nur die Allerwenigsten mein ausgefeiltes Präsentationskonzept inklusive perfekt arrangiertem Spannungsaufbau überhaupt registrieren werden. Denn wie mache ich es denn selbst als Leser? Bei der wenigen Zeit, die man für die Literatur hat? Eigentlich läuft es doch immer etwa so:

Ich schaue mir jedes Paper gerade mal bis zur Fig. 1 an, höchstens bis zur Fig. 2. Da muss es mich schon ganz schön packen, dass ich mir mehr anschaue… Was eigentlich nie passiert, da die Auflösung ja sowieso schon vorne im Abstract steht. Also schaue ich mir lieber schnell das nächste Paper an… und das nächste… und das nächste….

Vielleicht sollte ich es also doch lieber andersherum aufziehen und den großen Clou der Story gleich vorne in die Fig. 1 stecken. Dann würden all die potenziellen „Schnellgang-Drüberschauer“ vielleicht wenigstens die Hauptbotschaft mitnehmen. Und wer aus irgendeinem Grund dennoch weiter liest, bekommt dann eben noch die ganzen Hintergründe dazu…

Hm… Ich glaube, so mach‘ ich’s! Man muss am Ende eben doch nach dem gehen, wie die Leute ticken, die man erreichen will.“

Ralf Neumann

x

Von Daten, die in Schubladen verstauben

17. September 2018 von Laborjournal

Haben Sie auch noch jede Menge Daten in der sprichwörtlichen Schublade liegen? Daten, die schon lange eine nette, kleine „Story“ ergeben würden — wenn man sie nur mal in Manuskriptform bringen würde?

Wie bitte, in Ihrer Schublade schlummert Stoff für mehrere solcher kleinen, aber feinen Manuskripte? Oder in ihrem Regal?…

Keine Angst, Sie sind nicht allein.

Schon vor einiger Zeit stellte eine englische Forscherin den Kollegen in ihrem (leider nicht mehr existenten) Blog im Prinzip dieselbe Frage: „Stellt Euch vor, ihr bekommt keine Fördergelder mehr und könnt Euch einzig darauf konzentrieren, alle vorhandenen Daten zusammenzuschreiben — für wie lange hättet Ihr noch „Stoff“?“ Und sie meinte damit nicht das Umschreiben bereits eingereichter Manuskripte; es ging ihr vielmehr um die vielen, praktisch publikationssreif abgeschlossenen (Seiten-)Projekte, die bislang dennoch nie wirklich oben auf dem Schreibtisch gelandet waren.

Heraus kam, dass dieses Phänomen den meisten Forschern, die schon länger im Geschäft sind, offenbar wohlbekannt ist: Die Mehrzahl der Antworten lag zwischen drei und fünf Jahren.

Drei bis fünf Jahre lang könnte der Durchschnitts-Seniorforscher also noch Manuskripte schreiben — allein mit den Daten, die er längst schon hat. Da er diese Zeit aber beileibe nicht nur mit Paperschreiben verbringen kann, werden wohl jede Menge dieser interessanten kleinen (und hin und wieder vielleicht sogar großen) Geschichten niemals veröffentlicht. „Survival of the fittest results“ nennt die Autorin das treffend.

Woher aber kommt der entsprechende Selektionsdruck? Wohl daher, dass das Publikations-dominierte Belohnungssystem dem Forscher die folgende Zwickmühle beschert hat: Will er seinen Job gut machen, sollte er stets seine Resultate sorgfältig prüfen, hart nach alternativen Erklärungen fahnden und sie immer mit der aktuellen Literatur abgleichen. Das allerdings kostet Zeit. Wenn Forscher X aber zu viel Zeit mit diesen Dingen „vertrödelt“, riskiert er, als unproduktiv abgestempelt zu werden. Und dann kann es schnell schwer werden, weiterhin Fördergelder zu bekommen.

Also bunkert Forscher X das weniger dringende Material in der Schublade und schreibt lieber erstmal den nächsten Antrag — nicht zuletzt auch, um das Hauptprojekt der Gruppe weiter am Laufen zu halten. Wird dieser dann bewilligt, muss er natürlich umgehend die beantragten Projekte auch machen. Mit den resultierenden Daten muss er gleich wieder Paper schreiben, damit er frische Argumente für den nächsten Folgeantrag hat… — und so geht das Spiel in die nächste Runde

Und während diese Mühle unerbittlich weiter läuft, versinkt das, was er in der Schublade bunkert, tiefer und tiefer im Staub.

Wer weiß, wie viele kleine Schätze mit etwas weniger Antragsdruck von dort geborgen werden könnten..

Ralf Neumann

Foto: iStock / Paperkites

x

Vertrauenssache Peer Review

29. September 2017 von Laborjournal

Mitarbeiter der Annals of Internal Medicine stellten vorletzte Woche auf dem International Congress for Peer Review and Scientific Publication die Ergebnisse einer ziemlich interessanten Befragung vor. Deren Thema: Missbrauch von eingereichten Manuskripten durch Peer Reviewer (Originaltitel: Misuse of Received Manuscripts by Peer Reviewers: A Cross-sectional Survey).

Als Resultat halten sie zunächst einmal fest:

A total of 1431 of 3275 invited reviewers (44%) returned the survey […] Nearly half indicated having reviewed and published more than 50 manuscripts and having mentored others in peer review. Reasons reported for agreeing to review included keeping up to date in a research field (957/1417 [68%]), a sense of obligation to peer review (1316/1417 [93%]), …

So weit, so gut. Mit dem nächsten Grund, warum die Befragten die Manuskripte zur Begutachtung annehmen, wird es dann allerdings schon etwas kniffliger:

… and to know what competitors are doing (190/1417 [13%]).

Aha — ganze 13 Prozent der Befragten gaben also zu, Manuskripte vor allem deswegen zur Begutachtung anzunehmen, weil es ein guter Weg sei, sich darüber zu informieren, was die Konkurrenz so treibt. Da man derlei aber selbst in anonymen Umfragen aus selbstwertdienlichen Gründen nicht wirklich gerne preisgibt, dürften die 13 Prozent die tatsächliche Realität sogar noch schmeichelhaft abbilden.

Doch es kommt noch besser:

One hundred sixty-nine of 1417 (12%) had agreed to review manuscripts from authors with whom they had conflicts of interest; of these, 61 (36%) did so without informing the journal’s editor. One hundred fifty-three of 1413 (11%) showed manuscripts to colleagues without seeking permission.

Diese Art „Schindluder-Verhalten“ gibt man in diesem Zusammenhang sicher noch weniger gerne zu. Mit der Folge, dass die „Dunkelziffern“ für diese Art Missbrauch von anvertrauten Manuskripten nochmals höher ausfallen dürften.

Gleiches gilt natürlich auch für das letzte vorgestellte Ergebnis der Befragung:

Twenty-six of 1414 (2%; 95% CI, 1%-3%) indicated having used the information in a reviewed manuscript for personal or academic benefit prior to the paper’s publication. Such reported use included using what was learned to alter one’s own research plans, speeding up journal submission of one’s own work related to the subject of the manuscript being reviewed, and copying some part of the reviewed manuscript for one’s own work.

Okay, das sind zwar nur zwei Prozent — aber dennoch heißt das zusammen mit den anderen, bereits genannten Ergebnissen schlichtweg, dass das Vertrauensverhältnis zwischen Autoren und Gutachtern, auf dem das gesamte Peer-Review-System fußt, offenbar deutlich öfter gebrochen wird, als einem lieb sein kann.

Entsprechend schreiben die Autoren dann auch in ihrer Conclusion:

Trust that reviewers will treat manuscripts received for peer review as confidential communications is an essential tenet of peer review. Although self reported and of uncertain generalizability, these results suggest that breaches of this trust do occur. Larger studies involving multiple journals should be considered to assess the generalizability of these results and to inform targeted educational initiatives aimed at promoting the highest ethical standards among peer reviewers.

Kommentare, Meinungen oder gar eigene Erlebnisse zu potenziellem Peer-Review-Missbrauch nehmen wir gerne entgegen. Entweder direkt hier über das unten folgende Kommentarfenster, oder auch diskreter via Mail an die Laborjournal-Redaktion.

Information 1


Information 2


Info

Info

Info

Neuer Mehrfachdispenser von BRAND: Das moderne Touch-Bedienkonzept macht die Arbeit einfach und effizient. mehr

Info

Info

Bestellen Sie noch heute Ihr kostenfreies Exemplar. mehr

Info

Info

Der Eppendorf Online Shop bietet für jedes Labor das passende Produkt, viele Aktionen inklusive. mehr

Info

Info

Gewinnen Sie einen VIAFILL Reagenziendispenser einschließlich einer Dispensierkassette Ihrer Wahl. mehr

Info

Info

Präsentieren Sie Ihre wissenschaftlichen Ergebnisse und treten Sie in den Austausch mit Forscherkollegen. mehr