Die netten Gutachter von nebenan

22. Mai 2019 von Laborjournal

Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…

Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.

Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.

Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.)  Diesen Beitrag weiterlesen »

Best of Science Cartoons (20)

27. August 2013 von Laborjournal

(Von John Chase.)

Zitat des Monats (11)

18. Mai 2012 von Laborjournal

Chris Said, Center for Neural Science an der New York University, warnt in seinem Blog The File Drawer vor zunehmender Voreingenommenheit bei Erstellung, Interpretation und Publikation von Forschungsergebnissen:

Scientific journals favor surprising, interesting, and statistically significant experimental results. When journal editors give preferences to these types of results, it is obvious that more false positives will be published by simple selection effects, and it is obvious that unscrupulous scientists will manipulate their data to show these types of results. These manipulations include selection from multiple analyses, selection from multiple experiments (the “file drawer” problem), and the formulation of ‘a priori’ hypotheses after the results are known. While the vast majority of scientists are honest individuals, these biases still emerge in subtle and often subconscious ways.