Warum „Forscher Ernst“ wohl bald ein Freund von Post-Publication-Peer-Review sein wird…
(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Flores.)
x
Besser als begutachtet
26. November 2019 von LaborjournalPeer Review und die Bewahrung des Status quo
19. November 2019 von LaborjournalPeer Review hat einige Probleme. Eines, das zunächst einmal ganz trivial klingt, ist, dass Peer Review nur dort funktioniert, wo es auch wirkliche Peers gibt. Kann das in den Wissenschaften überhaupt nahtlos der Fall sein? Gibt es tatsächlich immer und überall solche „ebenbürtige Experten“? Ganz sicher nicht.
Fragen wir daher zunächst einmal: Wer ist „Experte“? Klar — jemand, der sich in einem bestimmten Gebiet besonders gut auskennt. Was zunächst bedeutet, dass ein Peer vor allem den Status quo eines Gebietes umfassend kennt. Womöglich hat er bei dessen Etablierung sogar entscheidend mitgeholfen.
Jetzt dreht sich aber Wissenschaft nicht nur um den Status quo — nicht mal vor allem um den Status quo. Vor allem geht es in der Wissenschaft um das, was jenseits des Status quo liegt. Neue Pfade beschreiten, Licht ins Dunkel bringen, Horizonte erweitern, zu neuen Ufern aufbrechen — das sind die Metaphern, die beschreiben, was vor allem Ziel der Wissenschaft ist. Oder, schlichter formuliert: Neue Erkenntnisse gewinnen.
Das Paradoxon dabei ist nun, dass es da, wo einer erstmals Neuland beschreitet, keine Experten geben kann. Das heißt zwar nicht, dass jeder Experte des Status quo grundsätzlich nicht mehr adäquat bewerten kann, was er von jenseits der bekannten Grenzen seines Gebietes zu hören bekommt. Aber es ist natürlich ungleich schwieriger zu beurteilen, ob jemand tatsächlich Handfestes oder totalen Blödsinn aus absolutem Neuland berichtet. Und da die Experten des Status quo auch gerne Bewahrer des Status quo sind, kippen sie auch mal das Kind mit dem Bade aus, wenn sie vermeintlich allzu abenteuerliche Berichte abschmettern.
Beispiele gibt es genug, wie letztlich richtige Ergebnisse und Schlussfolgerungen teilweise sehr lange brauchten, um sich gegen den „Experten“-Mainstream durchzusetzen: Barabara McClintocks springende Gene, Stanley Prusiners Prionen, die Helicobacter-Geschichte,… — alles Fälle, bei denen die Peers seinerzeit schlichtweg unfähig oder unwillig waren, grundlegend Neues und Richtiges zu erkennen.
Nicht zuletzt deshalb zog kürzlich der Soziologe Steve Fuller das Fazit: „Peer Review funktioniert bei ‚normaler Wissenschaft‘, hat aber auch die Macht, radikale Ideen zu unterdrücken.“
Ralf Neumann
Wie ambitioniert hätten Sie’s denn gerne…?
6. November 2019 von LaborjournalUnd schon wieder beschleicht „Forscher Ernst“ ein Gefühl von Gutachter-Willkür…
(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Flores.)
x
Wenn Umfragen plötzlich zählen
16. Oktober 2019 von Laborjournal
Gewöhnlich geben Naturwissenschaftler nicht viel auf Ergebnisse, die mit Fragebögen erhoben sind. Objektive Ergebnisse seien damit nicht möglich, ist deren klares Urteil. Zu befangen (biased) seien die „Versuchsobjekte“, zu viele nicht messbare Faktoren gingen in die Antworten ein. Mit ein Hauptgrund, weswegen „echte“ Wissenschaftler klassischen Fragebogen-Disziplinen wie Psychologie oder Soziologie allenfalls mit Argwohn begegnen.
Komisch ist allerdings, dass sie derlei Kritik offenbar komplett ausblenden, wenn ihnen die Ergebnisse solcher Umfragen gut in den Kram passen. Dann zeigt sich wie kaum irgendwo sonst, dass Naturwissenschaftler eben auch nur Menschen sind. „Seht ihr, hab’ ich doch schon immer gesagt“, heißt es dann aus deren Mündern. „Hier habt ihr es jetzt schwarz auf weiß“.
Gut zu beobachten war dieses Phänomen vor einiger Zeit anlässlich einer Umfrage zum Thema Gutachtertum (Sci. Eng. Ethics 14, S. 305). Drei US-Autoren hatten eine ordentliche Anzahl Life-Science-Forscher über ihre Erfahrungen mit Peer Review befragt. Die Ergebnisse:
- Mindestens ein Reviewer war inkompetent, erfuhren 61,8 Prozent der Befragten.
- Mindestens ein Reviewer war voreingenommen (biased!), bemängelten 50,5 Prozent.
- Gutachter verlangten, unnötige Referenzen in die Publikation aufzunehmen — 22,7 Prozent.
- Kommentare der Gutachter enthielten persönliche Angriffe — 17,7 Prozent….
- … Bis hin zu Vertraulichkeitsbruch der Gutachter (6,8 Prozent) beziehungsweise unerlaubter Übernahme von Ideen, Daten oder Methoden aus dem Manuskript (5 Prozent).
Alles das also, worüber so gut wie jeder Forscher immer wieder wettert — jetzt mit fetten Zahlen dahinter. Solche Umfragen zählen natürlich.
Zumal es ja auch bei der Begutachtung von Förderanträgen genügend „Evidenz“ für die Unzulänglichkeiten des Peer Review gibt. Denn wie war das noch mit dem Kollegen Müller, der kürzlich ins Ausland gewechselt war? Mit dem gleichen Antrag, den die DFG vor zwei Jahren komplett abgelehnt hatte, bekam er jetzt dort die höchste Zuwendung der aktuellen Förderperiode.
Oder der Sonderforschungsbereich (SFB) vom Kollegen Schlacht? Wurde damals ebenfalls abgelehnt. Ein Jahr später jedoch waren sämtliche Einzelprojekte des einstmals erfolglosen SFB über das Normalverfahren bewilligt.
Oder Nachwuchsmann Starz. Bekam mit seinem Projektantrag von der DFG kein Stipendium und wurde dann — glücklicherweise, muss man im Nachhinein sagen — über EU-Töpfe finanziert. Und jetzt ziert sein Paper die Titelseite von Current Biology und wurde bereits breit in der internationalen Presse vorgestellt.
Doch halt, das sind ja quasi Einzelfallstudien (Case Studies)! Und die zählen bei „echten“ Naturwissenschaftlern schließlich auch nur wenig.
Ralf Neumann
Gutachter-Statistik
9. Oktober 2019 von LaborjournalUnser „Forscher Ernst“ bekommt den Gutachter-Blues…
(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)
x
Die Geschichte eines idealen Peer Review
19. August 2019 von Laborjournal
Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und angesichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schweigen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.
Dazu die folgende, wahre Peer-Review-Geschichte:
Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.
Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“
Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »
Warum Selbstzitate öfter mal nicht „böse“ sind …
2. Juli 2019 von Laborjournal
(Über 150 weitere „Abenteuer“ aus mehr als zwanzig Jahren „Forscher Ernst“ gibt’s hier.)
Die Angst des Forschers vor dem Kommentieren
5. Juni 2019 von Laborjournal
… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informationswissenschaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.
Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:
- Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Prozent der Artikel verteilten.
- Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
- Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
- Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irrtümer oder die Autorenreihenfolge korrigiert sowie auf weiterführende Links oder nachfolgende Medienberichterstattung hingewiesen.
- Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
- Von diesen „akademischen“ Kommentaren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.
Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.
Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:
Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.
Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:
Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der technischen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.
Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.
(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog veröffentlichen wir ihn vorab.)
x
Die netten Gutachter von nebenan
22. Mai 2019 von Laborjournal
Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…
Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.
Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.
Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.) Diesen Beitrag weiterlesen »
Die Geister des Peer Review
8. Mai 2019 von Laborjournal
Hand auf’s Herz, liebe Profs und Gruppenleiter: Wer von euch hat schon mal einen Postdoc oder anderen Mitarbeiter der eigenen AG ein Manuskript begutachten lassen, das ihm zum Peer Review geschickt wurde — und das Gutachten am Ende gänzlich unter eigenem Namen an den Journal-Editor zurückgeschickt? Rein statistisch müsste sich jetzt eigentlich jeder Zweite ertappt fühlen — jedenfalls, wenn man das Ergebnis einer aktuellen Befragung von Nachwuchsforschern durch US-Forscher mal herumdreht: Knapp die Hälfte von fünfhundert befragten Early Career Researchers gab darin an, bereits als Ghostwriter im Namen des Chefs einen Peer Review verfasst zu haben — ohne dass den Journal-Editoren deren Autorenschaft offenbart wurde (. Die große Mehrheit von ihnen kam aus den Life Sciences.
In der gleichen Umfrage verurteilten achtzig Prozent der Befragten diese Praxis der verschwiegenen Review-(Ko)-Autoren. Warum aber kommt es trotzdem zu derart vielen Ghostwriter–Reviews?
Die Zielrichtung dieser Frage muss man vorab genauer erklären. Diesen Beitrag weiterlesen »
