Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Die Angst des Forschers vor dem Kommentieren

5. Juni 2019 von Laborjournal

… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informations­wis­sen­­schaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.

Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:

  • Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Pro­zent der Artikel verteilten.
  • Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
  • Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
  • Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irr­tümer oder die Autorenreihenfolge korrigiert sowie auf weiter­füh­ren­de Links oder nachfolgende Medien­bericht­erstattung hingewiesen.
  • Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
  • Von diesen „akademischen“ Kommenta­ren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.

Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.

Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:

Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.

Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:

Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der techni­schen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.

Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.

 

(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog ver­öffent­li­chen wir ihn vorab.)

x

Die Geister des Peer Review

8. Mai 2019 von Laborjournal

Hand auf’s Herz, liebe Profs und Gruppenleiter: Wer von euch hat schon mal einen Postdoc oder anderen Mitarbeiter der eigenen AG ein Manuskript begutachten lassen, das ihm zum Peer Review geschickt wurde — und das Gutachten am Ende gänzlich unter eigenem Namen an den Journal-Editor zurückgeschickt? Rein statistisch müsste sich jetzt eigentlich jeder Zweite ertappt fühlen — jedenfalls, wenn man das Ergebnis einer aktuellen Befragung von Nachwuchsforschern durch US-Forscher mal herumdreht: Knapp die Hälfte von fünfhundert befragten Early Career Researchers gab darin an, bereits als Ghostwriter im Namen des Chefs einen Peer Review verfasst zu haben — ohne dass den Journal-Editoren deren Autorenschaft offenbart wurde (. Die große Mehrheit von ihnen kam aus den Life Sciences.

In der gleichen Umfrage verurteilten achtzig Prozent der Befragten diese Praxis der verschwie­genen Review-(Ko)-Autoren. Warum aber kommt es trotzdem zu derart vielen GhostwriterReviews?

Die Zielrichtung dieser Frage muss man vorab genauer erklären. Diesen Beitrag weiterlesen »

Schuldige Smartphones — oder doch nicht?

5. September 2018 von Laborjournal

(UPDATE VOM 7.9.2018: Über das Pressereferat des Leibniz-Instituts für Arbeitsforschung an der TU Dortmund, wo die unten referierte Studie entstand, erreichte uns eine Mail, in der die Autoren unter anderem „fehlgeleitete Interpretationen und Rück­schlüsse“ in unserem Blog-Artikel kritisieren. Wir haben den Text der Mail daher unmittelbar hinter dem ursprünglichen Blog-Beitrag eingefügt, damit sich die Leser ihr eigenes Bild machen können.)

x

Offenbar kann man es nicht oft genug betonen: Wenn das vorausgehende Phänomen A mit Phänomen B korreliert, dann muss A noch lange nicht die Ursache für B sein. Das alte Dilemma zwischen Korrelation und Kausalität.

Wie irreführend es sein kann, wenn man hier nicht sauber trennt, zeigt gerade ein frisches Paper von Dortmunder Arbeitspsychologen mit dem Bandwurm-Titel „Protect Your Sleep When Work is Calling: How Work-Related Smartphone Use During Non-Work Time and Sleep Quality Impact Next-Day Self-Control Processes at Work“ (Int. J. Environ. Res. Public Health 2018, 15(8)).

Was sagt der Titel? Dass Arbeiten mit dem Smartphone nach Feierabend — also E-Mails checken, Kunden anrufen, „schnell“ nach irgendwelchen Infos surfen,… — und die Qualität des Nachtschlafs die Performance am nächsten Arbeitstag mitbestimmen. Letzteres ist eigentlich trivial: Ein jeder weiß wohl selbst, dass ihm die Arbeit schwerer fällt und er mehr Fehler macht sowie schneller erschöpft ist, wenn er sich in der Nacht davor allzu lange schlaflos im Bett gewälzt hat. Und Smartphones die Schuld für irgendwelche negative Performance zu geben, ist sowieso gerade en vogue.

Doch sind die Smartphones wirklich kausal „schuld“? Diesen Beitrag weiterlesen »

Ist doch egal, wer — die Sache zählt!

20. Februar 2015 von Laborjournal

(In dieser Antwort auf den Beitrag „Leidige Praxisprobleme“ vom 13. Februar verteidigt unser Autor Leonid Schneider das Prinzip der anonymen Kommentare auf der Post-Publikation-Review-Plattform PubPeer.)

————-

Früher hieß es: Es ist publiziert, also stimmt es! Oft beendete man noch jegliche kritische Diskussion mit den Argumenten des Peer-Review und des Journal-Impaktfaktors. Den Grund dafür, dass publizierte Versuchsergebnisse im eigenen Labor nicht zu reproduzieren waren, suchte man dann ausschließlich bei sich selbst.

Nun kann sich jeder Jungwissenschaftler sofort über die Webseite PubPeer eine darüber hinausgehende Meinung bilden. Denn auch was in Nature, Cell und Science steht, muss man nicht unbedingt treudoof glauben. Unbeantwortete, aber plausible öffentliche Anschuldigungen der Daten-Unzulänglichkeit in einem Paper können schon an dessen Glaubwürdigkeit und Verlässlichkeit rütteln. Endlich geht es dann um Evidenz statt Eminenz — und das ist auch gut so.

Trotz diverser Kinderkrankheiten hat das junge Internetportal PubPeer bereits jetzt einen enormen Beitrag zur Richtigstellung der wissenschaftlichen Literatur geleistet. Sie beherbergt inzwischen doch einige Beispiele, wo Fehler oder auch potenzielle Manipulationen in der Fachliteratur öffentlich und mit Bildbelegen aufgedeckt wurden. Ständig kommen neue dazu. Die Bild-Duplikationen in Shoukhrat Mitalipovs Cell-Paper (Vol. 153(6): 1228-38), das übrigens ohne Peer-Review erschien, wurden in PubPeer erstmals angeprangert — was später zu einer umfassenden und peinlichen Korrektur führte. Die Manipulationen in einem der größten Forschungsskandale der letzten Zeit um die sogenannten STAP-Stammzellen wurden vor allem durch PubPeer bekannt.

Die Bedeutung von PubPeer wird daher immer mehr Wissenschaftlern bewusst. Immer mehr nehmen sie zu den sie selbst betreffenden Kommentaren und Vorwürfen Stellung — dies im Übrigen mal mehr, mal weniger überzeugend. Diesen Beitrag weiterlesen »

Einstein und der Peer Review

24. Juni 2014 von Laborjournal

Auch Einstein hielt anfangs nicht viel von Peer Review. Aus seiner „deutschen Zeit“ kannte er dieses System, etwa von seinen fünf berühmten 1905er-Artikeln in den Annalen der Physik, überhaupt nicht. Erst nachdem er in die USA ausgewandert war, sah er sich plötzlich damit konfrontiert, dass seine Manuskripte bisweilen zunächst irgendwelchen Kollegen zur Begutachtung vorgelegt wurden.

Das Online-Organ The Conversation hat dazu gerade eine nette Anekdote wieder ausgegraben, die Physics Today bereits 2005 veröffentlicht hatte. Demnach schickte Einstein zusammen mit seinem Kollegen Nathan Rosen 1936 ein Manuskript über Gravitationswellen an Physical Review. Dessen damaliger Chief Editor John Tate fand das Manuskript aber offenbar derart kontrovers, spekulativ, ja geradezu „phantastisch“, dass er es Einsteins Princeton-Nachbarn Howard Percey Robertson zum Begutachten schickte. Immerhin stellten Einstein und Rosen darin gar die Wellennatur der Gravitation überhaupt in Frage.

Robertson schrieb einen zehnseitigen Kommentar mit jeder Menge gravierender „Entschärfungssvorschlägen“, den Tate umgehend an Einstein weiterleitete. Dieser schrieb Tate schnöde zurück:

We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorised you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.

Einstein publizierte das Manuskript letztlich in dem deutlich „bescheideneren“ Journal of the Franklin Institute. Dies allerdings erst nach einiger Zeit — und mit einem Großteil der Änderungen, die Robertson vorgeschlagen hatte. Es sollte sich herausstellen, dass die Beiden in der Zwischenzeit ausführlich in Princeton über die Befunde des Manuskripts diskutiert hatten — wobei Einstein am Ende offenbar doch einräumen musste, dass dessen schlussfolgernde Behauptungen etwas zu hoch gegriffen waren.

Womöglich bewahrte dieser indirekte Peer Review Einstein also vor einer gehörigen öffentlichen Blamage. In einem reinen Post-Publication-Peer-Review-System, wie es viele heute fordern, hätte er sich sehr wahrscheinlich mit einem voreiligen Schnellschuss ziemlich in die Nesseln gesetzt.

Ein Post-Pub-Review-Szenario

9. Mai 2014 von Laborjournal

Gerade eine interessante Diskussion über Post-Publication-Peer-Review mit einem Forscher gehabt, der zugleich auch als Editor eines Journals fungiert. Der war sehr angetan von Preprint-Servern für Manuskripte a la arXiv oder neuerdings bioRxiv — jedoch weniger begeistert von dem gesamten Post-Pub-Rev-Konzept.

Dies insbesondere wegen ganz praktischer Bedenken. Er glaube einfach, dass auf entsprechend freiwilliger Basis die meisten Veröffentlichungen nachträglich überhaupt nicht begutachtet würden, stellte der Forscher-Editor in den Raum. „Wer würde sich denn die Zeit dafür nehmen, wenn man nicht explizit um ein Gutachten gebeten wurde?“

Er befürchte, dass gerade die schlechteren Sachen einfach unkommentiert stehen bleiben würden, weil es den Kollegen schier zu blöd sei, solchen “Mist” auch noch aufwändig gerade zu rücken. Mit der Folge, dass diejenigen, die sich in dem Feld nicht so gut auskennen und die Inhalte kaum selbst adäquat beurteilen können, das Zeug dann womöglich für bare Münze nehmen würden.

Würde eine Arbeit indes tatsächlich nachträglich kommentiert und kritisiert, gebe es seiner Meinung nach drei Möglichkeiten: Die Autoren nehmen die Kritik an, sie streiten deren Inhalt ab oder sie ignorieren sie komplett. Letzteres sei ja bei der Post-Pub-Rev-Plattform PubPeer leider weithin die Regel. Da habe man schon den Eindruck, es gehe alles nach dem Motto: „Was juckt mich das Paper von gestern, es ist doch draußen — ich muss mich jetzt um das nächste Projekt kümmern.“

Und so würden publizierte Artikel „posthum“ kaum einmal besser gemacht, wie es beim klassischen Peer Review doch öfter passiere. „Was nutzen mir schnellere Veröffentlichungen, wenn sie im Schnitt deutlich schlampiger sind — und bleiben.“ Denn selbst im günstigsten Fall — die Autoren bekommen Kommentare und gehen ihrerseits auch darauf ein — würden sie ja nicht mehr das Paper selbst umschreiben, sondern die Verbesserungen ebenfalls „noch weiter unten“ in den Kommentaren platzieren. Was den Lesespaß und vor allem die Leseeffizienz ziemlich senken würde. „Du liest unten einen Kommentar, scrollst hoch, liest da wieder was nach, gehst wieder runter, liest dort weiter, musst gleich wieder hoch,… Schrecklich!“

Ziemlich skeptisches Szenario. Meinungen dazu?

Seid kritisch mit „Invited Commentaries“!

6. Dezember 2013 von Laborjournal

Nicht nur Nature bringt wöchentlich seine “News & Views”, oder Science seine “Perspectives” — nein, inzwischen präsentieren auch viele, viele andere Journals unter jeweils eigenen Rubriknamen sogenannte “Invited Commentaries”. Kurz gesagt, schicken dafür die Editoren die ihrer Meinung nach heißesten Originalpaper jeder einzelnen Ausgabe vorab an ausgewählte „Experten“ und bitten diese die darin vorgestellten Ergebnisse hinsichtlich ihrer Bedeutung für das gesamte Feld zu kommentieren.

Diese Kommentare sind meist durchaus nett und gewinnbringend zu lesen — insbesondere auch für den Forscher, der gerne mal ein wenig über den Tellerrand schaut. Schließlich liefert solch ein Kommentar in der Regel einen knackigen und kompetenten Überblick über das gesamte Feld, präsentiert dazu die aktuell offenen Fragen und Probleme, ordnet die frischen Ergebnisse des neuen Papers samt Bewertung in diesen Rahmen ein — und wagt zudem noch einen Ausblick, welche weiteren Fragen durch die neuen Erkenntnisse nun womöglich leichter angegangen werden könnten.

Viele Autoren werten es daher als eine Art „Ritterschlag“ ihres Papers, wenn dieses durch einen „Eingeladenen Kommentar“ quasi geadelt wird. Allerdings sind solche „Invited Commentaries“ offenbar manchmal doch eher ein Quell des Ärgernisses für die Autoren des kommentierten Papers. Diesen Beitrag weiterlesen »

Information 1


Information 2


Info

Info

Pipettieren, lagern und zentrifugieren Sie Proben in unserem Spiel "Master of Volumes" so schnell wie möglich. mehr

Info

Info

Bestellen Sie noch heute Ihr kostenfreies Exemplar. mehr

Info

Info

Neuer Mehrfachdispenser von BRAND: Das moderne Touch-Bedienkonzept macht die Arbeit einfach und effizient. mehr