Die Angst des Forschers vor dem Kommentieren

5. Juni 2019 von Laborjournal

… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informations­wis­sen­­schaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.

Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:

  • Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Pro­zent der Artikel verteilten.
  • Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
  • Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
  • Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irr­tümer oder die Autorenreihenfolge korrigiert sowie auf weiter­füh­ren­de Links oder nachfolgende Medien­bericht­erstattung hingewiesen.
  • Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
  • Von diesen „akademischen“ Kommenta­ren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.

Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.

Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:

Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.

Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:

Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der techni­schen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.

Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.

 

(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog ver­öffent­li­chen wir ihn vorab.)

x

Leidige Praxisprobleme

13. Februar 2015 von Laborjournal

Kaum einer zweifelt, dass Post-Publication Peer Review (PPPR) prinzipiell eine gute Sache ist. Was kann auch dagegen sprechen, wo und wie auch immer veröffentlichte Arbeiten im Nachgang online weiter zu kommentieren und zu diskutieren? Im besten Fall werden die Ergebnisse und Schlussfolgerungen womöglich robuster einsortiert oder es werden gar neue Ideen und Hypothesen angestoßen. (Ganz abgesehen davon, dass auch echte Flops umgehend entlarvt werden können — wie etwa konkret geschehen in den Fällen der Arsen-Bakterien oder der STAP-Stammzellen.) Im schlechtesten Fall frisst es einfach nur Zeit, aber das tun andere Dinge im Forschungsbetrieb noch auf viel sinnfreiere Weise…

Die konkrete Praxis des PPPR wird dagegen schon kontroverser diskutiert. Ein besonders „heißes“ Thema etwa ist, ob die Kommentatoren anonym bleiben dürfen — oder eben nicht. Selbst die zwischenzeitlich etablierten PPPR-Plattformen sind hier gespalten: Publons oder PubMed Commons lassen beispielsweise keine anonymen Kommentare zu, während PubPeer dagegen Anonymität explizit für wichtig hält.

Die Erfahrungen des Physikers und Postdocs Julian Stirling sprechen allerdings für keine der Varianten — zumindest in der Form, wie sie bislang praktiziert werden. Diesen Beitrag weiterlesen »

Data not shown

28. September 2009 von Laborjournal

blog11Forscher teilen ihre Daten offenbar viel weniger gern mit ihren Kollegen, als sie eigentlich müssten. Eine frische Studie zum „Data Sharing“ in PLoS ONE kommt jedenfalls zum Ergebnis, dass nur in einem von zehn Fällen die „Bittsteller“ die Daten tatsächlich bekamen.

Explizit hatten die Autoren der Studie nach unveröffentlichten Daten aus Artiklen in  PLoS-Journalen gefragt. Wie viele andere Zeitschriften verlangt auch PLoS als Voraussetzung für die Publikation, dass die Autoren sämtliche Daten, die für die Veröffentlichung relevant sind, auf Nachfrage an ihre Kollegen weitergeben.

Neun von zehn Autoren haben also ganz klar die sogenannte Data Sharing Policy von PLoS verletzt (siehe etwa hier). Streng genommen müsste PLoS die entsprechenden Artikel öffentlich zurückziehen.

(Update: Siehe zum Thema auch dieses frische Editorial auf Lab Times online)

PLoS erklärt sich selbst…

18. September 2009 von Laborjournal

… via YouTube! (Insbesondere seine neuen Tools zur Artikelmetrik — also wie oft einzelne Artikel angeschaut, runtergeladen, zitiert und sonstwas werden)

Wer’s lieber schriftlich mag: Hier klicken! Und wer sich gerne kritisch mit der ganzen Sache auseinandersetzen will: Christina Pikas liefert einige Gedanken dazu.