Seid kritisch mit „Invited Commentaries“!

6. Dezember 2013 von Laborjournal

Nicht nur Nature bringt wöchentlich seine “News & Views”, oder Science seine “Perspectives” — nein, inzwischen präsentieren auch viele, viele andere Journals unter jeweils eigenen Rubriknamen sogenannte “Invited Commentaries”. Kurz gesagt, schicken dafür die Editoren die ihrer Meinung nach heißesten Originalpaper jeder einzelnen Ausgabe vorab an ausgewählte „Experten“ und bitten diese die darin vorgestellten Ergebnisse hinsichtlich ihrer Bedeutung für das gesamte Feld zu kommentieren.

Diese Kommentare sind meist durchaus nett und gewinnbringend zu lesen — insbesondere auch für den Forscher, der gerne mal ein wenig über den Tellerrand schaut. Schließlich liefert solch ein Kommentar in der Regel einen knackigen und kompetenten Überblick über das gesamte Feld, präsentiert dazu die aktuell offenen Fragen und Probleme, ordnet die frischen Ergebnisse des neuen Papers samt Bewertung in diesen Rahmen ein — und wagt zudem noch einen Ausblick, welche weiteren Fragen durch die neuen Erkenntnisse nun womöglich leichter angegangen werden könnten.

Viele Autoren werten es daher als eine Art „Ritterschlag“ ihres Papers, wenn dieses durch einen „Eingeladenen Kommentar“ quasi geadelt wird. Allerdings sind solche „Invited Commentaries“ offenbar manchmal doch eher ein Quell des Ärgernisses für die Autoren des kommentierten Papers. Schon mehrfach erzählten uns die Autoren gewisser Nature– oder Science-Paper, dass die Kommentatoren deren Ergebnisse in den „News & Views“ oder den „Perspectives“ ziemlich falsch dargestellt und bewertet hätten — obwohl sie eigentlich aus derselben thematischen Ecke stammten.

Andere machten gerade Letzteres als Problem aus. „Die Editoren müssen für die Kommentare natürlich Leute auswählen, die selbst an dem gleichen Thema arbeiten, meist sogar ganz eng an derselben Fragestellung“, gab mal einer zu bedenken. „Tja, und nicht selten sind das dann genau die ärgsten Konkurrenten“. Was dann zuweilen passiert, erzählte uns der zitierte Forscher am eigenen Beispiel: In dem eingeladenen Kommentar wurden die Ergebnisse seines Papers zunächst zwar milde gelobt, dann aber in ihrer Bedeutung und ihrem Einfluss auf das gesamte Feld krass abgewertet.

Genau an dieses Gespräch erinnerten wir uns, als wir lasen, was der US-Psychiater James Coyne kürzlich in dem PLoS-Blog Mind the Brain unter der Überschrift „Whomp! Using invited editorial commentary to neutralize negative findings” beschrieb. Kurz zusammengefasst präsentierte er darin ein Paper, das die Effektivität eines bestimmten klinischen Screenings überprüfte, welches bereits weithin praktiziert wurde. Das Ergebnis war negativ, das Screening stellte sich demnach also als nutzlos heraus! Und obwohl es ja bekanntermaßen nicht ganz leicht ist, negative Resultate zu veröffentlichen, gab es diesbezüglich offenbar kein Problem: Das Journal of Clinical Oncology druckte das Paper anstandslos im vergangenen Oktober.

Allerdings druckte das Journal of Clinical Oncology in derselben Ausgabe auch einen „Invited Editorial Commentary“ zu dem Paper. Und den schrieb ausgerechnet eine der Hauptverfechterinnen des besagten Screenings. James Coyne beschreibt in seinem Blog-Artikel detailliert, wie Letztere die negativen Resultate des Papers in dem Kommentar bewusst herunterspielt — teilweise mit grenzwertigen Methoden, wie etwa klar selektivem Zitieren. Ebenso ausführlich schlüsselt Coyne auf, wie valide die Ergebnisse des Papers tatsächlich sind — sowohl hinsichtlich der verwendeten Methodik, wie auch im Abgleich mit den richtigen Referenz-Veröffentlichungen.

Kein Wunder, dass Coyne sich am Ende darüber aufregt, wie es sein kann, dass man die Einladung zu einem nicht-begutachteten (!) Kommentar dazu nutzen darf, das entsprechende Paper derart zu diskreditieren. Er schreibt unter anderem:

[The authors] …were surely disappointed to discover that their article was accompanied by a negative editorial commentary. They had not been alerted or given an opportunity to offer a rebuttal. Their manuscript had made it through peer review, only to get whomped by a major proponent of screening […].

Eine durchaus ernste Sache. Schließlich werden die eingeladenen Kommentare á la Nature’s “News & Views” sicher deutlich öfter gelesen als das Original-Paper. Insbesondere wenn, wie in dem vorliegenden Fall, der Kommentar online frei zugänglich ist, das Paper hingegen nur kostenpflichtig gelesen werden kann.

Coynes Rat an die Leser ist daher am Ende: Seid kritisch mit “Invited Commentaries”, gerade weil sie nicht oder nur sehr lasch begutachtet werden! Und schaut Euch die zugehörigen Originalartikel tatsächlich an! Und wenn Ihr in der Tat Falsches oder Dubioses in solchen Kommentaren entdeckt — schreibt darüber in den aufstrebenden Post-Publication-Peer-Review-Plattformen wie PubPeer oder PubMed Commons.

Dem schließen wir uns aufgrund unserer eigenen Erfahrungen — siehe oben — an.

Schlagworte: , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...