Ist doch egal, wer — die Sache zählt!

20. Februar 2015 von Laborjournal

(In dieser Antwort auf den Beitrag „Leidige Praxisprobleme“ vom 13. Februar verteidigt unser Autor Leonid Schneider das Prinzip der anonymen Kommentare auf der Post-Publikation-Review-Plattform PubPeer.)

————-

Früher hieß es: Es ist publiziert, also stimmt es! Oft beendete man noch jegliche kritische Diskussion mit den Argumenten des Peer-Review und des Journal-Impaktfaktors. Den Grund dafür, dass publizierte Versuchsergebnisse im eigenen Labor nicht zu reproduzieren waren, suchte man dann ausschließlich bei sich selbst.

Nun kann sich jeder Jungwissenschaftler sofort über die Webseite PubPeer eine darüber hinausgehende Meinung bilden. Denn auch was in Nature, Cell und Science steht, muss man nicht unbedingt treudoof glauben. Unbeantwortete, aber plausible öffentliche Anschuldigungen der Daten-Unzulänglichkeit in einem Paper können schon an dessen Glaubwürdigkeit und Verlässlichkeit rütteln. Endlich geht es dann um Evidenz statt Eminenz — und das ist auch gut so.

Trotz diverser Kinderkrankheiten hat das junge Internetportal PubPeer bereits jetzt einen enormen Beitrag zur Richtigstellung der wissenschaftlichen Literatur geleistet. Sie beherbergt inzwischen doch einige Beispiele, wo Fehler oder auch potenzielle Manipulationen in der Fachliteratur öffentlich und mit Bildbelegen aufgedeckt wurden. Ständig kommen neue dazu. Die Bild-Duplikationen in Shoukhrat Mitalipovs Cell-Paper (Vol. 153(6): 1228-38), das übrigens ohne Peer-Review erschien, wurden in PubPeer erstmals angeprangert — was später zu einer umfassenden und peinlichen Korrektur führte. Die Manipulationen in einem der größten Forschungsskandale der letzten Zeit um die sogenannten STAP-Stammzellen wurden vor allem durch PubPeer bekannt.

Die Bedeutung von PubPeer wird daher immer mehr Wissenschaftlern bewusst. Immer mehr nehmen sie zu den sie selbst betreffenden Kommentaren und Vorwürfen Stellung — dies im Übrigen mal mehr, mal weniger überzeugend. Diesen Beitrag weiterlesen »

Einstein und der Peer Review

24. Juni 2014 von Laborjournal

Auch Einstein hielt anfangs nicht viel von Peer Review. Aus seiner „deutschen Zeit“ kannte er dieses System, etwa von seinen fünf berühmten 1905er-Artikeln in den Annalen der Physik, überhaupt nicht. Erst nachdem er in die USA ausgewandert war, sah er sich plötzlich damit konfrontiert, dass seine Manuskripte bisweilen zunächst irgendwelchen Kollegen zur Begutachtung vorgelegt wurden.

Das Online-Organ The Conversation hat dazu gerade eine nette Anekdote wieder ausgegraben, die Physics Today bereits 2005 veröffentlicht hatte. Demnach schickte Einstein zusammen mit seinem Kollegen Nathan Rosen 1936 ein Manuskript über Gravitationswellen an Physical Review. Dessen damaliger Chief Editor John Tate fand das Manuskript aber offenbar derart kontrovers, spekulativ, ja geradezu „phantastisch“, dass er es Einsteins Princeton-Nachbarn Howard Percey Robertson zum Begutachten schickte. Immerhin stellten Einstein und Rosen darin gar die Wellennatur der Gravitation überhaupt in Frage.

Robertson schrieb einen zehnseitigen Kommentar mit jeder Menge gravierender „Entschärfungssvorschlägen“, den Tate umgehend an Einstein weiterleitete. Dieser schrieb Tate schnöde zurück:

We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorised you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.

Einstein publizierte das Manuskript letztlich in dem deutlich „bescheideneren“ Journal of the Franklin Institute. Dies allerdings erst nach einiger Zeit — und mit einem Großteil der Änderungen, die Robertson vorgeschlagen hatte. Es sollte sich herausstellen, dass die Beiden in der Zwischenzeit ausführlich in Princeton über die Befunde des Manuskripts diskutiert hatten — wobei Einstein am Ende offenbar doch einräumen musste, dass dessen schlussfolgernde Behauptungen etwas zu hoch gegriffen waren.

Womöglich bewahrte dieser indirekte Peer Review Einstein also vor einer gehörigen öffentlichen Blamage. In einem reinen Post-Publication-Peer-Review-System, wie es viele heute fordern, hätte er sich sehr wahrscheinlich mit einem voreiligen Schnellschuss ziemlich in die Nesseln gesetzt.

Ein Post-Pub-Review-Szenario

9. Mai 2014 von Laborjournal

Gerade eine interessante Diskussion über Post-Publication-Peer-Review mit einem Forscher gehabt, der zugleich auch als Editor eines Journals fungiert. Der war sehr angetan von Preprint-Servern für Manuskripte a la arXiv oder neuerdings bioRxiv — jedoch weniger begeistert von dem gesamten Post-Pub-Rev-Konzept.

Dies insbesondere wegen ganz praktischer Bedenken. Er glaube einfach, dass auf entsprechend freiwilliger Basis die meisten Veröffentlichungen nachträglich überhaupt nicht begutachtet würden, stellte der Forscher-Editor in den Raum. „Wer würde sich denn die Zeit dafür nehmen, wenn man nicht explizit um ein Gutachten gebeten wurde?“

Er befürchte, dass gerade die schlechteren Sachen einfach unkommentiert stehen bleiben würden, weil es den Kollegen schier zu blöd sei, solchen “Mist” auch noch aufwändig gerade zu rücken. Mit der Folge, dass diejenigen, die sich in dem Feld nicht so gut auskennen und die Inhalte kaum selbst adäquat beurteilen können, das Zeug dann womöglich für bare Münze nehmen würden.

Würde eine Arbeit indes tatsächlich nachträglich kommentiert und kritisiert, gebe es seiner Meinung nach drei Möglichkeiten: Die Autoren nehmen die Kritik an, sie streiten deren Inhalt ab oder sie ignorieren sie komplett. Letzteres sei ja bei der Post-Pub-Rev-Plattform PubPeer leider weithin die Regel. Da habe man schon den Eindruck, es gehe alles nach dem Motto: „Was juckt mich das Paper von gestern, es ist doch draußen — ich muss mich jetzt um das nächste Projekt kümmern.“

Und so würden publizierte Artikel „posthum“ kaum einmal besser gemacht, wie es beim klassischen Peer Review doch öfter passiere. „Was nutzen mir schnellere Veröffentlichungen, wenn sie im Schnitt deutlich schlampiger sind — und bleiben.“ Denn selbst im günstigsten Fall — die Autoren bekommen Kommentare und gehen ihrerseits auch darauf ein — würden sie ja nicht mehr das Paper selbst umschreiben, sondern die Verbesserungen ebenfalls „noch weiter unten“ in den Kommentaren platzieren. Was den Lesespaß und vor allem die Leseeffizienz ziemlich senken würde. „Du liest unten einen Kommentar, scrollst hoch, liest da wieder was nach, gehst wieder runter, liest dort weiter, musst gleich wieder hoch,… Schrecklich!“

Ziemlich skeptisches Szenario. Meinungen dazu?

Seid kritisch mit „Invited Commentaries“!

6. Dezember 2013 von Laborjournal

Nicht nur Nature bringt wöchentlich seine “News & Views”, oder Science seine “Perspectives” — nein, inzwischen präsentieren auch viele, viele andere Journals unter jeweils eigenen Rubriknamen sogenannte “Invited Commentaries”. Kurz gesagt, schicken dafür die Editoren die ihrer Meinung nach heißesten Originalpaper jeder einzelnen Ausgabe vorab an ausgewählte „Experten“ und bitten diese die darin vorgestellten Ergebnisse hinsichtlich ihrer Bedeutung für das gesamte Feld zu kommentieren.

Diese Kommentare sind meist durchaus nett und gewinnbringend zu lesen — insbesondere auch für den Forscher, der gerne mal ein wenig über den Tellerrand schaut. Schließlich liefert solch ein Kommentar in der Regel einen knackigen und kompetenten Überblick über das gesamte Feld, präsentiert dazu die aktuell offenen Fragen und Probleme, ordnet die frischen Ergebnisse des neuen Papers samt Bewertung in diesen Rahmen ein — und wagt zudem noch einen Ausblick, welche weiteren Fragen durch die neuen Erkenntnisse nun womöglich leichter angegangen werden könnten.

Viele Autoren werten es daher als eine Art „Ritterschlag“ ihres Papers, wenn dieses durch einen „Eingeladenen Kommentar“ quasi geadelt wird. Allerdings sind solche „Invited Commentaries“ offenbar manchmal doch eher ein Quell des Ärgernisses für die Autoren des kommentierten Papers. Diesen Beitrag weiterlesen »

Information 4


Information 5


Information 6