Die Geister des Peer Review

8. Mai 2019 von Laborjournal

Hand auf’s Herz, liebe Profs und Gruppenleiter: Wer von euch hat schon mal einen Postdoc oder anderen Mitarbeiter der eigenen AG ein Manuskript begutachten lassen, das ihm zum Peer Review geschickt wurde — und das Gutachten am Ende gänzlich unter eigenem Namen an den Journal-Editor zurückgeschickt? Rein statistisch müsste sich jetzt eigentlich jeder Zweite ertappt fühlen — jedenfalls, wenn man das Ergebnis einer aktuellen Befragung von Nachwuchsforschern durch US-Forscher mal herumdreht: Knapp die Hälfte von fünfhundert befragten Early Career Researchers gab darin an, bereits als Ghostwriter im Namen des Chefs einen Peer Review verfasst zu haben — ohne dass den Journal-Editoren deren Autorenschaft offenbart wurde (. Die große Mehrheit von ihnen kam aus den Life Sciences.

In der gleichen Umfrage verurteilten achtzig Prozent der Befragten diese Praxis der verschwie­genen Review-(Ko)-Autoren. Warum aber kommt es trotzdem zu derart vielen GhostwriterReviews?

Die Zielrichtung dieser Frage muss man vorab genauer erklären. Diesen Beitrag weiterlesen »

Für ein paar Referenzen mehr…

25. April 2019 von Laborjournal

Es war einmal ein Editor. Dies war er noch nicht lange, denn er war noch ein sehr junger Forscher. Umso stolzer machte ihn seine erste Berufung in ein Editorial Board. Schließlich durfte er das durchaus als unmittelbare Wertschätzung seiner Forschungsarbeiten deuten. Und als Aufnahme in einen gewissen, wie auch immer gearteten „Club“.

Jetzt stand sein erstes Treffen mit dem gesamten Board an, bei dem wie in jedem Jahr die Editorial Policy kritisch geprüft sowie die Schwerpunkte neu fokussiert wurden. Unser junger Mann war beeindruckt von der Routine, mit der die erfahrenen Forscher und langjährigen Editoren die Dinge auf den Punkt brachten. Alles war so, wie er es sich vorgestellt hatte.

Vor allem publikationsethisch schien unserem jungen Editor alles einwandfrei. Das war ihm besonders wichtig in diesen Tagen des „Publish or perish“ und der immer aggressiveren Konkurrenz zwischen den Journalen. „Nein, alles auf einem guten Weg hier“, dachte er. „Und ich bin dabei.“

Blieb nur noch das Abschluss-Bankett. Bei diesem nahm ihn plötzlich der Chief Editor persönlich beiseite. Diesen Beitrag weiterlesen »

Zehnmal #Forscherfrust

28. Februar 2019 von Laborjournal

In der vergangenen Woche eröffneten wir auf Twitter den Hashtag #Forscherfrust. Unsere zehn Beispiele für entsprechende Frusterlebnisse rund um das Forscher-Dasein sind hier nochmals zusammengetragen:

x

x

Wenn jemand noch weitere Beispiele loswerden will — entweder hier unten im Kommentarfenster oder unter dem Hashtag #Forscherfrust auf Twitter.

x

Verstehen wir uns noch?

9. Januar 2018 von Laborjournal

Denn sie wissen nicht, was sie tun. — Viele dürfte diese Zeile unmittelbar an den gleichnamigen Filmklassiker mit James Dean erinnern. Heute könnte sie jedoch auch für einen großen Teil biomedizinischer Forschung gelten.

Wobei man hier ein klein wenig wie folgt präzisieren müsste: „Denn sie wissen nicht mehr, was der andere tut.“ Bittere Konsequenz dessen, dass in vielen Gebieten die einzelnen Veröffentlichungen immer komplexer werden.

Ein besonders eindrückliches Beispiel dafür schilderte kürzlich Dorothy Bishop von der Oxford University in ihrem „BishopBlog“. In dem entsprechenden Beitrag klagt sie, dass sie die Publika­tionen ihrer Kollegen immer weniger versteht, sobald sie auch nur ein klein wenig über ihren eigenen Tellerrand hinausschaut. Sie schreibt:

Für eine Art Meta-Analyse über die Anwendung bestimmter statistischer Methoden studierte ich zuletzt eine Reihe von neurowissenschaftlichen Artikeln“, schreibt sie. „Einige davon musste ich stundenlang lesen und wieder lesen, bis ich endlich verstan­den hatte, welches überhaupt die statistisch relevantesten Ergebnisse waren.

Und dann schwenkt sie auf den eigentlich beunruhigenden Punkt um:

Mir scheint daher, dass in manchen Feldern die Zahl der Kollegen, die derart komplexe Paper überhaupt noch umfassend und kompetent begutachten können, extrem zusammenschnurrt.

Selbst gute und engagierte Editoren würden daher irgendwann kaum noch Reviewer mit voll­um­fäng­lich ausreichender Expertise auftreiben können. Und umgekehrt würde es den meisten immer stärker widerstreben, solch hochkomplexe Studien zu prüfen, wenn sie derart viel Substanz jenseits der eigenen Expertise enthalten.

Und Frau Bishop ist mit solchen Befürchtungen keineswegs allein. Bereits 2013 fragte Diethard Tautz, Direktor am Plöner Max-Planck-Institut für Evolutionsbiologie, in einem Essay für Labor­journal:

Lesen wir noch, was andere schreiben? Ja, verstehen wir uns überhaupt noch?

Und er erzählte folgendes Beispiel:

Ich musste kürzlich so ein „Big Data“-Paper für ein angesehenes Journal begutachten. Es hatte 60 Autoren und präsentierte ein Feuerwerk an intelligenten Auswertungen, Statistiken und Modellierungen. Etwas seltsam war der modulare Aufbau. Die einzelnen Teile des Papers waren offensichtlich von unterschiedlichen Autoren geschrieben worden, jeder ein Spezialist für sein Feld mit einem eigenen Sprachstil und wenig Bezug zu den anderen Modulen. An ein paar ‚Kleinigkeiten‘ wie fehlenden Übergängen und unvollständigen Sätzen war zu erkennen, dass die meisten der Autoren offen­sicht­lich ihr eigenes Paper nicht vollständig gelesen haben konnten — denn zumindest einem von den 60 hätte so etwas doch auffallen müssen. Haben auch Autoren gar keine Zeit mehr zum Lesen oder ist das der Beginn der Sprachverwirrung? Auch als Gutachter konnte ich nur einen Teil kompetent begutachten, den Rest nur auf Plausibilität prüfen. Und ich vermute, dass es den anderen Gutachtern ebenso ging.

Und er schloss:

Natürlich wurde es publiziert — und ich darf annehmen, dass es so gut wie keinen Leser mehr gibt, der wirklich alles davon versteht. Wenn das so weiter geht, dann sind wir bald nahe an dem Punkt,… dass keiner des andern Sprache verstehe!

Wobei das letztere Zitat jetzt nicht aus der Filmwelt kommt.

Ralf Neumann

 

Vertrauenssache Peer Review

29. September 2017 von Laborjournal

Mitarbeiter der Annals of Internal Medicine stellten vorletzte Woche auf dem International Congress for Peer Review and Scientific Publication die Ergebnisse einer ziemlich interessanten Befragung vor. Deren Thema: Missbrauch von eingereichten Manuskripten durch Peer Reviewer (Originaltitel: Misuse of Received Manuscripts by Peer Reviewers: A Cross-sectional Survey).

Als Resultat halten sie zunächst einmal fest:

A total of 1431 of 3275 invited reviewers (44%) returned the survey […] Nearly half indicated having reviewed and published more than 50 manuscripts and having mentored others in peer review. Reasons reported for agreeing to review included keeping up to date in a research field (957/1417 [68%]), a sense of obligation to peer review (1316/1417 [93%]), …

So weit, so gut. Mit dem nächsten Grund, warum die Befragten die Manuskripte zur Begutachtung annehmen, wird es dann allerdings schon etwas kniffliger:

… and to know what competitors are doing (190/1417 [13%]).

Aha — ganze 13 Prozent der Befragten gaben also zu, Manuskripte vor allem deswegen zur Begutachtung anzunehmen, weil es ein guter Weg sei, sich darüber zu informieren, was die Konkurrenz so treibt. Da man derlei aber selbst in anonymen Umfragen aus selbstwertdienlichen Gründen nicht wirklich gerne preisgibt, dürften die 13 Prozent die tatsächliche Realität sogar noch schmeichelhaft abbilden.

Doch es kommt noch besser:

One hundred sixty-nine of 1417 (12%) had agreed to review manuscripts from authors with whom they had conflicts of interest; of these, 61 (36%) did so without informing the journal’s editor. One hundred fifty-three of 1413 (11%) showed manuscripts to colleagues without seeking permission.

Diese Art „Schindluder-Verhalten“ gibt man in diesem Zusammenhang sicher noch weniger gerne zu. Mit der Folge, dass die „Dunkelziffern“ für diese Art Missbrauch von anvertrauten Manuskripten nochmals höher ausfallen dürften.

Gleiches gilt natürlich auch für das letzte vorgestellte Ergebnis der Befragung:

Twenty-six of 1414 (2%; 95% CI, 1%-3%) indicated having used the information in a reviewed manuscript for personal or academic benefit prior to the paper’s publication. Such reported use included using what was learned to alter one’s own research plans, speeding up journal submission of one’s own work related to the subject of the manuscript being reviewed, and copying some part of the reviewed manuscript for one’s own work.

Okay, das sind zwar nur zwei Prozent — aber dennoch heißt das zusammen mit den anderen, bereits genannten Ergebnissen schlichtweg, dass das Vertrauensverhältnis zwischen Autoren und Gutachtern, auf dem das gesamte Peer-Review-System fußt, offenbar deutlich öfter gebrochen wird, als einem lieb sein kann.

Entsprechend schreiben die Autoren dann auch in ihrer Conclusion:

Trust that reviewers will treat manuscripts received for peer review as confidential communications is an essential tenet of peer review. Although self reported and of uncertain generalizability, these results suggest that breaches of this trust do occur. Larger studies involving multiple journals should be considered to assess the generalizability of these results and to inform targeted educational initiatives aimed at promoting the highest ethical standards among peer reviewers.

Kommentare, Meinungen oder gar eigene Erlebnisse zu potenziellem Peer-Review-Missbrauch nehmen wir gerne entgegen. Entweder direkt hier über das unten folgende Kommentarfenster, oder auch diskreter via Mail an die Laborjournal-Redaktion.

Das Recht am Peer Review

4. Juli 2017 von Laborjournal

Nette Geschichte, die Pandelis Perakakis auf seiner Academic Website über seinen Kollegen Angel Correa vom Brain, Mind & Behaviour Research Center der Universität Granada notiert hat. Dieser hatte von einem Elsevier-Editor die Einladung erhalten, ein eingereichtes Manuskript für eines ihrer Journals zu begutachten. Correa schrieb zurück, dass er dies gerne tun würde — allerdings unter einer Bedingung: Würde das Paper am Ende zur Veröffentlichung akzeptiert, sollte das Journal seinen Review in der gleichen Ausgabe mit veröffentlichen — als „Kommentar“ oder wie auch immer, aber auf jeden Fall frei zugänglich via Open Access.

Correa lieferte auch eine Begründung dafür. Als Wissenschaftler im Staatsdienst habe er entschieden, seine Arbeitszeit nicht völlig selbstlos in das Interesse von Journals zu investieren, die privatwirtschaftliche Zwecke verfolgen.

Der Editor antwortete daraufhin zunächst schnippisch, dass er Correas Entscheidung, nicht mehr am Scientific Process teilzunehmen, sehr bedauere. In einer zweiten Mail schob er jedoch nach, dass er nach seiner Auffassung gerade als Staatsbediensteter die Verpflichtung habe, der Peer Review-Anfrage nachzukommen. Dies nicht nur, weil auch seine Institution dafür zahle, dass dessen Verlag einen ordentlichen Peer Review-Prozess organisiert und durchführt — sondern weil die Wissenschaftsgemeinde schlichtweg auf diese Art funktioniere. Schließlich erwarte er ja auch, dass seine Paper von Peers begutachtet werden.

Correa bemühte daraufhin zunächst einige Höflichkeitsfloskeln, um dann zu folgendem Schluss zu kommen: „Ich denke, es würde meiner Selbstverpflichtung zu Open Science auch Genüge tun, wenn ich als Autor des Peer Reviews die Rechte daran behalte, so dass ich diesen selbst veröffentlichen kann — vorausgesetzt natürlich, das Manuskript wird veröffentlicht. Geben Sie mir also bitte bescheid, ob Ihr Journal in diesem Fall die Verwertungsrechte bei mir, also dem Autor des Reviews, belässt.“

Eine Antwort darauf blieb bis heute aus.

Ralf Neumann

(Illustr.: Fotolia)

x

Wozu Journals?

10. November 2016 von Laborjournal

 

dustbook3

 

Es ist und bleibt interessant, immer wieder mal in unseren alten Ausgaben zu blättern. Nicht nur, aber auch, um zu sehen, wie sich gewisse Dinge in der Zwischenzeit entwickelt haben.

Kürzlich etwa blieb ich an folgendem Text unserer „Inkubiert“-Kolumne aus Heft 4/2000 (!) hängen:

Wozu braucht man Fach-Journale? Vor allem doch wohl als Vehikel von Information. Allerdings ist da das Internet mittlerweile schneller, billiger, einfacher und vielseitiger. So gesehen erfüllen die Fachblätter also ihre primäre Aufgabe inzwischen nicht mehr optimal. Allenfalls als glorifizierte Listen von Leseempfehlungen taugen sie noch. Womit wir direkt bei der nächsten Frage wären: Braucht man noch ein System des Vorab-Peer Review? Zumal doch gerade auf dem gut gedüngten Boden des anonymen Peer Review-Systems die menschlichen Schwächen der Gutachter oftmals allzu üppig wuchern. Warum also nicht gleich einfach alles unmittelbar und direkt im Internet publizieren — allenfalls durch eine grobe Vorab-Kontrolle von blankem Unsinn freigehalten? Beurteilt nicht sowieso jeder Forscher selbst die Artikel, die ihn interessieren — ob von Gutachtern empfohlen oder nicht? Was ein echter Forscher ist, sollte dies jedenfalls alleine können. Herrliche Diskussionen direkt im Anhang an die einzelnen Artikel könnten sich entwickeln. Nachlesbar und gezeichnet. Ein Artikel wäre nicht nur Information, sondern auch Anstoß zur Debatte. Jedenfalls die guten unter ihnen. Und daran wiederum würde man sie erkennen. Ja, ja — jetzt schreien wieder einige, dass unter solchen Bedingungen doch am Ende jeder Schrott publiziert würde. Hmm? Ohne Journals publiziert vielleicht tatsächlich nur, wer wirklich etwas Neues hat. Und schielt nicht vorrangig danach, durch Publikation in prestigeträchtigen Journals Impact-Punkte zu sammeln.

Scheint es nur mir so, dass wir heute, 16 Jahre später, in dieser Diskussion immer noch weitgehend auf demselben Stand sind?

x

Von Wissenschaft und Pfannen

21. Juli 2016 von Laborjournal

nonstickypanWorin unterscheidet sich die Wissenschaft von Pfannen? Zugegeben, der Kalauer mag an den Haaren herbeigezogen sein — aber sei‘s drum: Pfannen reinigen sich immer besser selbst, in der Wissenschaft dagegen…

Seit Jahrzehnten beschwören Forscher sie fast schon gebetsmühlenartig, die Selbstreinigungskraft der Wissenschaft — vor allem wenn es gilt, die Forschungsfreiheit als ihr höchstes Gut vor ungebetenem Regulierungseifer zu schützen. Schließlich habe man schon lange ein dreifaches Sicherheitsnetz gesponnen, um schlampige, schlechte oder gar unehrenhafte Forschung frühzeitig auszusortieren:

Netz Nummer eins bilden die Gutachter, die entscheiden, welche Forschung überhaupt Geld erhält. Ziemlich grobmaschig, zugegeben — aber allzu tumbes Zeug dürfte trotzdem darin hängenbleiben.

Netz Nummer zwei ist das Peer Review-System der Journale. Fachkundige Kollegen prüfen hierbei vor — und neuerdings auch immer öfter nach — einer Veröffentlichung peinlich genau, ob die im Manuskript beschriebene Forschung überhaupt wissenschaftlichen Standards genügt. So wenigstens das Ideal.

Wer nicht bereits in einem dieser beiden Netze zappelt, der sieht sich bald dem dritten gegenüber: der Replikation der Ergebnisse. Taugen diese was, so säen und ernten Kollegen nachfolgend weitere Resultate auf ihnen. Will auf deren Basis jedoch partout nichts mehr sprießen, so werden sie im Nachgriff oftmals selbst als fauliges Fundament enttarnt. Und stinkt dieses gar zu arg, zieht man die entsprechenden Paper zurück — und entsorgt deren Inhalt damit offiziell aus dem wissenschaftlichen Bewusstsein.

Immer öfter ist solches zuletzt geschehen. Irgendwer entdeckte plötzlich Widersprüche in den publizierten Daten, oder aber nachfolgende wollten einfach nicht dazu passen. Und da man den mitgeteilten Ergebnissen daher nicht mehr trauen konnte, zog man das betreffende Paper zurück.

Na also, funktioniert doch — könnte man meinen. Allerdings sind solche Arbeiten nicht selten bis zu ihrem Rückzug schon viele, viele Male zitiert worden, offenbar ohne dass jemand Verdacht geschöpft hatte. In einem solchen Fall versuchte ein Kollege kürzlich, diese Unstimmigkeit folgendermaßen zu begründen: „Frage und Techniken waren viel zu komplex, als dass bis dahin irgendjemand sonst die Ergebnisse in vollem Umfang hätte replizieren können.“

Nun ja, so weit kann es mit Pfannen nicht kommen — noch ein Unterschied.

Forschung steht auf einer Säule, nicht auf vier

3. September 2015 von Laborjournal

Die Institutionen sollen ihren Teil zu Reproduzierbarkeit und zuverlässige Forschung beitragen — das fordern Ulrich Dirnagl, Leiter des Schlaganfallcentrums an der Charité Berlin, sowie Glenn Begley, leitender Wissenschaftler bei der US-Firma TetraLogic Pharmaceuticals, und Alastair Buchan, Medizindekan an der Universität Oxford ganz frisch in Nature (Vol. 525: 25–27).

In ihrem Meinungsartikel identifizieren die drei Autoren die Universitäten und andere akademische Forschungseinrichtungen als mitverantwortlich für die mangelnde Reproduzierbarkeit publizierter Ergebnisse und werfen ihnen gar einen laxen Umgang mit wissenschaftlichem Fehlverhalten ihrer Forscher vor. Statt die Akademiker zu immer mehr und immer bombastischeren Publikationen zu anzutreiben, sollten die Institutionen lieber Sorgfältigkeit, Selbstkritik, gute Mitarbeiterschulung und zuverlässige Versuchsaufzeichnungen fördern — so die Autoren weiter. Konkret sollten sie dazu interne Regeln für die sogenannte Good Institutional Practice einführen. Wissenschaftler, die diese vorbildlich umsetzen, sollten mit Beförderungen belohnt werden, deren nachlässigere Kollegen hingegen Personal- und Fördermittelkürzung befürchten müssen.

Allesamt gute und sehr sinnvolle Vorschläge, ohne Frage. Nur wirken sie ein wenig wie das Weiterreichen von Verantwortung. Diesen Beitrag weiterlesen »

Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Laborjournal

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Information 1


Information 2


Information 2


Info

Info

INTEGRA bietet Ihnen die Chance, eine von 100 PIPETBOY acu 2 Pipettierhilfen zu gewinnen. Erfahren Sie hier wie! mehr

Info

Info

Exakte und re­pro­du­zier­bare Daten sind Vor­aus­set­zung für erfolgreiches Publizieren. Erfahren Sie mehr! mehr

Info

Info

Die Zellkultureinsätze Insert 2in1 können in 6-, 12- oder 24-well Platten stehend und hängend verwendet werden. mehr

Info

Info

The Cubis© II platform is the only lab balance with fully customizable hardware, software, and connectivity. mehr

Info

Info

Im September 1991 wanderten zwei Touristen in den Ötztaler Alpen, als sie die Leiche eines Mannes fanden. mehr