Wozu Journals?

10. November 2016 von Ralf Neumann

 

dustbook3

 

Es ist und bleibt interessant, immer wieder mal in unseren alten Ausgaben zu blättern. Nicht nur, aber auch, um zu sehen, wie sich gewisse Dinge in der Zwischenzeit entwickelt haben.

Kürzlich etwa blieb ich an folgendem Text unserer „Inkubiert“-Kolumne aus Heft 4/2000 (!) hängen:

Wozu braucht man Fach-Journale? Vor allem doch wohl als Vehikel von Information. Allerdings ist da das Internet mittlerweile schneller, billiger, einfacher und vielseitiger. So gesehen erfüllen die Fachblätter also ihre primäre Aufgabe inzwischen nicht mehr optimal. Allenfalls als glorifizierte Listen von Leseempfehlungen taugen sie noch. Womit wir direkt bei der nächsten Frage wären: Braucht man noch ein System des Vorab-Peer Review? Zumal doch gerade auf dem gut gedüngten Boden des anonymen Peer Review-Systems die menschlichen Schwächen der Gutachter oftmals allzu üppig wuchern. Warum also nicht gleich einfach alles unmittelbar und direkt im Internet publizieren — allenfalls durch eine grobe Vorab-Kontrolle von blankem Unsinn freigehalten? Beurteilt nicht sowieso jeder Forscher selbst die Artikel, die ihn interessieren — ob von Gutachtern empfohlen oder nicht? Was ein echter Forscher ist, sollte dies jedenfalls alleine können. Herrliche Diskussionen direkt im Anhang an die einzelnen Artikel könnten sich entwickeln. Nachlesbar und gezeichnet. Ein Artikel wäre nicht nur Information, sondern auch Anstoß zur Debatte. Jedenfalls die guten unter ihnen. Und daran wiederum würde man sie erkennen. Ja, ja — jetzt schreien wieder einige, dass unter solchen Bedingungen doch am Ende jeder Schrott publiziert würde. Hmm? Ohne Journals publiziert vielleicht tatsächlich nur, wer wirklich etwas Neues hat. Und schielt nicht vorrangig danach, durch Publikation in prestigeträchtigen Journals Impact-Punkte zu sammeln.

Scheint es nur mir so, dass wir heute, 16 Jahre später, in dieser Diskussion immer noch weitgehend auf demselben Stand sind?

x

Von Wissenschaft und Pfannen

21. Juli 2016 von Ralf Neumann

nonstickypanWorin unterscheidet sich die Wissenschaft von Pfannen? Zugegeben, der Kalauer mag an den Haaren herbeigezogen sein — aber sei‘s drum: Pfannen reinigen sich immer besser selbst, in der Wissenschaft dagegen…

Seit Jahrzehnten beschwören Forscher sie fast schon gebetsmühlenartig, die Selbstreinigungskraft der Wissenschaft — vor allem wenn es gilt, die Forschungsfreiheit als ihr höchstes Gut vor ungebetenem Regulierungseifer zu schützen. Schließlich habe man schon lange ein dreifaches Sicherheitsnetz gesponnen, um schlampige, schlechte oder gar unehrenhafte Forschung frühzeitig auszusortieren:

Netz Nummer eins bilden die Gutachter, die entscheiden, welche Forschung überhaupt Geld erhält. Ziemlich grobmaschig, zugegeben — aber allzu tumbes Zeug dürfte trotzdem darin hängenbleiben.

Netz Nummer zwei ist das Peer Review-System der Journale. Fachkundige Kollegen prüfen hierbei vor — und neuerdings auch immer öfter nach — einer Veröffentlichung peinlich genau, ob die im Manuskript beschriebene Forschung überhaupt wissenschaftlichen Standards genügt. So wenigstens das Ideal.

Wer nicht bereits in einem dieser beiden Netze zappelt, der sieht sich bald dem dritten gegenüber: der Replikation der Ergebnisse. Taugen diese was, so säen und ernten Kollegen nachfolgend weitere Resultate auf ihnen. Will auf deren Basis jedoch partout nichts mehr sprießen, so werden sie im Nachgriff oftmals selbst als fauliges Fundament enttarnt. Und stinkt dieses gar zu arg, zieht man die entsprechenden Paper zurück — und entsorgt deren Inhalt damit offiziell aus dem wissenschaftlichen Bewusstsein.

Immer öfter ist solches zuletzt geschehen. Irgendwer entdeckte plötzlich Widersprüche in den publizierten Daten, oder aber nachfolgende wollten einfach nicht dazu passen. Und da man den mitgeteilten Ergebnissen daher nicht mehr trauen konnte, zog man das betreffende Paper zurück.

Na also, funktioniert doch — könnte man meinen. Allerdings sind solche Arbeiten nicht selten bis zu ihrem Rückzug schon viele, viele Male zitiert worden, offenbar ohne dass jemand Verdacht geschöpft hatte. In einem solchen Fall versuchte ein Kollege kürzlich, diese Unstimmigkeit folgendermaßen zu begründen: „Frage und Techniken waren viel zu komplex, als dass bis dahin irgendjemand sonst die Ergebnisse in vollem Umfang hätte replizieren können.“

Nun ja, so weit kann es mit Pfannen nicht kommen — noch ein Unterschied.

Forschung steht auf einer Säule, nicht auf vier

3. September 2015 von Ralf Neumann

Die Institutionen sollen ihren Teil zu Reproduzierbarkeit und zuverlässige Forschung beitragen — das fordern Ulrich Dirnagl, Leiter des Schlaganfallcentrums an der Charité Berlin, sowie Glenn Begley, leitender Wissenschaftler bei der US-Firma TetraLogic Pharmaceuticals, und Alastair Buchan, Medizindekan an der Universität Oxford ganz frisch in Nature (Vol. 525: 25–27).

In ihrem Meinungsartikel identifizieren die drei Autoren die Universitäten und andere akademische Forschungseinrichtungen als mitverantwortlich für die mangelnde Reproduzierbarkeit publizierter Ergebnisse und werfen ihnen gar einen laxen Umgang mit wissenschaftlichem Fehlverhalten ihrer Forscher vor. Statt die Akademiker zu immer mehr und immer bombastischeren Publikationen zu anzutreiben, sollten die Institutionen lieber Sorgfältigkeit, Selbstkritik, gute Mitarbeiterschulung und zuverlässige Versuchsaufzeichnungen fördern — so die Autoren weiter. Konkret sollten sie dazu interne Regeln für die sogenannte Good Institutional Practice einführen. Wissenschaftler, die diese vorbildlich umsetzen, sollten mit Beförderungen belohnt werden, deren nachlässigere Kollegen hingegen Personal- und Fördermittelkürzung befürchten müssen.

Allesamt gute und sehr sinnvolle Vorschläge, ohne Frage. Nur wirken sie ein wenig wie das Weiterreichen von Verantwortung. Diesen Beitrag weiterlesen »

Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Ralf Neumann

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Reviewer No. 3

2. Oktober 2014 von Ralf Neumann

Während einer Recherche zum Thema Peer Review folgende nette Geschichte gehört:

Professor X erinnerte sich, wie er seinerzeit als Doktorand sein allererstes Manuskript abgeschickt hatte und nun aufgeregt auf den Bescheid des Journals wartete. Er kam schließlich mit drei Reviews. Zwei waren positiv, wenn auch mit einigen Änderungswünschen — Review No. 3 dagegen war ein Schlag in die Magengrube. Dass der Gutachter das Paper inhaltlich in tausend Fetzen zerriss, war das eine. Dazu kam das Wie. Reviewer No. 3 präsentierte seine Kritik in einem derart herablassend-aggressiven Ton, dass Jung-X zunächst einmal förmlich die Luft wegblieb. Es wimmelte darin geradezu vor Vokabeln wie „naiv“, „trivial“, „unangemessen“, „unvollständig“, „verirrt“, „Fehlschluss“, „schlampig“, „lächerlich“,…

Als er sich schließlich halbwegs von dem Schock erholt hatte, stieg Zorn in ihm hoch — und er begann, sich „das Arschloch“ vorzustellen. „Sicher so ein frustrierter alter Sack, kurz vor der Pensionierung“, dachte X. „Ein ergrautes, faltiges Alphatier, das Spaß daran hat, den Jungen nochmal so richtig zu zeigen, wo der Hammer hängt. Der ansonsten aber gerade darüber verbittert, dass seine Zeit nun endgültig bald vorbei ist. Da kommt ihm ein Manuskript von so einem kleinen Würstchen wie mir natürlich gerade recht, um all den Frust und die Verbitterung unerkannt, aber wirksam rauszulassen.“

X fand nie heraus, wer tatsächlich dieser „Reviewer No. 3“ war. Allerdings wurde er später selbst Editor und Chief Editor bei mehreren Zeitschriften. Und da gingen natürlich jede Menge weiterer solcher „Reviewer No. 3“-Gutachten über seinen Tisch. Nicht dass er gezielt danach geschaut hatte, aber irgendwann fiel ihm dabei auf, dass die meisten dieser „Reviewer No. 3“-Gutachten eben nicht von bärbeißigen alten Platzhirschen verfasst waren. Ganz im Gegenteil, vielmehr stammten sie auffallend oft aus den Federn junger Senior-Postdocs oder Nachwuchsgruppenleiter.

Gefragt, ob X dafür irgendeine Erklärung habe, antwortete er: „Ich glaube, es kommt von der Unerfahrenheit und Unsicherheit. Die Leute kriegen teilweise ihr erstes Manuskript auf den Tisch — und haben vorher nirgendwo lernen können, wie man einen Review eigentlich macht. Da wollen sie natürlich keinen Fehler machen, um Himmels willen nichts Wichtiges übersehen oder vergessen. Ebenso möchten sie natürlich nicht als „zu sanft“ oder unkritisch erscheinen. Und in dem Zwang, all dies vor allem sich selbst beweisen zu müssen, verlieren sie irgendwann das rechte Maß — und schießen am Ende über das Ziel hinaus…“

Also eher junge aufgeregte Kläffer als bärbeißige graue Platzhirsche.

Undurchsichtige Stiftung?

4. Juli 2014 von Kommentar per Email

Kürzlich erhielt die Laborjournal-Redaktion eine E-Mail, in der der Verfasser die Begutachtungspolitik der Else Kröner-Fresenius-Stiftung folgendermaßen kritisiert:

Ich habe mit dem Begutachtungsverfahren der Else Kröner-Fresenius-Stiftung äußerst negative Erfahrungen gemacht.

Zwei meiner im Abstand von etwa 12 Monaten eingereichten Anträge zu unterschiedlichen wissenschaftlichen Fragestellungen wurden bereits nach jeweils 2-monatiger Bearbeitungszeit abgelehnt. In der schriftlichen Mitteilung wurde mir empfohlen, die Ablehnungsgründe telefonisch abzufragen, was ich auch tat. Die Antworten waren aber nichtssagend: Es wurden formale Gründe genannt (der Antrag sei zu lang; der Antrag sei teilweise zu deskriptiv). Als wesentlicher Grund wurde jedoch auf eine zu niedrige Priorität in einem wie auch immer gearteten Vorbegutachtungsverfahren hingewiesen.

Ich möchte erwähnen, dass die Stiftung äußerst detaillierte Projektbeschreibungen einfordert. Es müssen beispielsweise ein bewilligter Tierversuchsantrag oder ein von der Ethikkommission genehmigter Antrag vorliegen. Die Vorbereitung solcher Anträge ist zeitraubend und relativ teuer.

Es wäre interessant zu erfahren, wie das Begutachtungsverfahren bei der Stiftung strukturiert ist. Bei der DFG ist dies mittlerweile absolut transparent und nachvollziehbar. Es werden ausführliche schriftliche Gutachten verschickt, die die Empfehlungen des zuständigen Panels (deren Mitglieder demokratisch gewählt werden und namentlich auf der Homepage erscheinen) beinhalten.

Es wäre schade, falls die Else Kröner-Fresenius-Stiftung ihre Mittel unabhängig von den üblichen Vorgaben der Peer-Review-Praxis verteilen würde und stattdessen einem nicht definierten „Bauchgefühl“ anonymer Gutachter folgt. In Zeiten knapper Ressourcen sollte dies bei einer finanzstarken Stiftung vermieden werden.

Ich würde mich sehr freuen, falls Sie dieser Frage nachgehen könnten und dadurch weiteren Antragstellern ähnlicher Ärger eventuell erspart werden könnte.

Möchte dazu jemand weitere Erfahrungen mitteilen? Entweder direkt im Kommentarfenster unten oder direkt an redaktion@laborjournal.de.

Einstein und der Peer Review

24. Juni 2014 von Ralf Neumann

Auch Einstein hielt anfangs nicht viel von Peer Review. Aus seiner „deutschen Zeit“ kannte er dieses System, etwa von seinen fünf berühmten 1905er-Artikeln in den Annalen der Physik, überhaupt nicht. Erst nachdem er in die USA ausgewandert war, sah er sich plötzlich damit konfrontiert, dass seine Manuskripte bisweilen zunächst irgendwelchen Kollegen zur Begutachtung vorgelegt wurden.

Das Online-Organ The Conversation hat dazu gerade eine nette Anekdote wieder ausgegraben, die Physics Today bereits 2005 veröffentlicht hatte. Demnach schickte Einstein zusammen mit seinem Kollegen Nathan Rosen 1936 ein Manuskript über Gravitationswellen an Physical Review. Dessen damaliger Chief Editor John Tate fand das Manuskript aber offenbar derart kontrovers, spekulativ, ja geradezu „phantastisch“, dass er es Einsteins Princeton-Nachbarn Howard Percey Robertson zum Begutachten schickte. Immerhin stellten Einstein und Rosen darin gar die Wellennatur der Gravitation überhaupt in Frage.

Robertson schrieb einen zehnseitigen Kommentar mit jeder Menge gravierender „Entschärfungssvorschlägen“, den Tate umgehend an Einstein weiterleitete. Dieser schrieb Tate schnöde zurück:

We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorised you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.

Einstein publizierte das Manuskript letztlich in dem deutlich „bescheideneren“ Journal of the Franklin Institute. Dies allerdings erst nach einiger Zeit — und mit einem Großteil der Änderungen, die Robertson vorgeschlagen hatte. Es sollte sich herausstellen, dass die Beiden in der Zwischenzeit ausführlich in Princeton über die Befunde des Manuskripts diskutiert hatten — wobei Einstein am Ende offenbar doch einräumen musste, dass dessen schlussfolgernde Behauptungen etwas zu hoch gegriffen waren.

Womöglich bewahrte dieser indirekte Peer Review Einstein also vor einer gehörigen öffentlichen Blamage. In einem reinen Post-Publication-Peer-Review-System, wie es viele heute fordern, hätte er sich sehr wahrscheinlich mit einem voreiligen Schnellschuss ziemlich in die Nesseln gesetzt.

Autoren am Rande des Nervenzusammenbruchs (23)

14. Februar 2014 von Ralf Neumann

Gerade am Telefon folgende interessante Geschichte gehört:

Forscherin hatte mit ihren Leuten eine Studie abgeschlossen, deren Ergebnisse sie für „bahnbrechend“ hielt — sowohl, was gewisse zelluläre Steuermechanismen anging, wie auch in ihrer klinischen Bedeutung. Auch das Manuskript hielt sie für überaus gelungen (was ja keineswegs automatisch der Fall ist, nur weil man gute Daten hat). Doch die Enttäuschung kam prompt: Der Editor des Edelblatts, welches sie für die Veröffentlichung ausgewählt hatte, schickte das Manuskript schnöde wieder zurück. Abgelehnt, ohne überhaupt zum Review geschickt worden zu sein!

Der Editor hatte das Manuskript offenbar nur kurz überflogen — und entschieden, dass es nicht mal einen Peer Review wert war. Warum? — fragte sich unsere Forscherin. Waren die Daten doch nicht so gut, wie sie gedacht hatte? Enthielten die Schlussfolgerungen logische Fehler? Hatte sie mit der Bedeutung der Resultate für das gesamte Feld übertrieben? Oder war es vielleicht „nur“ schlecht geschrieben? Es musste ja wohl etwas Offensichtliches sein, dass der Editor es umgehend wieder zurückschickte. Aber diesen „offensichtlichen“ Grund hätte der Editor doch wenigstens mitteilen können. Das wäre doch ein wichtiges und konstruktives Feedback gewesen.

Immer wieder drehten diese und ähnliche Gedanken ihre Kreise im Kopf der Forscherin — bis sie den Entschluss fasste, den Editor in dieser Angelegenheit nochmals anzuschreiben. Höflich erklärte sie in dem Schreiben noch einmal kurz und klar, warum sie ihre Ergebnisse für so wichtig hielt — und warum das Paper daher ihrer Meinung nach genau in dieses Journal passen würde. Nur um schließlich darum zu bitten, ihr kurz mitzuteilen, was genau die Editoren dazu bewogen hatte, das Manuskript nicht einmal begutachten zu lassen. Schließlich könne ihr eine entsprechende „handfeste“ Rückmeldung enorm helfen, das Manuskript zu verbessern — wenn auch wohl für ein anderes Journal.

Die Antwort kam eine Woche später — und ließ unsere Forscherin endgültig den Glauben an das Peer Review-System verlieren: „We cannot give you any feedback as the paper had not been sent out for review.“

Best of Science Cartoons (23)

10. Januar 2014 von Ralf Neumann

xxxxx

(Von Ted Morrow via Twitter)

Seid kritisch mit „Invited Commentaries“!

6. Dezember 2013 von Ralf Neumann

Nicht nur Nature bringt wöchentlich seine “News & Views”, oder Science seine “Perspectives” — nein, inzwischen präsentieren auch viele, viele andere Journals unter jeweils eigenen Rubriknamen sogenannte “Invited Commentaries”. Kurz gesagt, schicken dafür die Editoren die ihrer Meinung nach heißesten Originalpaper jeder einzelnen Ausgabe vorab an ausgewählte „Experten“ und bitten diese die darin vorgestellten Ergebnisse hinsichtlich ihrer Bedeutung für das gesamte Feld zu kommentieren.

Diese Kommentare sind meist durchaus nett und gewinnbringend zu lesen — insbesondere auch für den Forscher, der gerne mal ein wenig über den Tellerrand schaut. Schließlich liefert solch ein Kommentar in der Regel einen knackigen und kompetenten Überblick über das gesamte Feld, präsentiert dazu die aktuell offenen Fragen und Probleme, ordnet die frischen Ergebnisse des neuen Papers samt Bewertung in diesen Rahmen ein — und wagt zudem noch einen Ausblick, welche weiteren Fragen durch die neuen Erkenntnisse nun womöglich leichter angegangen werden könnten.

Viele Autoren werten es daher als eine Art „Ritterschlag“ ihres Papers, wenn dieses durch einen „Eingeladenen Kommentar“ quasi geadelt wird. Allerdings sind solche „Invited Commentaries“ offenbar manchmal doch eher ein Quell des Ärgernisses für die Autoren des kommentierten Papers. Diesen Beitrag weiterlesen »

a_lj_wp_4_3


a_lj_wp_5_3


a_lj_wp_6_3


a_lj_wp_7_3


a_lj_wp_8_3