Undurchsichtige Stiftung?

4. Juli 2014 von Kommentar per Email

Kürzlich erhielt die Laborjournal-Redaktion eine E-Mail, in der der Verfasser die Begutachtungspolitik der Else Kröner-Fresenius-Stiftung folgendermaßen kritisiert:

Ich habe mit dem Begutachtungsverfahren der Else Kröner-Fresenius-Stiftung äußerst negative Erfahrungen gemacht.

Zwei meiner im Abstand von etwa 12 Monaten eingereichten Anträge zu unterschiedlichen wissenschaftlichen Fragestellungen wurden bereits nach jeweils 2-monatiger Bearbeitungszeit abgelehnt. In der schriftlichen Mitteilung wurde mir empfohlen, die Ablehnungsgründe telefonisch abzufragen, was ich auch tat. Die Antworten waren aber nichtssagend: Es wurden formale Gründe genannt (der Antrag sei zu lang; der Antrag sei teilweise zu deskriptiv). Als wesentlicher Grund wurde jedoch auf eine zu niedrige Priorität in einem wie auch immer gearteten Vorbegutachtungsverfahren hingewiesen.

Ich möchte erwähnen, dass die Stiftung äußerst detaillierte Projektbeschreibungen einfordert. Es müssen beispielsweise ein bewilligter Tierversuchsantrag oder ein von der Ethikkommission genehmigter Antrag vorliegen. Die Vorbereitung solcher Anträge ist zeitraubend und relativ teuer.

Es wäre interessant zu erfahren, wie das Begutachtungsverfahren bei der Stiftung strukturiert ist. Bei der DFG ist dies mittlerweile absolut transparent und nachvollziehbar. Es werden ausführliche schriftliche Gutachten verschickt, die die Empfehlungen des zuständigen Panels (deren Mitglieder demokratisch gewählt werden und namentlich auf der Homepage erscheinen) beinhalten.

Es wäre schade, falls die Else Kröner-Fresenius-Stiftung ihre Mittel unabhängig von den üblichen Vorgaben der Peer-Review-Praxis verteilen würde und stattdessen einem nicht definierten „Bauchgefühl“ anonymer Gutachter folgt. In Zeiten knapper Ressourcen sollte dies bei einer finanzstarken Stiftung vermieden werden.

Ich würde mich sehr freuen, falls Sie dieser Frage nachgehen könnten und dadurch weiteren Antragstellern ähnlicher Ärger eventuell erspart werden könnte.

Möchte dazu jemand weitere Erfahrungen mitteilen? Entweder direkt im Kommentarfenster unten oder direkt an redaktion@laborjournal.de.

Einstein und der Peer Review

24. Juni 2014 von Laborjournal

Auch Einstein hielt anfangs nicht viel von Peer Review. Aus seiner „deutschen Zeit“ kannte er dieses System, etwa von seinen fünf berühmten 1905er-Artikeln in den Annalen der Physik, überhaupt nicht. Erst nachdem er in die USA ausgewandert war, sah er sich plötzlich damit konfrontiert, dass seine Manuskripte bisweilen zunächst irgendwelchen Kollegen zur Begutachtung vorgelegt wurden.

Das Online-Organ The Conversation hat dazu gerade eine nette Anekdote wieder ausgegraben, die Physics Today bereits 2005 veröffentlicht hatte. Demnach schickte Einstein zusammen mit seinem Kollegen Nathan Rosen 1936 ein Manuskript über Gravitationswellen an Physical Review. Dessen damaliger Chief Editor John Tate fand das Manuskript aber offenbar derart kontrovers, spekulativ, ja geradezu „phantastisch“, dass er es Einsteins Princeton-Nachbarn Howard Percey Robertson zum Begutachten schickte. Immerhin stellten Einstein und Rosen darin gar die Wellennatur der Gravitation überhaupt in Frage.

Robertson schrieb einen zehnseitigen Kommentar mit jeder Menge gravierender „Entschärfungssvorschlägen“, den Tate umgehend an Einstein weiterleitete. Dieser schrieb Tate schnöde zurück:

We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorised you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.

Einstein publizierte das Manuskript letztlich in dem deutlich „bescheideneren“ Journal of the Franklin Institute. Dies allerdings erst nach einiger Zeit — und mit einem Großteil der Änderungen, die Robertson vorgeschlagen hatte. Es sollte sich herausstellen, dass die Beiden in der Zwischenzeit ausführlich in Princeton über die Befunde des Manuskripts diskutiert hatten — wobei Einstein am Ende offenbar doch einräumen musste, dass dessen schlussfolgernde Behauptungen etwas zu hoch gegriffen waren.

Womöglich bewahrte dieser indirekte Peer Review Einstein also vor einer gehörigen öffentlichen Blamage. In einem reinen Post-Publication-Peer-Review-System, wie es viele heute fordern, hätte er sich sehr wahrscheinlich mit einem voreiligen Schnellschuss ziemlich in die Nesseln gesetzt.

Autoren am Rande des Nervenzusammenbruchs (23)

14. Februar 2014 von Laborjournal

Gerade am Telefon folgende interessante Geschichte gehört:

Forscherin hatte mit ihren Leuten eine Studie abgeschlossen, deren Ergebnisse sie für „bahnbrechend“ hielt — sowohl, was gewisse zelluläre Steuermechanismen anging, wie auch in ihrer klinischen Bedeutung. Auch das Manuskript hielt sie für überaus gelungen (was ja keineswegs automatisch der Fall ist, nur weil man gute Daten hat). Doch die Enttäuschung kam prompt: Der Editor des Edelblatts, welches sie für die Veröffentlichung ausgewählt hatte, schickte das Manuskript schnöde wieder zurück. Abgelehnt, ohne überhaupt zum Review geschickt worden zu sein!

Der Editor hatte das Manuskript offenbar nur kurz überflogen — und entschieden, dass es nicht mal einen Peer Review wert war. Warum? — fragte sich unsere Forscherin. Waren die Daten doch nicht so gut, wie sie gedacht hatte? Enthielten die Schlussfolgerungen logische Fehler? Hatte sie mit der Bedeutung der Resultate für das gesamte Feld übertrieben? Oder war es vielleicht „nur“ schlecht geschrieben? Es musste ja wohl etwas Offensichtliches sein, dass der Editor es umgehend wieder zurückschickte. Aber diesen „offensichtlichen“ Grund hätte der Editor doch wenigstens mitteilen können. Das wäre doch ein wichtiges und konstruktives Feedback gewesen.

Immer wieder drehten diese und ähnliche Gedanken ihre Kreise im Kopf der Forscherin — bis sie den Entschluss fasste, den Editor in dieser Angelegenheit nochmals anzuschreiben. Höflich erklärte sie in dem Schreiben noch einmal kurz und klar, warum sie ihre Ergebnisse für so wichtig hielt — und warum das Paper daher ihrer Meinung nach genau in dieses Journal passen würde. Nur um schließlich darum zu bitten, ihr kurz mitzuteilen, was genau die Editoren dazu bewogen hatte, das Manuskript nicht einmal begutachten zu lassen. Schließlich könne ihr eine entsprechende „handfeste“ Rückmeldung enorm helfen, das Manuskript zu verbessern — wenn auch wohl für ein anderes Journal.

Die Antwort kam eine Woche später — und ließ unsere Forscherin endgültig den Glauben an das Peer Review-System verlieren: „We cannot give you any feedback as the paper had not been sent out for review.“

Best of Science Cartoons (23)

10. Januar 2014 von Laborjournal

xxxxx

(Von Ted Morrow via Twitter)

Seid kritisch mit „Invited Commentaries“!

6. Dezember 2013 von Laborjournal

Nicht nur Nature bringt wöchentlich seine “News & Views”, oder Science seine “Perspectives” — nein, inzwischen präsentieren auch viele, viele andere Journals unter jeweils eigenen Rubriknamen sogenannte “Invited Commentaries”. Kurz gesagt, schicken dafür die Editoren die ihrer Meinung nach heißesten Originalpaper jeder einzelnen Ausgabe vorab an ausgewählte „Experten“ und bitten diese die darin vorgestellten Ergebnisse hinsichtlich ihrer Bedeutung für das gesamte Feld zu kommentieren.

Diese Kommentare sind meist durchaus nett und gewinnbringend zu lesen — insbesondere auch für den Forscher, der gerne mal ein wenig über den Tellerrand schaut. Schließlich liefert solch ein Kommentar in der Regel einen knackigen und kompetenten Überblick über das gesamte Feld, präsentiert dazu die aktuell offenen Fragen und Probleme, ordnet die frischen Ergebnisse des neuen Papers samt Bewertung in diesen Rahmen ein — und wagt zudem noch einen Ausblick, welche weiteren Fragen durch die neuen Erkenntnisse nun womöglich leichter angegangen werden könnten.

Viele Autoren werten es daher als eine Art „Ritterschlag“ ihres Papers, wenn dieses durch einen „Eingeladenen Kommentar“ quasi geadelt wird. Allerdings sind solche „Invited Commentaries“ offenbar manchmal doch eher ein Quell des Ärgernisses für die Autoren des kommentierten Papers. Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (21)

21. Oktober 2013 von Laborjournal

Mick Watson, Genomforscher am Roslin Insitute der Universität Edinburgh, schrieb kürzlich in seinem Blog opiniomics über seine Tätigkeit als Editor mehrerer Open Access-Journale (sinngemäß übersetzt):

Als Editor bei Frontiers und BMC (früher auch bei PLoS ONE) habe ich es als wirklich schwierig erlebt, Reviewer für die Manuskripte zu finden. Schätzungsweise werden etwa 50% der Einladungen zum Peer Review einfach ignoriert — also weder angenommen noch abgelehnt, sondern schlichtweg im Sande verlaufen lassen. Ich bin nicht sicher, auf welchem ​​Planeten dies eine akzeptable „Antwort“ auf solch eine Einladung ist — sicher jedoch nicht auf meinem Planeten. Wenn jemand den Peer Review-Job gerade nicht übernehmen kann, warum nicht einfach gleich „Decline to Review“ klicken? Das hilft vor allem insofern, als dass der Editor umgehend jemand anderen einladen kann. Ignorieren ist dagegen schlichtweg unanständig. Übrigens: Ich führe eine Liste darüber — und es wäre besser für jeden, nicht auf dieser Liste aufzutauchen ;-).

Dass Manuskripte öfter ärgerlich lange brauchen, bis sie letztlich veröffentlicht werden, scheint demnach manchmal auch ein Kommunikationsproblem zu sein.

 

AutorenReviewer am Rande des Nervenzusammenbruchs (20)

6. September 2013 von Laborjournal

Auf „My Chrobial Romance“ fasst der US-Pflanzenforscher und Assistant Professor David Baltrus unter anderem folgende Erfahrung mit dem Peer Review eines eingereichten Manuskripts zusammen:

Baltrus erhielt das Manuskript von einer Zeitschrift, deren weitaus wichtigstes Kriterium zur Annahme die technische Korrektheit und Schlüssigkeit der Studie ist. Womit die besagte Zeitschrift bei weitem nicht alleine steht.

Damit hatte Baltrus überhaupt kein Problem — technisch war das Manuskript völlig okay. Einleitung und Diskussion dagegen stießen ihm ziemlich unangenehm auf. Er fand, dass die Autoren ihre Resultate ziemlich „überverkauften“ und dabei die einzelnen Aspekte der Studie auch noch verzerrt gewichteten. Aus diesem Grund empfahl er schließlich, das Manuskript vorerst abzulehnen. Zugleich schlug er aber den Autoren sehr detailliert vor, auf welche Weise sie ihre Ergebnisse angemessener gewichten und schlüssiger interpretieren könnten — um damit am Ende auch mehr wirklich relevante Leser zu erreichen.

Den Editoren jedoch war’s egal. Immerhin betonte Baltrus in seinem Gutachten ja mehrfach, dass das Manuskript „technically OK“ sei. Und da dies ja erklärtermaßen das Königskriterium des Journals war, wurde das Paper am Ende ohne jegliche Änderungen akzeptiert.

Ein Beispiel, das ganz klar die Nachteile dieser weit verbreiteten „Publish if experiments are technically OK“-Maxime aufzeigt. Und das zugleich illustriert, wie wertvoll offener Post-Publication Review — zumindest als Zusatz-Option — sein kann. Denn da könnte Baltrus jetzt allen seine — wohl berechtigten — Einwände gegen das Paper mitteilen.

Können Forscher zählen?

1. Juli 2013 von Laborjournal

(UPDATE vom 2. Juli: Forscher können doch zählen — siehe Ende des Artikels!)

Vielleicht wäre es um das Ansehen des klassischen Peer Review etwas besser bestellt, wenn man in Artikeln nicht hin und wieder ziemlich haarsträubende Fehler finden würde — wie etwa diesen hier im Abstract des frischen Papers Nature Genetics 2013 Jun 23. doi: 10.1038/ng.2676 [Epub ahead of print]:

[…] Brain tissue expression quantitative trait locus analysis suggests potential functional candidate genes at four loci: APOA1BP, TBC1D7, FUT9, STAT6 and ATP5B.

Vier? Okay — zählen wir noch mal durch:

1) APOA1BP: Apolipoprotein A-I binding protein gene

2) FUT9: Fucosyltransferase 9 (alpha (1,3) fucosyltransferase) gene

3) TBC1D7: TBC domain family member 7 gene

4) STAT6: Signal transducers and activators of transcription family member 6

5) ATP5B: Mitochondrial ATP synthase subunit beta

Macht fünf! Eindeutig fünf! Und offenbar haben’s weder die über 100 Autoren, noch die Kontrollinstanz aus Reviewern und Editoren gemerkt. Peinlich!

(Via Dan Graur alias Judge Starling)

UPDATE vom 2. Juli:

Forscher können vielleicht doch zählen! Hätte uns ja auch gewundert…  Diesen Beitrag weiterlesen »

Bigfoot — Big Fake?

14. Februar 2013 von Laborjournal

Gestern erschien nach über zweimonatiger scharfer Kontroverse das angekündigte Paper zur Genom-Entschlüsselung des legendären nordamerikanischen Waldmenschen, bekannt als „Bigfoot“ oder „Sasquatch“. Dies allerdings unter höchst zweifelhaften Umständen. Erstautorin Melba Ketchum veröffentlichte die Studie als einzigen Artikel der ersten Ausgabe eines völlig neuen Journals namens DeNovo — und erwarb im gleichen Atemzug sämtliche Rechte an der ganzen Zeitschrift. Dennoch beschwört Melba Ketchum, dass das Manuskript zuvor ein ordentliches Peer Review-Verfahren durchlaufen habe.

Den Artikel selbst muss man — trotz der Aussage des Journals, „Open Access“ agieren zu wollen — für mindestens 30 US-Dollar kaufen. Das haben wir nicht getan — ganz im Gegensatz zu dem US-Wissenschaftsautor Carl Zimmer, der bereits nach kurzer Inspektion des Artikels über seinen Twitter-Account urteilte:

The phylogeny in this #sasquatchgenome paper is incomprehensibly illegible & doesn’t seem to use any method I can recognize.

Zeitgleich nahmen sich einige „Computational Geneticists“ Sequenzfetzen aus der Veröffentlichung vor — und kamen zu dem Schluss, dass es sich um einen bunten DNA-Mix aus allen möglichen Spezies handelt. Diesen Beitrag weiterlesen »

Episciences Project — ein neues Modell zum wissenschaftlichen Publizieren

11. Februar 2013 von Laborjournal

Vor ziemlich genau einem Jahr startete eine Protestaktion gegen die exorbitante Preispolitik sowie die restriktiven Zugangsregeln des holländischen Wissenschaftsverlag-Giganten Elsevier. Auf der Seite “The Cost of Knowledge” können seitdem der Sache gewogene Unterzeichner erklären, dass sie den Verlag solange boykottieren werden, bis er sein Geschäftsmodell radikal ändert. So haben dort bis heute über 13.200 Forscher bezüglich Elsevier erklärt, dass sie dort:

… won’t publish, won’t referee, won’t do editorial work.

Hauptinitiator des Protests war damals der Mathematiker und Fields-Medaillengewinner Timothy Gowers (hier seine eigene Jahresbilanz des Protests). Jetzt geht er einen Schritt weiter: Auf seinem Weblog verkündete er vor einigen Tagen das “Episciences Project“, welches das wissenschaftliche Publizieren auf völlig neue Füße stellen will – komplett staatlich finanziert und ganz ohne kommerzielle Verlage. Diesen Beitrag weiterlesen »