Manuskript verbessern? Muss nicht wirklich sein!

27. Oktober 2021 von Laborjournal

Peer-Review soll bekanntlich die Qualität und Klarheit der Forschungsberichte verbessern. Doch Hand auf’s Herz – adressieren Sie bei der Überarbeitung eines zurückgeschickten Manuskripts tatsächlich in diesem Sinne alle substantiellen Einwände und Vorschläge der Reviewer, um es besser zu machen? Damit das Journal es im zweiten Anlauf womöglich akzeptiert?

Oft kommt es gar nicht so weit, weil viele das Manuskript gar nicht mehr zur selben Zeitschrift schicken, sondern es gleich beim nächsten Journal unterzubringen versuchen. Das muss zwar nicht automatisch heißen, dass die Reviewer-Vorschläge zur Verbesserung der Erstversion dafür gar nicht aufgegriffen werden. Allerdings liegt es schon nahe, dass viele Manuskripte genau aus diesem Grund bei einem anderen Journal zweiteingereicht werden: Um sich die Zeit und die Mühe von teilweise aufwendigen Änderungen zu sparen.

Ein Chirurgen-Trio von der University of Texas in Austin hat dieses Thema mal genauer untersucht – und die Ergebnisse in Accountability in Research vorgestellt („The effect of peer review on the improvement of rejected manuscripts“, Vol 28(8): 517-27). Zum Studiendesign schreiben sie im Abstract:

Zunächst haben wir alle umsetzbaren Vorschläge in den Ablehnungsschreiben von 250 zufällig ausgewählten Manuskripten einer bekannten orthopädischen Fachzeitschrift aus dem Jahr 2012 identifiziert. Danach durchsuchten wir PubMed und Google Scholar und verglichen den letztlich veröffentlichten Text mit der ursprünglichen Einreichung, um festzustellen, ob die Vorschläge der Gutachter berücksichtigt wurden.

Die Ergebnisse fassen sie zunächst wie folgt zusammen:  Diesen Beitrag weiterlesen »

Gut beobachtet ist gut geforscht!

7. Januar 2021 von Laborjournal

Neulich auf Twitter empörte sich mal wieder jemand darüber, wie gering im aktuellen Forschungstreiben die pure Beschreibung neuer Beobachtungen geschätzt werde. Ganz im Gegensatz zur Entschlüsselung funktioneller Mechanismen. Das ist es, was die Gutachter bei Journalen und Förderorganisationen sehen wollen – das ist es, was die Kollegen am meisten schätzen.

Besagter Twitterer war indes anderer Meinung. „In vielen Fällen ist die Frage nach dem Mechanismus einfach nur lächerlich“, ereiferte er sich am Ende. „Wenn jemand eine wirklich neue Beobachtung macht, muss der Mechanismus doch per definitionem unbekannt sein. Daher ist es doch ein Unding, die Leute zu nötigen, jahrelang mit der Mitteilung aufregender Beobachtungen zu warten, bis man irgendwann eventuell den Mechanismus dahinter entschlüsselt hat.“

Sofort sprang ihm Twitterer Nr. 2 zur Seite: „Mal ehrlich, allzu oft kommt die Frage nach dem Mechanismus doch von faulen Reviewern, die einen einfach noch mehr Arbeit machen lassen wollen.“

Twitterer Nr. 3 jedoch wollte beides nicht so stehen lassen – und entgegnete ihnen: „Ich bin ein Mechanismus-Fan! Wissenschaft ist doch gerade das Entschlüsseln von Mechanismen. Klar, auch Beobachtungen zu beschreiben ist sicherlich ein Teil davon. Doch erst in den Mechanismen offenbart sich endgültig die Schönheit der Natur.“

Na ja, auch mit etwas weniger Pathos bleibt „Schönheit“ bekanntlich vor allem Empfindungssache. So würden sicherlich nicht wenige der reinen Form der DNA-Doppelhelix unter ästhetischen Gesichtspunkten mehr „Schönheit“ zugestehen als jedem noch so ausgefuchsten biochemischen Mechanismus. Und eventuell unter intellektuellen Gesichtspunkten sogar ebenfalls.

Aber klar, die abschließende Antwort auf die allermeisten Forschungsfragen bietet letztlich der Mechanismus, der das untersuchte Phänomen steuert. Nur hätte man ohne vorherige – und vor allem auch vorurteilsfreie – Beobachtungen die große Mehrheit dieser Fragen gar nicht erst stellen können. Siehe etwa die Erstbeschreibung von Mikroorganismen durch van Leeuwenhoeks sowie Hookes Mikroskopie. Oder Mendels Erbsenzählerei. Oder Prusiners Prionen. Oder die reine Entschlüsselung von Genomsequenzen…

Und heißt es nicht sowieso, dass in der Wissenschaft das Stellen der richtigen Fragen wichtiger sei als das Finden von Antworten?

Wie auch immer, die Beschreibung von Beobachtungen und die Entschlüsselung von Mechanismen sind zwei Seiten derselben Medaille – untrennbar miteinander verbunden wie Yin und Yang.

Folglich sollte ein jeder Gutachter sich schämen, der eine Ablehnung ausschließlich mit dem Totschlag-Argument begründet, es handele sich ja nur um eine rein deskriptive Studie. Entweder war er dann wirklich faul, oder er hat Wissenschaft nur halb verstanden.

Ralf Neumann

Gutachten immer und überall

3. Dezember 2019 von Laborjournal

 

 

Wohl kaum eine andere Berufsgruppe wird derart oft und ausgiebig evaluiert wie die Forscher. Diplom- und Doktorarbeit, Bewerbungsgespräche und Berufungskommissionen — geschenkt, das gibt‘s woanders auch. Dann aber jedes einzelne Manuskript und jeder Förderantrag — das macht bisweilen Dutzende von kritischen bis kleinkarierten Gutachten im Jahr, die man erst mal schlucken muss. Dazu noch die regelmäßigen Berichte an Förderorganisationen, Verwaltung, Fakultätsleitung oder Trägergesellschaft — alles ebenfalls durchaus existentiell hinsichtlich Finanzierung, Gehalt, Verteilung von (Service-)Pflichten, Gewährung von Rechten und anderem mehr. Und wenn einer dann noch lehrender Forscher ist, muss er sich auch noch der Bewertung seiner Lehrleistung durch Studenten und Institutskollegen stellen…

Zusammen macht das eine Evaluationslast, über die eine US-Professorin einmal schrieb:

Nimmt man die Menge und Intensität all dieser Evaluationen, muss man sich wundern, ob ohne ein titanisches Ego überhaupt jemand diesen Prozess überleben kann. Allerdings, die meisten können!

Natürlich wird man bei dieser Evaluationsmasse auch immer wieder mit ungerechten, schlampigen, rüden und manchmal auch schlichtweg dummen Antworten konfrontiert. Das kann einen dann — je nach Naturell — auch mal richtig wütend oder niedergeschlagen werden lassen.

Dennoch muss man als Forscher über kurz oder lang grundsätzlich akzeptieren, dass Gutachten von ihrer reinen Intention her kritisch sein sollen. Schlussendlich sollte diese Kritik in einer idealen Welt mit perfekt funktionierendem System die Arbeit der Forscher am Ende des Tages gar verbessern helfen.

Doch gerade die Egos vieler Jungforscher müssen dies erst lernen und begreifen — vor allem den Unterschied zwischen schonungslos kritischen, aber dennoch konstruktiven Gutachten einerseits sowie rein bösartiger Gutachter-Willkür auf der anderen Seite.

Die erwähnte US-Professorin dokumentiert das sehr nett in folgender kleinen Anekdote:

Immer wieder kam einer meiner Mitarbeiter wegen eines vermeintlich absolut grausamen Gutachtens völlig zerknirscht zu mir. Und fast genauso oft habe ich dann nach eigenem Durchlesen gedacht: „Großartiges Gutachten. Mit richtig hilfreichen Kommentaren.“

Ralf Neumann

Wenn Umfragen plötzlich zählen

16. Oktober 2019 von Laborjournal

Gewöhnlich geben Naturwissenschaftler nicht viel auf Ergebnisse, die mit Fragebögen erhoben sind. Objektive Ergebnisse seien damit nicht möglich, ist deren klares Urteil. Zu befangen (biased) seien die „Versuchsobjekte“, zu viele nicht messbare Faktoren gingen in die Antworten ein. Mit ein Hauptgrund, weswegen „echte“ Wissenschaftler klassischen Fragebogen-Disziplinen wie Psychologie oder Soziologie allenfalls mit Argwohn begegnen.

Komisch ist allerdings, dass sie derlei Kritik offenbar komplett ausblenden, wenn ihnen die Ergebnisse solcher Umfragen gut in den Kram passen. Dann zeigt sich wie kaum irgendwo sonst, dass Naturwissenschaftler eben auch nur Menschen sind. „Seht ihr, hab’ ich doch schon immer gesagt“, heißt es dann aus deren Mündern. „Hier habt ihr es jetzt schwarz auf weiß“.

Gut zu beobachten war dieses Phänomen vor einiger Zeit anlässlich einer Umfrage zum Thema Gutachtertum (Sci. Eng. Ethics 14, S. 305). Drei US-Autoren hatten eine ordentliche Anzahl Life-Science-Forscher über ihre Erfahrungen mit Peer Review befragt. Die Ergebnisse:

  • Mindestens ein Reviewer war inkompetent, erfuhren 61,8 Prozent der Befragten.
  • Mindestens ein Reviewer war voreingenommen (biased!), bemängelten 50,5 Prozent.
  • Gutachter verlangten, unnötige Referenzen in die Publikation aufzunehmen — 22,7 Prozent.
  • Kommentare der Gutachter enthielten persönliche Angriffe — 17,7 Prozent….
  • … Bis hin zu Vertraulichkeitsbruch der Gutachter (6,8 Prozent) beziehungsweise unerlaubter Übernahme von Ideen, Daten oder Methoden aus dem Manuskript (5 Prozent).

Alles das also, worüber so gut wie jeder Forscher immer wieder wettert — jetzt mit fetten Zahlen dahinter. Solche Umfragen zählen natürlich.

Zumal es ja auch bei der Begutachtung von Förderanträgen genügend „Evidenz“ für die Unzulänglichkeiten des Peer Review gibt. Denn wie war das noch mit dem Kollegen Müller, der kürzlich ins Ausland gewechselt war? Mit dem gleichen Antrag, den die DFG vor zwei Jahren komplett abgelehnt hatte, bekam er jetzt dort die höchste Zuwendung der aktuellen Förderperiode.

Oder der Sonderforschungsbereich (SFB) vom Kollegen Schlacht? Wurde damals ebenfalls abgelehnt. Ein Jahr später jedoch waren sämtliche Einzelprojekte des einstmals erfolglosen SFB über das Normalverfahren bewilligt.

Oder Nachwuchsmann Starz. Bekam mit seinem Projektantrag von der DFG kein Stipendium und wurde dann — glücklicherweise, muss man im Nachhinein sagen — über EU-Töpfe finanziert. Und jetzt ziert sein Paper die Titelseite von Current Biology und wurde bereits breit in der internationalen Presse vorgestellt.

Doch halt, das sind ja quasi Einzelfallstudien (Case Studies)! Und die zählen bei „echten“ Naturwissenschaftlern schließlich auch nur wenig.

Ralf Neumann

Die netten Gutachter von nebenan

22. Mai 2019 von Laborjournal

Als der Autor dieser Zeilen noch Nachwuchsforscher war, begab es sich, dass er mit seinem damaligen Chef ein Manuskript einreichte. Und wie es so üblich war, schlugen sie zugleich eine Handvoll gut bekannter Kollegen vor, die sie für die Begutachtung des Inhalts als besonders geeignet hielten. Beim entsprechenden Journal saß jedoch einer der ärgsten Kompetitoren der beiden im Editorial Board. Schlichtweg ignorierte dieser die Liste und beauftragte umgehend zwei „Experten“ mit dem Peer Review, die selbst eine unvereinbare Konkurrenzhypothese zur Lösung des betreffenden Problems verfolgten. Ein Schelm, wer Böses dabei denkt…

Glücklicherweise wurde es am Ende gar nicht „böse“. Die Gutachter aus dem „anderen Lager“ bewerteten das Manuskript völlig fair und frei von niederen Motiven — und so erschien das Paper einige Zeit später mit nur kleinen Änderungen.

Schöne Anekdote, oder? Zumal dieser Ausgang rein instinktiv auf diese Weise nicht unbedingt zu erwarten war.

Dass diese gegenläufige Erwartung damals dennoch prinzipiell in die richtige Richtung ging, haben inzwischen mehrere Studien unabhängig voneinander bestätigt. Übereinstimmend kamen sie nach Durchmusterung der dokumentierten Begutachtungsgeschichten von zig hunderten eingereichten Manuskripten zu derselben Schlussfolgerung: Von den Einreichern vorgeschlagene Gutachter bewerten Manuskripte im Schnitt signifikant besser und empfehlen deutlich häufiger deren Veröffentlichung, als wenn Editoren die Reviewer gänzlich unabhängig aussuchen. (Siehe etwa hier, hier und hier.)  Diesen Beitrag weiterlesen »

Die Geister des Peer Review

8. Mai 2019 von Laborjournal

Hand auf’s Herz, liebe Profs und Gruppenleiter: Wer von euch hat schon mal einen Postdoc oder anderen Mitarbeiter der eigenen AG ein Manuskript begutachten lassen, das ihm zum Peer Review geschickt wurde — und das Gutachten am Ende gänzlich unter eigenem Namen an den Journal-Editor zurückgeschickt? Rein statistisch müsste sich jetzt eigentlich jeder Zweite ertappt fühlen — jedenfalls, wenn man das Ergebnis einer aktuellen Befragung von Nachwuchsforschern durch US-Forscher mal herumdreht: Knapp die Hälfte von fünfhundert befragten Early Career Researchers gab darin an, bereits als Ghostwriter im Namen des Chefs einen Peer Review verfasst zu haben — ohne dass den Journal-Editoren deren Autorenschaft offenbart wurde (. Die große Mehrheit von ihnen kam aus den Life Sciences.

In der gleichen Umfrage verurteilten achtzig Prozent der Befragten diese Praxis der verschwie­genen Review-(Ko)-Autoren. Warum aber kommt es trotzdem zu derart vielen GhostwriterReviews?

Die Zielrichtung dieser Frage muss man vorab genauer erklären. Diesen Beitrag weiterlesen »

Für ein paar Referenzen mehr…

25. April 2019 von Laborjournal

Es war einmal ein Editor. Dies war er noch nicht lange, denn er war noch ein sehr junger Forscher. Umso stolzer machte ihn seine erste Berufung in ein Editorial Board. Schließlich durfte er das durchaus als unmittelbare Wertschätzung seiner Forschungsarbeiten deuten. Und als Aufnahme in einen gewissen, wie auch immer gearteten „Club“.

Jetzt stand sein erstes Treffen mit dem gesamten Board an, bei dem wie in jedem Jahr die Editorial Policy kritisch geprüft sowie die Schwerpunkte neu fokussiert wurden. Unser junger Mann war beeindruckt von der Routine, mit der die erfahrenen Forscher und langjährigen Editoren die Dinge auf den Punkt brachten. Alles war so, wie er es sich vorgestellt hatte.

Vor allem publikationsethisch schien unserem jungen Editor alles einwandfrei. Das war ihm besonders wichtig in diesen Tagen des „Publish or perish“ und der immer aggressiveren Konkurrenz zwischen den Journalen. „Nein, alles auf einem guten Weg hier“, dachte er. „Und ich bin dabei.“

Blieb nur noch das Abschluss-Bankett. Bei diesem nahm ihn plötzlich der Chief Editor persönlich beiseite. Diesen Beitrag weiterlesen »

Verstehen wir uns noch?

9. Januar 2018 von Laborjournal

Denn sie wissen nicht, was sie tun. — Viele dürfte diese Zeile unmittelbar an den gleichnamigen Filmklassiker mit James Dean erinnern. Heute könnte sie jedoch auch für einen großen Teil biomedizinischer Forschung gelten.

Wobei man hier ein klein wenig wie folgt präzisieren müsste: „Denn sie wissen nicht mehr, was der andere tut.“ Bittere Konsequenz dessen, dass in vielen Gebieten die einzelnen Veröffentlichungen immer komplexer werden.

Ein besonders eindrückliches Beispiel dafür schilderte kürzlich Dorothy Bishop von der Oxford University in ihrem „BishopBlog“. In dem entsprechenden Beitrag klagt sie, dass sie die Publika­tionen ihrer Kollegen immer weniger versteht, sobald sie auch nur ein klein wenig über ihren eigenen Tellerrand hinausschaut. Sie schreibt:

Für eine Art Meta-Analyse über die Anwendung bestimmter statistischer Methoden studierte ich zuletzt eine Reihe von neurowissenschaftlichen Artikeln“, schreibt sie. „Einige davon musste ich stundenlang lesen und wieder lesen, bis ich endlich verstan­den hatte, welches überhaupt die statistisch relevantesten Ergebnisse waren.

Und dann schwenkt sie auf den eigentlich beunruhigenden Punkt um:

Mir scheint daher, dass in manchen Feldern die Zahl der Kollegen, die derart komplexe Paper überhaupt noch umfassend und kompetent begutachten können, extrem zusammenschnurrt.

Selbst gute und engagierte Editoren würden daher irgendwann kaum noch Reviewer mit voll­um­fäng­lich ausreichender Expertise auftreiben können. Und umgekehrt würde es den meisten immer stärker widerstreben, solch hochkomplexe Studien zu prüfen, wenn sie derart viel Substanz jenseits der eigenen Expertise enthalten.

Und Frau Bishop ist mit solchen Befürchtungen keineswegs allein. Bereits 2013 fragte Diethard Tautz, Direktor am Plöner Max-Planck-Institut für Evolutionsbiologie, in einem Essay für Labor­journal:

Lesen wir noch, was andere schreiben? Ja, verstehen wir uns überhaupt noch?

Und er erzählte folgendes Beispiel:

Ich musste kürzlich so ein „Big Data“-Paper für ein angesehenes Journal begutachten. Es hatte 60 Autoren und präsentierte ein Feuerwerk an intelligenten Auswertungen, Statistiken und Modellierungen. Etwas seltsam war der modulare Aufbau. Die einzelnen Teile des Papers waren offensichtlich von unterschiedlichen Autoren geschrieben worden, jeder ein Spezialist für sein Feld mit einem eigenen Sprachstil und wenig Bezug zu den anderen Modulen. An ein paar ‚Kleinigkeiten‘ wie fehlenden Übergängen und unvollständigen Sätzen war zu erkennen, dass die meisten der Autoren offen­sicht­lich ihr eigenes Paper nicht vollständig gelesen haben konnten — denn zumindest einem von den 60 hätte so etwas doch auffallen müssen. Haben auch Autoren gar keine Zeit mehr zum Lesen oder ist das der Beginn der Sprachverwirrung? Auch als Gutachter konnte ich nur einen Teil kompetent begutachten, den Rest nur auf Plausibilität prüfen. Und ich vermute, dass es den anderen Gutachtern ebenso ging.

Und er schloss:

Natürlich wurde es publiziert — und ich darf annehmen, dass es so gut wie keinen Leser mehr gibt, der wirklich alles davon versteht. Wenn das so weiter geht, dann sind wir bald nahe an dem Punkt,… dass keiner des andern Sprache verstehe!

Wobei das letztere Zitat jetzt nicht aus der Filmwelt kommt.

Ralf Neumann

 

Wozu Journals?

10. November 2016 von Laborjournal

 

dustbook3

 

Es ist und bleibt interessant, immer wieder mal in unseren alten Ausgaben zu blättern. Nicht nur, aber auch, um zu sehen, wie sich gewisse Dinge in der Zwischenzeit entwickelt haben.

Kürzlich etwa blieb ich an folgendem Text unserer „Inkubiert“-Kolumne aus Heft 4/2000 (!) hängen:

Wozu braucht man Fach-Journale? Vor allem doch wohl als Vehikel von Information. Allerdings ist da das Internet mittlerweile schneller, billiger, einfacher und vielseitiger. So gesehen erfüllen die Fachblätter also ihre primäre Aufgabe inzwischen nicht mehr optimal. Allenfalls als glorifizierte Listen von Leseempfehlungen taugen sie noch. Womit wir direkt bei der nächsten Frage wären: Braucht man noch ein System des Vorab-Peer Review? Zumal doch gerade auf dem gut gedüngten Boden des anonymen Peer Review-Systems die menschlichen Schwächen der Gutachter oftmals allzu üppig wuchern. Warum also nicht gleich einfach alles unmittelbar und direkt im Internet publizieren — allenfalls durch eine grobe Vorab-Kontrolle von blankem Unsinn freigehalten? Beurteilt nicht sowieso jeder Forscher selbst die Artikel, die ihn interessieren — ob von Gutachtern empfohlen oder nicht? Was ein echter Forscher ist, sollte dies jedenfalls alleine können. Herrliche Diskussionen direkt im Anhang an die einzelnen Artikel könnten sich entwickeln. Nachlesbar und gezeichnet. Ein Artikel wäre nicht nur Information, sondern auch Anstoß zur Debatte. Jedenfalls die guten unter ihnen. Und daran wiederum würde man sie erkennen. Ja, ja — jetzt schreien wieder einige, dass unter solchen Bedingungen doch am Ende jeder Schrott publiziert würde. Hmm? Ohne Journals publiziert vielleicht tatsächlich nur, wer wirklich etwas Neues hat. Und schielt nicht vorrangig danach, durch Publikation in prestigeträchtigen Journals Impact-Punkte zu sammeln.

Scheint es nur mir so, dass wir heute, 16 Jahre später, in dieser Diskussion immer noch weitgehend auf demselben Stand sind?

x

Wird „Summa cum Laude“ nach Quote verteilt?

23. Juni 2016 von Laborjournal

Kürzlich wurde unserer Redaktion der Brief eines Biologie-Dekans an seine „lieben Kolleginnen und Kollegen“ zugeschickt. Der entscheidende Ausschnitt daraus:

x

scl

x

Klar, „Summa“-Noten häufen sich bisweilen in derart hoher Zahl, dass sie sicher tatsächlich nicht nur absolute Spitzen-Promotionen schmücken. Aber als Gegenmaßnahme Quoten festzulegen, ab wann „Summa“ mutmaßlich allzu großzügig verteilt wird? Letztlich zählt doch die Qualität jeder einzelnen Arbeit, unabhängig von den anderen. Und ist es so unwahrscheinlich, dass man dazwischen immer wieder mal „starke Jahrgänge“ mit Ausreißerquoten hat?

Grund für die Zusendung dieses Briefs (samt anderem „Material“) war denn auch, dass ein Promovend womöglich zu Unrecht auf „Magna“ zurückgestuft wurde. Und das lief so: Die beiden Gutachter gaben beide einheitlich ein „Summa“. Aus welchem offiziellen Grund auch immer wurde dann aber noch eine externe dritte Gutachterin nachgeschaltet. Diese wurde allerdings explizit und eindringlich instruiert, dass „die Bestnote lediglich in extremen Ausnahmesituationen zu erteilen“ sei. Und derart verunsichert gab sie dem Kandidaten am Ende tatsächlich ein „Magna“. Die Höchstnote für die Promotion war damit futsch, da für diesen Fall sämtliche Gutachter mit „Summa“ werten müssen.

Wir maßen uns jetzt nicht an zu urteilen, ob die betreffende Promotion eigentlich die Höchstnote verdient gehabt hätte. Aber irgendwie bleibt doch der Geruch, dass hier eine etwas willkürliche Quoten-Verschärfung letztlich genau das falsche Opfer gekostet hat. Und dass dies womöglich kein Einzelfall ist.