Grenzen erkennen, Grenzen benennen

30. Dezember 2020 von Laborjournal

 

Bescheidenheit ist eine Zier, hieß es früher einmal. In der Forschung jedoch scheint das immer weniger zu gelten. Da hat vielmehr die Unsitte des „Überverkaufens“ von Ergebnissen zuletzt immer stärker zugenommen.

Angesichts des stetig zunehmenden Publikations- und Karrieredrucks ist dies allerdings auch kein Wunder. Vom Ende seines Zeitvertrags oder Ähnlichem bedroht, bläst der eine oder die andere ein Fiat-Uno-Resultat im Paper-Manuskript gern zu einem Porsche auf. So manche Pressestelle verstärkt es umgehend nochmals – und in den sozialen Medien gerät es dann sowieso außer Kontrolle.

Dennoch ist solches „Überverkaufen“ von Forschungsergebnissen kein wirklich neues Phänomen. Wobei es bisher vielleicht noch eindrücklicher beim Beschreiben von Forschungsvorhaben auftrat. Denn zumindest beim Gerangel um Forschungsgelder wimmelt es schon seit Jahrzehnten in den Anträgen sinngemäß von deutlich übertriebenen Versprechungen wie: „Letztendlich könnten die Ergebnisse des Projekts in ein völlig neues Therapiekonzept für Krebs münden.“ Oder den Anbau und Ertrag aller möglichen Nutzpflanzen revolutionieren. Oder das Geheimnis lüften, wie in unseren Gehirnen Bewusstsein entsteht. Oder ähnliches überzogenes Antrags-Geklapper.

In diesem Zusammenhang hatte der Ökotoxikologe John Sumpter von der Londoner Brunel University zuletzt eine interessante Idee geäußert. In einem Essay in Times Higher Education schlägt er vor, in wissenschaftlichen Artikeln den Abschnitt „Conclusions“ durch „Limitations“ zu ersetzen. In den „Conclusions“ würde ohnehin nur wiederholt, was schon weiter vorne steht, so Sumpter. Müssten die Autoren dagegen gezielt formulieren, wo die Grenzen für die Interpretation ihrer Ergebnisse liegen, erhielte man am Ende womöglich deutlich robustere Paper.

Auf jeden Fall hätten auf diese Weise wohl arg überzogene Schlussfolgerungen wie die folgende ein Ende: „Weitere Forschung in dieser Richtung könnte es nun ermöglichen, die Ausprägung des Darm-Mikrobioms durch gezielte Interventionen so zu steuern, dass die kognitive Entwicklung von Kleinkindern unterstützt wird.“ (Biol. Psychiat. 83(2), 148-59) Argh! Nicht zu Unrecht zeichnete der US-Mikrobiologe Jonathan Eisen dieses Paper in seinem Blog Phylogenomics mit dem „Overselling the Microbiome Award“ aus.

Ralf Neumann

(Illustr.: R@TTENcomiCS)

 

Wie fließt wissenschaftlicher Erkenntnisgewinn?

9. September 2015 von Laborjournal

Vor kurzem den folgenden Flow Chart zum wissenschaftlichen Erkenntnisgewinn gefunden:

 

 

Okay, es waren Schüler, die ihn erstellt haben, und die Veranstaltung zielte primär auf Scientific Writing. Dennoch lohnt es sich, mal kurz darüber nachzudenken. Gerade weil das Flussschema so wohl nicht ganz richtig ist — zumindest, was die experimentelle Forschung betrifft.

Zuerst einmal ist es schön, dass die Schüler als letzten Schritt das (Mit-)Teilen der Resultate und Schlussfolgerungen aufgenommen haben. Genauso wie sie damit angedeutet haben, dass die mitgeteilten Resultate in aller Regel wieder neue Fragen aufwerfen — wodurch der Kreislauf in die nächste Runde geht. Robuster Erkenntnisgewinn funktioniert tatsächlich meist über solche mehrfach durchlaufenen Zyklen.

Was allerdings stört, ist die Position der Beobachtung im Zyklus. Diesen Beitrag weiterlesen »

Einstein und der Peer Review

24. Juni 2014 von Laborjournal

Auch Einstein hielt anfangs nicht viel von Peer Review. Aus seiner „deutschen Zeit“ kannte er dieses System, etwa von seinen fünf berühmten 1905er-Artikeln in den Annalen der Physik, überhaupt nicht. Erst nachdem er in die USA ausgewandert war, sah er sich plötzlich damit konfrontiert, dass seine Manuskripte bisweilen zunächst irgendwelchen Kollegen zur Begutachtung vorgelegt wurden.

Das Online-Organ The Conversation hat dazu gerade eine nette Anekdote wieder ausgegraben, die Physics Today bereits 2005 veröffentlicht hatte. Demnach schickte Einstein zusammen mit seinem Kollegen Nathan Rosen 1936 ein Manuskript über Gravitationswellen an Physical Review. Dessen damaliger Chief Editor John Tate fand das Manuskript aber offenbar derart kontrovers, spekulativ, ja geradezu „phantastisch“, dass er es Einsteins Princeton-Nachbarn Howard Percey Robertson zum Begutachten schickte. Immerhin stellten Einstein und Rosen darin gar die Wellennatur der Gravitation überhaupt in Frage.

Robertson schrieb einen zehnseitigen Kommentar mit jeder Menge gravierender „Entschärfungssvorschlägen“, den Tate umgehend an Einstein weiterleitete. Dieser schrieb Tate schnöde zurück:

We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorised you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.

Einstein publizierte das Manuskript letztlich in dem deutlich „bescheideneren“ Journal of the Franklin Institute. Dies allerdings erst nach einiger Zeit — und mit einem Großteil der Änderungen, die Robertson vorgeschlagen hatte. Es sollte sich herausstellen, dass die Beiden in der Zwischenzeit ausführlich in Princeton über die Befunde des Manuskripts diskutiert hatten — wobei Einstein am Ende offenbar doch einräumen musste, dass dessen schlussfolgernde Behauptungen etwas zu hoch gegriffen waren.

Womöglich bewahrte dieser indirekte Peer Review Einstein also vor einer gehörigen öffentlichen Blamage. In einem reinen Post-Publication-Peer-Review-System, wie es viele heute fordern, hätte er sich sehr wahrscheinlich mit einem voreiligen Schnellschuss ziemlich in die Nesseln gesetzt.