Coronakrise: Nur nicht zu viel versprechen

31. März 2020 von Laborjournal

Forscher Ernst macht sich so seine Gedanken zu Chancen und Risiken der Wissenschaft in Zeiten der Coronakrise:

Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.

 

Irgendwann ist’s einfach gut mit Zitieren

25. März 2020 von Laborjournal

Jeder Labor-Biologe stellt mit dem pH-Meter seine Puffer ein. Doch wer zitiert dafür den dänischen Chemiker Søren Peder Lauritz Sørensen, der 1909 erstmals das Konzept der pH-Skala vorstellte?

Oder ähnliche Frage: Welcher Arabidopsis-Forscher zitiert noch den Erfurter Arzt und Botaniker Johannes Thal, der 1577 erstmals das heutige Top-Modell der molekularen Pflanzenforschung beschrieb?

Sørensen und Thal könnten so gesehen gut und gerne zu den meistzitierten Köpfen der wissenschaftlichen Literatur gehören. Tun sie aber nicht — und das ist auch richtig so. Denn irgendwann gehören Dinge einfach zum allgemeinen (Fach-)Wissen oder Handwerk — und spätestens dann sollte es mal gut sein mit Zitieren.

Aus diesem Grund zitiert auch keiner mehr Darwin, wenn er den Begriff „natürliche Selektion“ verwendet. Oder Miescher beziehungsweise Watson und Crick, wenn er über DNA schreibt. Alle Vier würden sonst sicher mit zu den meistzitierten Autoren aller Zeiten gehören.

Allerdings: Was ist dann mit Ulrich Laemmli, der 1970 das erste SDS-Polyacrylamidgel fuhr? Oder mit Oliver Lowry und Marion Bradford, die 1951 und 1976 unterschiedliche Methoden zur Proteinbestimmung entwickelten? Seit Jahrzehnten gehören die drei Methoden zur absoluten Routine in jedem biochemisch-molekularbiologischen Labor. Dennoch werden die Drei bis heute weiterhin fleißig zitiert — zuletzt jeweils runde fünfzig Mal pro Jahr.

Irgendwie scheinen die drei einfach Glück gehabt zu haben. Im Gegensatz zu vielen anderen, wie etwa dem Schweden Arne Tiselius, der 1937 die Agarosegel-Elektrophorese in der heute noch üblichen Form veröffentlichte — aber schon lange in keiner Referenzliste mehr auftaucht. Und dieses „Glück“ sorgte letztlich dafür, dass die Artikel von Lowry, Bradford und Laemmli heute die drei meistzitierten wissenschaftlichen Veröffentlichungen aller Zeiten sind.

Schön für sie! Und klar, methodische Fortschritte sind enorm wichtig für den wissenschaftlichen Fortschritt. Aber dennoch stehen Lowry, Bradford und Laemmli diesbezüglich ja wohl kaum auf einer Stufe mit Darwin, Miescher oder Watson & Crick.

Wie bitte? Ach so, ja klar — hier geht‘s ja „nur“ um Zitierungen. Und was zählen die heute schon bei der Bewertung wissenschaftlicher Leistungen?…

Ralf Neumann

Forscher Ernst träumt vom Coronavirus…

18. März 2020 von Laborjournal

 


Unser „Forscher Ernst“ wird doch noch träumen dürfen…

(Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

Nur noch Methoden

11. März 2020 von Laborjournal

Klar – die Art und Weise, wie Forschung betrieben wird, verändert sich mit der Zeit. Unser Forscher Ernst ist damit allerdings nicht nur zufrieden:…

Gezeichnet von Rafael Florés. Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.


„Impactitis“…

5. März 2020 von Laborjournal

… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.

Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…

Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:

(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.

(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.

(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.

(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).

Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.

Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?

Ralf Neumann

Illustr.: iStock / z_wei

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Regel-Mogeleien

5. Februar 2020 von Laborjournal

Bevor die Gelder eines bewilligten Förderantrags fließen, muss man einen gewissen Regelkatalog unterschreiben — unter anderem mit dem Ziel, dass man ja kein Schindluder mit den Fördermitteln treibe. Einige dieser Regeln können in der Praxis jedoch leicht zu gewissen Absurditäten führen…

Ein Beispiel hierfür liefert wiederum die Umfragestudie „Normal Misbehavior: Scientists Talk About the Ethics of Research“, aus der wir uns schon für den letzten Beitrag be­dien­ten (J. Empir. Res. Hum. Res. Ethics 1(1): 43-50). Diese zitiert einen Befragten — sinngemäß übersetzt — folgender­ma­ßen:

Sagen wir, ich habe zwei verschiedene Grants. Jetzt muss ich zwei Flaschen der gleichen Chemikalie kaufen, weil ich etwas, das ich mit Geldern des einen Grants angeschafft habe, nicht für Projekte verwenden darf, die von einem anderen Geldgeber gefördert werden. Wenn ich also Grants von fünf ver­schie­de­nen Förderern habe, muss ich theoretisch auch fünf Flaschen der gleichen Chemikalie kaufen. Und ich muss jedes Mal unterschreiben, dass der aufgewendete Betrag aus dem Topf mit denjenigen Mitteln stammt, die genau für dieses Projekt bewilligt wurden. Womit ich zugleich umgekehrt bestätige, dass ich das Zeug auch ausschließlich für dieses eine Projekt kaufe und einsetze… Aber natürlich mache ich das nicht so, sondern benutze ein und dieselbe Flasche in allen Projekten.

Wäre ja auch völlig verrückt, für jedes einzelne Projekt jeweils ein eigenes Set an Standard-Chemikalien wie etwa NaCl oder Agarose anzuschaffen.

Natürlich steht diese Regel irgendwo unter vielen, die allesamt dazu dienen sollen, potenziel-­lem Grant-Missbrauch vorzubeugen. Was ja tatsächlich ein gerechtfertigtes Ziel ist. Wenn die Einhaltung dieser Regeln allerdings in der Praxis wiederholt zu derart abstrusen Situationen führt, wie hier geschildert, dann dürfte man wohl eher etwas anderes erreichen: Dass die Betroffenen sich stets überlegen, wie sie sich um solche Regeln herummogeln können.

Entsprechend schlussfolgern auch die Autoren der Umfrage aus dem geschilderten und weiteren Beispielen:

Es gibt zu viele solcher Regeln. Und viele versuchen, sie zu umgehen, ohne dabei eine gewisse Grenze zu überschreiten. […] Dennoch hielten unsere Befragten fest, dass diese Fülle von Regeln — von denen sie viele als unnötig und zu weit gehend empfinden — am Ende leicht zu tatsächlichem Fehlverhalten führen kann.

Ralf Neumann

 

Hypothesen im Herz

15. Januar 2020 von Laborjournal

Was ist wichtiger in der Forschung: Antworten zu finden oder die richtigen Fragen zu stellen? Viele favorisieren Letzteres, da sie Fragenstellen in einem Aufwasch sehen mit dem nach­fol­gen­den Formulieren testbarer Hypothesen. Und Hypothesen gelten ja schließlich als das Kernstück der Forschung schlechthin.

Hand auf’s Herz, wie oft sind Sie tatsächlich zu diesem Kern vorgestoßen? Wie oft haben Sie tatsächlich eine Hypothese formuliert?

Anhand dieser Frage lassen sich womöglich grob vier Klassen von Forscherinnen und Forschern einteilen:

1) Diejenigen, die erstmal gar keine Hypothesen aufstellen wollen. Stattdessen sammeln sie blind (sie selber sprechen lieber von vorurteilsfrei) Daten, einfach weil es technisch geht. Siehe etwa Metagenom-Projekte und Co. Standard-Spruch dieser Spezies: „Wir liefern Daten, aus denen man dann charakteristische Muster herauslesen kann — und mit denen kann man dann wiederum Hypothesen aufstellen.“ „Hypothesen-generierende Forschung“ nennt sie das Ganze dann.

2) Diejenigen, die sich an gängige Hypothesen dranhängen. Sie bestätigen hier ein Detail oder fügen dort eines hinzu, entwickeln kaum eigene Hypothesen, machen noch weniger Vorhersagen und testen am Ende praktisch gar nichts.

3) Diejenigen, die sich Hypothesen förmlich abringen. Diese erlauben sogar einige testbare Voraussagen, jedoch reicht dies gerade, um die eigene Forschung am Laufen zu halten. Deshalb werden sie eifersüchtig gehortet — und man bekommt sie erst nach vielen Tests glatt poliert im fertigen Paper präsentiert.

4) Diejenigen, die mehr gute Hypothesen samt testbarer Vorhersagen aufstellen, als sie selbst bearbeiten können — und diese daher auch mitteilen. Diese seltene Spezies beginnt dann auch mal einen Vortrag mit: „Hört zu, ich hab’ mir die Literatur zum Thema X angeschaut, darüber nachgedacht und ein paar vorläufige Experimente gemacht. Von daher scheint mir, dass die ganze Story so und so geht. Allerdings, sicher bin ich mir natürlich nicht — also lasst uns das mal gemeinsam durchdenken…“ Oder macht es wie der Zürcher Entwicklungsbiologe Konrad Basler, der vor einigen Jahren in der PLoS Biology-Rubrik „Unsolved Mysteries“ für alle Kollegen eine umfassende Arbeitshypothese zur Evolution des Hedgehog-Signalwegs samt einer ganzen Reihe abgeleiteter und testbarer Vorhersagen vorgestellt hat (Bd. 7(6): e1000146).

Keine Frage, sind es Momente wie die letzteren, in denen deutlich wird, dass das Hypothesen­aufstellen tatsächlich das Herzstück der Wissenschaft ausmacht.

Ralf Neumann

(Zeichnung: Peter Kapper)

 

Hauptsache, man braucht Förderanträge!

17. Dezember 2019 von Laborjournal

Was wäre, wenn jeder Forscher einfach erstmal Geld bekäme? Ganz ohne Antrag, geschweige denn Peer Review? So wie einst­mals Otto Warburg, der lediglich schrieb: „Ich benötige 10.000 Mark. Otto Warburg“. Und sie tatsächlich bekam.

„Ja ja, träum‘ weiter“, mögen jetzt viele denken. Doch gemach, blättern wir hierzu ruhig mal in ein etwas älteres Heft von Accountability in Research — und reiben uns angesichts einer kanadischen Studie ungläubig die Augen (Band 16(1), S. 13-40). Da teilen uns die Autoren mit, dass ein sogenannter „Direct Baseline Discovery Grant“ des Natural Science and Engineering Research Council Canada (NSERC) im Durchschnitt 30.000 kanadische Dollar wert ist. Und dem setzen sie entgegen, was der ganze Prozess des Antragschreibens samt anschließender Bewilligung oder Ablehnung (!) durch Peer Review — nach Arbeitszeit et cetera bemessen — insgesamt kostet: nämlich satte 40.000 kanadische Dollar pro Antrag.

Selbst nach mehrmaligem Augenreiben bleibt somit das Fazit: Ein abgelehnter Antrag verbrät 10.000 Dollar mehr, als das Projekt bei Bewilligung überhaupt bekommen könnte. Da muss doch was faul sein! Und natürlich brauchen die Autoren auch keine höhere Mathematik um zu folgern, dass der NSERC sogar noch Geld sparen würde, wenn er jedem „qualifizierten Forscher“ den 30.000-Dollar-Baseline Grant einfach auf Anfrage direkt in die Hand drücken würde.

Sicher, 30.000 Dollar sind für diejenigen, die materialaufwändige Forschung betreiben, nicht viel. Dennoch spekulieren die Autoren, dass durch solcherart „effizientere“ Verteilung von Fördermitteln deutlich mehr und bessere Forschung laufen könnte — insbesondere im „Critical-Idea-or-Discovery“-Stadium. Wenn dann die ersten Ergebnisse tatsächlich vielversprechend wären, hätte man immerhin schon etwas in der Hand, um nachfolgend einen größeren — und natürlich begutachteten — Grant zu beantragen.

Bleibt noch die Frage, ob nach diesem Schema nicht Hinz und Kunz Geld bekommen könnten — und eben nicht nur „qualifizierte Forscher“. Dazu lediglich folgender Blog-Kommentar eines Forschers:

Bei jedem Karriereschritt, bei jedem einzelnen Paper werden wir immer wieder neu evaluiert. So sorgfältig und eindringlich, dass man uns doch irgendwann einmal genau in diesem einen Punkt trauen können sollte — nämlich dann, wenn wir neue Forschung anpacken.

Ralf Neumann

[Addendum: Fairerweise muss abschließend noch erwähnt werden, dass ein kanadischer Physiker die Kalkulation des Arbeitsaufwands von 40.000 kanadischen Dollar pro Antrag nachfolgend als viel zu hoch kritisierte (Accountability in Research 16(4): 229-31). Ein weiteres Paper dagegen kalkulierte für die Bearbeitung von Forschungsanträgen in Australien ähnlich hohe Ausgaben (BMJ Open 2013;3:e002800).]

 

Gutachten immer und überall

3. Dezember 2019 von Laborjournal

 

 

Wohl kaum eine andere Berufsgruppe wird derart oft und ausgiebig evaluiert wie die Forscher. Diplom- und Doktorarbeit, Bewerbungsgespräche und Berufungskommissionen — geschenkt, das gibt‘s woanders auch. Dann aber jedes einzelne Manuskript und jeder Förderantrag — das macht bisweilen Dutzende von kritischen bis kleinkarierten Gutachten im Jahr, die man erst mal schlucken muss. Dazu noch die regelmäßigen Berichte an Förderorganisationen, Verwaltung, Fakultätsleitung oder Trägergesellschaft — alles ebenfalls durchaus existentiell hinsichtlich Finanzierung, Gehalt, Verteilung von (Service-)Pflichten, Gewährung von Rechten und anderem mehr. Und wenn einer dann noch lehrender Forscher ist, muss er sich auch noch der Bewertung seiner Lehrleistung durch Studenten und Institutskollegen stellen…

Zusammen macht das eine Evaluationslast, über die eine US-Professorin einmal schrieb:

Nimmt man die Menge und Intensität all dieser Evaluationen, muss man sich wundern, ob ohne ein titanisches Ego überhaupt jemand diesen Prozess überleben kann. Allerdings, die meisten können!

Natürlich wird man bei dieser Evaluationsmasse auch immer wieder mit ungerechten, schlampigen, rüden und manchmal auch schlichtweg dummen Antworten konfrontiert. Das kann einen dann — je nach Naturell — auch mal richtig wütend oder niedergeschlagen werden lassen.

Dennoch muss man als Forscher über kurz oder lang grundsätzlich akzeptieren, dass Gutachten von ihrer reinen Intention her kritisch sein sollen. Schlussendlich sollte diese Kritik in einer idealen Welt mit perfekt funktionierendem System die Arbeit der Forscher am Ende des Tages gar verbessern helfen.

Doch gerade die Egos vieler Jungforscher müssen dies erst lernen und begreifen — vor allem den Unterschied zwischen schonungslos kritischen, aber dennoch konstruktiven Gutachten einerseits sowie rein bösartiger Gutachter-Willkür auf der anderen Seite.

Die erwähnte US-Professorin dokumentiert das sehr nett in folgender kleinen Anekdote:

Immer wieder kam einer meiner Mitarbeiter wegen eines vermeintlich absolut grausamen Gutachtens völlig zerknirscht zu mir. Und fast genauso oft habe ich dann nach eigenem Durchlesen gedacht: „Großartiges Gutachten. Mit richtig hilfreichen Kommentaren.“

Ralf Neumann

Information 1


Information 2


Info

Info

Info

Wie können Sie die Temperatur in Ihrer Probe überwachen und gleichzeitig eine Kontamination vermeiden? mehr