Klar – die Art und Weise, wie Forschung betrieben wird, verändert sich mit der Zeit. Unser Forscher Ernst ist damit allerdings nicht nur zufrieden:…
Nur noch Methoden
11. März 2020 von Laborjournal„Impactitis“…
5. März 2020 von Laborjournal
… — schon seit Langem hat sich diese heimtückische Krankheit in Forscherkreisen weiter verbreitet, als es Covid-19 wohl jemals schaffen wird. Und auch ihre schlimmsten Symptome sind weithin bekannt: Anfangs völlig unbemerkt schleicht sich das infektiöse Agens in das Kreativitätszentrum des armen Forscheropfers und polt es langsam aber sicher um — bis der „Patient“ mit seinem ganzen wissenschaftlichen Schaffen nicht mehr danach strebt, möglichst „Großes“ zu entdecken, sondern vielmehr nur noch den Phantomen möglichst „hoher“ Publikationen in High-Impact-Zeitschriften nachläuft.
Ein fataler Irrweg, der in der Summe zwangsläufig die Qualität des wissenschaftlichen Fortschritts untergraben muss — und gegen den bislang noch keine wirklich wirksame Therapie in Sicht ist. Wer sollte die auch entwickeln, wenn gerade diejenigen, die sich besonders effizient in den High-Impact-Journalen tummeln, dafür erst recht belohnt werden? Von Berufungskommissionen, Forschungsförderern, Journal-Editoren, Preis-Jurys,…
Sprichwörtlich kann ja bisweilen schon ein wenig Einsicht der erste Schritt zur Besserung sein. Zumindest schaden kann sie nicht. Hier also ein paar Dosen „Einsicht“:
(1) Relativ gesehen müssen High-Impact-Journals weitaus am häufigsten bereits publizierte Artikel wieder zurückziehen — oftmals wegen Fälschung.
(2) Die Mehrheit der Paper in High-Impact-Blättern werden unterdurchschnittlich zitiert; ihre hohen Impact-Faktoren erreichen sie vielmehr durch wenige Zitations-Blockbuster.
(3) Viele wirklich einflussreiche Studien wurden überhaupt erst jenseits des Zweijahres-Fensters zitiert, in dem sie für die Berechnung des Impact-Faktors mitzählen.
(4) Veröffentlichung in einem High-Impact-Journal ist nicht äquivalent mit wissenschaftlichem Wert. Erst kürzlich zeigte eine Studie, dass wirklich neue Erkenntnisse („novel“) sogar eher in Low-Impact-Zeitschriften erscheinen (Research Policy 46(8): 1416-36).
Bleibt als Ergebnis dieser vier kleinen Therapie-Dosen: Artikel in High-Impact-Journalen repräsentieren also keinesfalls automatisch die beste Forschung, nicht selten sogar ganz im Gegenteil.
Und, wie geht es jetzt Ihrer „Impactitis“? Fühlt sich die eine oder der andere vielleicht schon ein bisschen besser?
Ralf Neumann
Illustr.: iStock / z_wei
Oh, die Bioinformatiker manchmal…
26. Februar 2020 von LaborjournalMeistens amüsieren wir uns über „Forscher Ernst“. Hier aber amüsiert er sich jetzt mal – und zwar über einen Bioinformatiker, der es offenbar nicht für nötig hielt, wenigstens einen kurzen Blick über seinen eigenen Tellerrand hinaus zu werfen…
(Die bioinformatische Schlappe um die Einwanderung von Katzenartigen nach Nordamerika ist ein reales Beispiel und stand seinerzeit sogar in Science. Zusammengefasst wurde die Geschichte beispielsweise hier.)
Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Florés.
Peer Review überflüssig, Preprint ist bestätigt
12. Februar 2020 von Laborjournal
Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse endlich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heutzutage maximal beschleunigten Forschungstreibens.
Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Qualitätskontrolle vor deren offizieller Präsentation festhalten.
Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen Preprint–Servern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.
Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.
Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit digitalen Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.
So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qualitätskontrolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.
Wen aber dann, denn seine Methode war es ja nicht?
Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kommentar dazu im Forum:
Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?
Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.
Ralf Neumann
(Foto: ASAPbio)
Regel-Mogeleien
5. Februar 2020 von Laborjournal
Bevor die Gelder eines bewilligten Förderantrags fließen, muss man einen gewissen Regelkatalog unterschreiben — unter anderem mit dem Ziel, dass man ja kein Schindluder mit den Fördermitteln treibe. Einige dieser Regeln können in der Praxis jedoch leicht zu gewissen Absurditäten führen…
Ein Beispiel hierfür liefert wiederum die Umfragestudie „Normal Misbehavior: Scientists Talk About the Ethics of Research“, aus der wir uns schon für den letzten Beitrag bedienten (J. Empir. Res. Hum. Res. Ethics 1(1): 43-50). Diese zitiert einen Befragten — sinngemäß übersetzt — folgendermaßen:
Sagen wir, ich habe zwei verschiedene Grants. Jetzt muss ich zwei Flaschen der gleichen Chemikalie kaufen, weil ich etwas, das ich mit Geldern des einen Grants angeschafft habe, nicht für Projekte verwenden darf, die von einem anderen Geldgeber gefördert werden. Wenn ich also Grants von fünf verschiedenen Förderern habe, muss ich theoretisch auch fünf Flaschen der gleichen Chemikalie kaufen. Und ich muss jedes Mal unterschreiben, dass der aufgewendete Betrag aus dem Topf mit denjenigen Mitteln stammt, die genau für dieses Projekt bewilligt wurden. Womit ich zugleich umgekehrt bestätige, dass ich das Zeug auch ausschließlich für dieses eine Projekt kaufe und einsetze… Aber natürlich mache ich das nicht so, sondern benutze ein und dieselbe Flasche in allen Projekten.
Wäre ja auch völlig verrückt, für jedes einzelne Projekt jeweils ein eigenes Set an Standard-Chemikalien wie etwa NaCl oder Agarose anzuschaffen.
Natürlich steht diese Regel irgendwo unter vielen, die allesamt dazu dienen sollen, potenziel-lem Grant-Missbrauch vorzubeugen. Was ja tatsächlich ein gerechtfertigtes Ziel ist. Wenn die Einhaltung dieser Regeln allerdings in der Praxis wiederholt zu derart abstrusen Situationen führt, wie hier geschildert, dann dürfte man wohl eher etwas anderes erreichen: Dass die Betroffenen sich stets überlegen, wie sie sich um solche Regeln herummogeln können.
Entsprechend schlussfolgern auch die Autoren der Umfrage aus dem geschilderten und weiteren Beispielen:
Es gibt zu viele solcher Regeln. Und viele versuchen, sie zu umgehen, ohne dabei eine gewisse Grenze zu überschreiten. […] Dennoch hielten unsere Befragten fest, dass diese Fülle von Regeln — von denen sie viele als unnötig und zu weit gehend empfinden — am Ende leicht zu tatsächlichem Fehlverhalten führen kann.
Ralf Neumann
Wenn die Industrie deine Forschung finanziert,…
29. Januar 2020 von Laborjournal
Money makes research go round, so wird oftmals der Musical-Klassiker von Liza Minelli aus „Cabaret“ abgewandelt. Was gemeint ist, ist klar: Nur wer ordentlich Fördermittel von Dritten einwerben kann, wird in der modernen Bioforschung nennenswerte Ergebnisse produzieren können. Und nur wer ordentlich Ergebnisse produziert (und veröffentlicht!), wird letztlich eine nennenswerte Forscherkarriere hinlegen können.
Kommen die Drittmittel aus öffentlichen Quellen oder Stiftungen, ist man nach der Bewilligung des Antrags in aller Regel ziemlich frei in Gestaltung und Durchführung des Projekts. Wird das Projekt hingegen von einem Industriepartner finanziert, sieht die Sache oftmals anders aus.
Beispielsweise werden erst einmal umfangreiche Verträge gemacht, wie mit den erzielten Ergebnissen zu verfahren sei. Darin ist dann etwa festgehalten, dass der Forscher sämtliche Resultate zunächst dem Industriepartner vorzulegen habe, damit dieser vor Veröffentlichung prüfen kann, was er davon möglicherweise patentrechtlich schützen möchte. Und wenn das Unternehmen — nach Patentanmeldung oder auch nicht — endlich grünes Licht für die Veröffentlichung der Daten gibt, will es natürlich auch noch das entsprechende Manuskript vor der Einreichung bei einem Journal prüfen, um darin Änderungen vornehmen oder zumindest vorschlagen zu können.
Auf diese Weise kann schon mal erhebliche Zeit vergehen, bis die Forscher zu ihren teilweise dringend benötigten Veröffentlichungen aus dem Projekt kommen.
Öfter schon haben wir von solchen oder ähnlichen Fällen im Rahmen von Industrie-finanzierten Projekten gehört. Neu hingegen war für uns, was jemand in einer schon etwas älteren Umfrage über das Vorgeplänkel einer Pharma-finanzierten klinischen Studie berichtete (J. Empir. Res. Hum. Res. Ethics 1(1): 43-50). Die Umfrage zitiert sie oder ihn folgendermaßen:
Zum Beispiel geht es bei einer bestimmten Studie, an der ich beteiligt bin, um Medikamente, die die Nebenwirkungen gewisser Strahlungen abschwächen sollen. Die Firma, die das Medikament herstellt, will eine gewisse Kontrollgruppe nicht in die Studie aufgenommen haben — und wird sie nicht finanzieren, wenn es diese Kontrollgruppe doch geben sollte. Daran ist nichts Illegales, und ich weiß ja auch, dass so etwas ständig passiert. Das läuft eben so!
Natürlich liegt das auch daran, dass die Regierung nicht genug Geld aufbringen kann, um all die klinische Forschung zu finanzieren, die durchgeführt werden müsste. In dieser Studie ist die Forschungsleiterin jedoch eine befristet angestellte Assistenzprofessorin. Und die Verhandlungen mit dieser Arzneimittelfirma haben sie jetzt schon viel Zeit gekostet — was es für sie immer schwieriger macht, eine feste Anstellung zu bekommen. Der Druck nachzugeben, wird daher irgendwann zu groß für sie. Schließlich hätte sie die Studie schon vor Monaten beginnen können, wenn sie einfach gesagt hätte: „Klar, geben Sie mir das Geld — und ich tue alles, was Sie wollen.“
Das heißt, das Unternehmen macht seine Finanzierung erstmal nicht vom Umgang mit den Ergebnissen der Studie abhängig, sondern vielmehr von ganz konkreten Eingriffen in deren Design. Und diese scheinen zumindest nach Ansicht der Forschungsleiterin, die die Studie ursprünglich konzipiert hat, so gestaltet, dass der objektive wissenschaftliche Wert der Studie klar geschmälert wird.
Hat jemand ähnliche Erfahrungen gemacht? Oder möchte das Ganze kommentieren? Entweder gleich hier unten für alle, oder per E-Mail an unsere Redaktion.
Ralf Neumann
(Foto: iStock / Sezeryadigar)
Apropos Ruhe und Gelassenheit des Forschers…
22. Januar 2020 von LaborjournalOb „Forscher Ernst“ noch jemals lernen wird, angemessen mit Kritik an seinen Ergebnissen umzugehen?…
(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Flores.)
x
Hypothesen im Herz
15. Januar 2020 von LaborjournalWas ist wichtiger in der Forschung: Antworten zu finden oder die richtigen Fragen zu stellen? Viele favorisieren Letzteres, da sie Fragenstellen in einem Aufwasch sehen mit dem nachfolgenden Formulieren testbarer Hypothesen. Und Hypothesen gelten ja schließlich als das Kernstück der Forschung schlechthin.
Hand auf’s Herz, wie oft sind Sie tatsächlich zu diesem Kern vorgestoßen? Wie oft haben Sie tatsächlich eine Hypothese formuliert?
Anhand dieser Frage lassen sich womöglich grob vier Klassen von Forscherinnen und Forschern einteilen:
1) Diejenigen, die erstmal gar keine Hypothesen aufstellen wollen. Stattdessen sammeln sie blind (sie selber sprechen lieber von vorurteilsfrei) Daten, einfach weil es technisch geht. Siehe etwa Metagenom-Projekte und Co. Standard-Spruch dieser Spezies: „Wir liefern Daten, aus denen man dann charakteristische Muster herauslesen kann — und mit denen kann man dann wiederum Hypothesen aufstellen.“ „Hypothesen-generierende Forschung“ nennt sie das Ganze dann.
2) Diejenigen, die sich an gängige Hypothesen dranhängen. Sie bestätigen hier ein Detail oder fügen dort eines hinzu, entwickeln kaum eigene Hypothesen, machen noch weniger Vorhersagen und testen am Ende praktisch gar nichts.
3) Diejenigen, die sich Hypothesen förmlich abringen. Diese erlauben sogar einige testbare Voraussagen, jedoch reicht dies gerade, um die eigene Forschung am Laufen zu halten. Deshalb werden sie eifersüchtig gehortet — und man bekommt sie erst nach vielen Tests glatt poliert im fertigen Paper präsentiert.
4) Diejenigen, die mehr gute Hypothesen samt testbarer Vorhersagen aufstellen, als sie selbst bearbeiten können — und diese daher auch mitteilen. Diese seltene Spezies beginnt dann auch mal einen Vortrag mit: „Hört zu, ich hab’ mir die Literatur zum Thema X angeschaut, darüber nachgedacht und ein paar vorläufige Experimente gemacht. Von daher scheint mir, dass die ganze Story so und so geht. Allerdings, sicher bin ich mir natürlich nicht — also lasst uns das mal gemeinsam durchdenken…“ Oder macht es wie der Zürcher Entwicklungsbiologe Konrad Basler, der vor einigen Jahren in der PLoS Biology-Rubrik „Unsolved Mysteries“ für alle Kollegen eine umfassende Arbeitshypothese zur Evolution des Hedgehog-Signalwegs samt einer ganzen Reihe abgeleiteter und testbarer Vorhersagen vorgestellt hat (Bd. 7(6): e1000146).
Keine Frage, sind es Momente wie die letzteren, in denen deutlich wird, dass das Hypothesenaufstellen tatsächlich das Herzstück der Wissenschaft ausmacht.
Ralf Neumann
(Zeichnung: Peter Kapper)
Eine kleine Lanze für Großprojekte
8. Januar 2020 von Laborjournal
Leider erlebt man das öfter: Viel Geld wird in großangelegte Forschungsinitiativen gepumpt — und am Ende kommt man den anvisierten Erkenntnissen damit doch deutlich weniger nahe als ursprünglich angekündigt.
Viele Paper wurden inzwischen geschrieben, die angeblich belegen, dass der „Impact pro Forscherkopf“ im Schnitt umso mehr sinkt, je größer das geförderte Gesamtprojekt ist (zum Beispiel hier und hier). Und jedes Mal arbeiteten die Autoren auch gewisse strukturelle und konzeptionelle Muster heraus, die solche „Underperformance“ von Big-Science-Projekten vermeintlich mitverursachen könnten. Diese zu referieren, wollen wir für heute jedoch anderen überlassen…
Hier soll es vielmehr um die Nörgler gehen, die bei der Ankündigung eines teuren Großprojekts inzwischen schon fast reflexartig aus ihren Löchern kommen und empört schreien: „Argh, so viel Geld für etwas, wo wahrscheinlich sowieso wieder nur vergleichsweise wenig rauskommt! Wie viele produktivere Small-Science-Projekte könnte man stattdessen damit finanzieren?“
Auweia! Als ob man immer schon vorher genau wüsste, welche Masse und Klasse an Erkenntnissen ein bestimmtes Projekt, ob groß oder klein, liefern kann. Und als ob man dann entsprechend punktgenau die billigstmögliche Förderung dafür kalkulieren könnte…
Klingt schon hier nicht mehr wirklich nach einem Forschungsprojekt, oder? Weil Forschung so eben nicht funktioniert. Gerade die Grundlagenforschung ist idealerweise ein Aufbruch ins Unbekannte. Man tastet sich sorgfältig in mehrere Richtungen vorwärts, landet immer wieder in Sackgassen, die auf den ersten Metern noch so vielversprechend und plausibel gewirkt hatten — und bekommt vielleicht irgendwann mal eine Ahnung von dem einen richtigen Pfad.
Natürlich rauft sich jeder Unternehmensberater ob solcher wackeliger „Kosten-Nutzen-Bilanzen“ die Haare. Aber würden gerade deren Methoden die Grundlagenforschung nicht in ihrem Kern zerstören? Und wäre dies am Ende nicht die schlechteste Bilanz von allen?
Zumal häufig vergessen wird: Gerade Großprojekt-Mittel sind immer auch fette Ausbildungsinvestitionen — nicht zuletzt, weil insbesondere in solchen Big-Science-Netzwerken oftmals ganz besonderer Wert darauf gelegt wird (siehe beispielsweise hier). Jede Menge Doktoranden und Co. lernen hierbei, wie Wissenschaft und Forschung tatsächlich funktionieren — auch, ja vielleicht sogar gerade auf den letztlich weniger erfolgreichen Pfaden.
Und wer weiß, liebe Nörgler, ob am Ende nicht ausgerechnet einer, der gestern in einem solchen „bilanzmiesen“ Projekt ausgebildet wurde, morgen den nächsten Mega-Durchbruch liefert? Ginge es nach euch, wäre er womöglich gar nicht erst bis dahin gekommen.
Ralf Neumann
FROHE WEIHNACHTEN…
20. Dezember 2019 von Laborjournal
„Forscher Ernst“ und die Laborjournal-Redaktion wünschen frohe Weihnachten sowie einen geschmeidigen Start in ein gesundes, spannendes und denkwürdiges neues Jahr!
(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Text und Zeichnung von Rafael Flores.)
