Exzellenzrechnereien

29. Juli 2016 von Ralf Neumann

Alle wollen mehr Exzellenz in der Wissenschaft. Und der einfachste Weg dahin scheint, dass man schlichtweg mehr Dinge „Exzellenz“ nennt. Wie zuletzt und auch gerade wieder hinlänglich erlebt: Oder passiert etwas anderes, wenn Bund und Länder jetzt die Exzellenzinitiative fortsetzen und erneut Exzellenzuniversitäten küren und Exzellenzcluster auswählen? Wieder wird überdurchschnittlich viel Geld dort hinein fließen — und irgendwie wird das dann schon exzellent werden. Schließlich produziert ein Fußballverein auch Fußballer und eine Schraubenfabrik Schrauben — warum soll dann ausgerechnet ein Exzellenzverein nicht Exzellentes hervorbringen. Der Name ist Programm.

exex

Okay, okay, wir haben es durchschaut — so einfach geht es doch nicht. Wie aber dann? Schwer, ganz schwer geht es. Denn schon wer nur gut sein will, muss erst einmal produktiv sein; und wer gar exzellent sein will, muss in aller Regel sehr produktiv sein. Kein Zweifel, Exzellenz und Produktivität hängen stark miteinander zusammen. Auch wenn das für die Wissenschaft natürlich nicht heißt, dass diejenigen, die am meisten Paper schreiben, automatisch auch die Exzellentesten sind. Allerdings, mit nur wenigen Artikeln dürfte man ganz gewiss nicht dazugehören.

Damit wären wir bei einer wissenschaftsbibliometrischen Gesetzmäßigkeit angekommen, die der Mathematiker Alfred Lotka bereits vor neunzig (!) Jahren formulierte — dass nämlich der Anteil der Personen, die n Aufsätze schreiben, immer proportional zu 1/n2 ist. Okay, und was heißt das? In etwa folgendes: Auf hundert Autoren, die in einem bestimmten Zeitraum jeweils ein Paper verfassen, kommen 25 mit zwei, 11 mit drei, … und nur einer von Hundert wäre demnach mit zehn Papern „hochproduktiv“. Wollte ich nun zehn „Hochproduktive“, bräuchte ich folglich gleich tausend Autoren insgesamt; wären aber tausend „Überflieger“ mein Ziel, müsste ich nach Lotka schon 100.000 Wissenschaftler anstellen.

Ich kann also machen, was ich will: Der reine Anteil „hochproduktiver“ Wissenschaftler an der Gruppenstärke bleibt immer gleich. Woraus folgt, dass ich deren absolute Zahl nur steigern kann, indem ich die Gesamtzahl der Wissenschaftler erhöhe.

Und jetzt kommt die Fangfrage: Spricht etwas dagegen, dass es sich mit dem Anteil „exzellenter“ Wissenschaftler oder Institutionen an der Gesamtgruppe nicht genau gleich verhält wie mit den „produktiven“? Wohl kaum, oder? Vorausgesetzt natürlich, die Kriterien bleiben gleich — und man klebt nicht plötzlich „Exzellenzetiketten“ auf Dinge, die es bislang nicht waren oder es möglichst erst noch werden sollen.

Von Wissenschaft und Pfannen

21. Juli 2016 von Ralf Neumann

nonstickypanWorin unterscheidet sich die Wissenschaft von Pfannen? Zugegeben, der Kalauer mag an den Haaren herbeigezogen sein — aber sei‘s drum: Pfannen reinigen sich immer besser selbst, in der Wissenschaft dagegen…

Seit Jahrzehnten beschwören Forscher sie fast schon gebetsmühlenartig, die Selbstreinigungskraft der Wissenschaft — vor allem wenn es gilt, die Forschungsfreiheit als ihr höchstes Gut vor ungebetenem Regulierungseifer zu schützen. Schließlich habe man schon lange ein dreifaches Sicherheitsnetz gesponnen, um schlampige, schlechte oder gar unehrenhafte Forschung frühzeitig auszusortieren:

Netz Nummer eins bilden die Gutachter, die entscheiden, welche Forschung überhaupt Geld erhält. Ziemlich grobmaschig, zugegeben — aber allzu tumbes Zeug dürfte trotzdem darin hängenbleiben.

Netz Nummer zwei ist das Peer Review-System der Journale. Fachkundige Kollegen prüfen hierbei vor — und neuerdings auch immer öfter nach — einer Veröffentlichung peinlich genau, ob die im Manuskript beschriebene Forschung überhaupt wissenschaftlichen Standards genügt. So wenigstens das Ideal.

Wer nicht bereits in einem dieser beiden Netze zappelt, der sieht sich bald dem dritten gegenüber: der Replikation der Ergebnisse. Taugen diese was, so säen und ernten Kollegen nachfolgend weitere Resultate auf ihnen. Will auf deren Basis jedoch partout nichts mehr sprießen, so werden sie im Nachgriff oftmals selbst als fauliges Fundament enttarnt. Und stinkt dieses gar zu arg, zieht man die entsprechenden Paper zurück — und entsorgt deren Inhalt damit offiziell aus dem wissenschaftlichen Bewusstsein.

Immer öfter ist solches zuletzt geschehen. Irgendwer entdeckte plötzlich Widersprüche in den publizierten Daten, oder aber nachfolgende wollten einfach nicht dazu passen. Und da man den mitgeteilten Ergebnissen daher nicht mehr trauen konnte, zog man das betreffende Paper zurück.

Na also, funktioniert doch — könnte man meinen. Allerdings sind solche Arbeiten nicht selten bis zu ihrem Rückzug schon viele, viele Male zitiert worden, offenbar ohne dass jemand Verdacht geschöpft hatte. In einem solchen Fall versuchte ein Kollege kürzlich, diese Unstimmigkeit folgendermaßen zu begründen: „Frage und Techniken waren viel zu komplex, als dass bis dahin irgendjemand sonst die Ergebnisse in vollem Umfang hätte replizieren können.“

Nun ja, so weit kann es mit Pfannen nicht kommen — noch ein Unterschied.

Oder vielleicht ist ja auch das die Zukunft des offenen Post-Publication-Peer-Review?…

22. März 2016 von Ralf Neumann

x

(Zeichnung entnommen aus “Forscher Ernst” von Rafael Florés)

Oder ist das die Zukunft des offenen Post-Publication-Peer-Review?…

15. März 2016 von Ralf Neumann

x

(Zeichnung entnommen aus “Forscher Ernst” von Rafael Florés)
x

Ist das die Zukunft des offenen Post-Publication-Peer-Review?…

10. März 2016 von Ralf Neumann

(Zeichnung entnommen aus „Forscher Ernst“ von Rafael Florés)

Nicht ganz frei von Horror, diese Vorstellung. Oder?

x

Bescheidenheit ist (k)eine Zier

4. März 2016 von Ralf Neumann

Letzter Satz eines gerade gelesenen Abstracts:

Our findings may lead to powerful insights into the ontogenetic mechanism underlying human brain enlargement.

Arrgh!

Bescheidenheit ist eine Zier, heißt es bekanntlich. Einst zierten sich auch die Forscher in aller Regel damit. Bestes Beispiel: Watson und Crick in ihrem 53er-Paper zur DNA-Struktur. Beide waren weiß Gott nicht für selbstlose Zurückhaltung bekannt — dennoch beginnen sie fast kleinlaut:

We wish to suggest a structure for the salt of deoxyribose nucleic acid (D.N.A.). This structure has novel features which are of considerable biological interest.

Gegen Schluss schreiben sie dann ganz vorsichtig:

So far as we can tell, it is roughly compatible with the experimental data, but it has been checked against more exact results.

Um ihre Jahrhundert-Entdeckung schließlich mit dem Satz abzuschließen:

It has not escaped our notice that the specific pairing we have postulated immediately suggests a possible copying mechanism for the genetic material.

Das muss heute wie eine gnadenlose Untertreibung erscheinen. Doch um wie viel sympathischer und angemessener wirkt es als der Marktschreier-Stil, den ein Großteil der Kollegen heute pflegt. Wie oft haben Forscher in den letzten Jahren Krebs allein per Pressemitteilung besiegt; wie viel Schaum schlugen die Bannerträger der Biomedizin mit spektakulären Heilsversprechen, um Stimmung für so unausgereifte Dinge wie etwa Gentherapie oder Stammzellforschung zu machen.

Doch auch der Blick ins ganz normale Paper — siehe oben — reicht schon, um zu sehen, wie die Sitten sich geändert haben. Da findet — anderes Beispiel — jemand leichte Veränderungen in der Expression bestimmter hirnspezifischer Gene und folgert sofort reflexartig:

These findings may lead to new concepts in the treatment of Alzheimer and other neurodegenerative diseases.

Fast eine Standardfloskel heute, hart an der Grenze zum Unsinn, die eigentlich wohl eher eines signalisieren soll: Seht, wo meine Forschung theoretisch vielleicht irgendwann einmal hinführen könnte — also fördert mich gefälligst!

Und wer Geld braucht — oder Akzeptanz —, der darf heute offenbar vor allem eines nicht ausstrahlen: Bescheidenheit.

Kastrierte Methoden

14. Januar 2016 von Ralf Neumann

In unserer aktuellen Printausgabe schrieben wir unter „Inkubiert“, welch ärgerlich geringschätzige Politik manche Journals hinsichtlich der Referenzen betreiben. Daneben gibt es aber noch eine — vielleicht sogar noch wichtigere — Rubrik, bei der viele Journals den Anschein erwecken, als würden sie diese am liebsten gar nicht drucken: Material und Methoden.

Sehr schön illustriert diesen Eindruck die folgende Twitter-Diskussion aus dem Jahr 2014:
 


 
Die Symptome dieser Geringschätzung des „Material und Methoden“-Teils sind folglich,

  • ihn auf ein völlig unverständliches Maß zusammenzukürzen;
  • ihn ganz ans Ende des Artikel zu hängen;
  • dazu noch die Schrift auf eine schwer zu lesende Größe zu verkleinern;
  • oder ihn gar nicht zu drucken, sondern nur noch als Online-Supplement anzubieten.

 
Wie „Neuroskeptic“ schreibt: All dies sendet ein fatales Signal — nämlich, dass „Material und Methoden“ ein zu vernachlässigendes Anhängsel eines Forschungsartikels seien. Und dass das „Interessante“ — Entdeckungen und Erkenntnisse — ja sowieso woanders stehe.

Dabei wird doch (hoffentlich) jedem Jungforscher eingetrichtert, dass Forschungsergebnisse erst zählen, wenn sie jederzeit und überall unabhängig reproduziert werden können. Was natürlich nur geht, wenn man die beschriebenen Experimente absolut exakt „nachkochen“ kann. Und was braucht man dazu? Eben — eine bis ins letzte Detail exakte Beschreibung der verwendeten Materialien und eingesetzten Methoden.

Was machen daher also die Journals, wenn sie den vermeintlich ach so langweiligen „Material und Methoden“-Teil der Forschungsartikel immer mehr verstecken und kastrieren? Genau — sie sorgen zunehmend dafür, dass Forschungsergebnisse nicht mehr unabhängig verifiziert werden können.

Und war da nicht gerade was von wegen Reproduzierbarkeitskrise in der Forschung?…
 
 

Forschung steht auf einer Säule, nicht auf vier

3. September 2015 von Ralf Neumann

Die Institutionen sollen ihren Teil zu Reproduzierbarkeit und zuverlässige Forschung beitragen — das fordern Ulrich Dirnagl, Leiter des Schlaganfallcentrums an der Charité Berlin, sowie Glenn Begley, leitender Wissenschaftler bei der US-Firma TetraLogic Pharmaceuticals, und Alastair Buchan, Medizindekan an der Universität Oxford ganz frisch in Nature (Vol. 525: 25–27).

In ihrem Meinungsartikel identifizieren die drei Autoren die Universitäten und andere akademische Forschungseinrichtungen als mitverantwortlich für die mangelnde Reproduzierbarkeit publizierter Ergebnisse und werfen ihnen gar einen laxen Umgang mit wissenschaftlichem Fehlverhalten ihrer Forscher vor. Statt die Akademiker zu immer mehr und immer bombastischeren Publikationen zu anzutreiben, sollten die Institutionen lieber Sorgfältigkeit, Selbstkritik, gute Mitarbeiterschulung und zuverlässige Versuchsaufzeichnungen fördern — so die Autoren weiter. Konkret sollten sie dazu interne Regeln für die sogenannte Good Institutional Practice einführen. Wissenschaftler, die diese vorbildlich umsetzen, sollten mit Beförderungen belohnt werden, deren nachlässigere Kollegen hingegen Personal- und Fördermittelkürzung befürchten müssen.

Allesamt gute und sehr sinnvolle Vorschläge, ohne Frage. Nur wirken sie ein wenig wie das Weiterreichen von Verantwortung. Diesen Beitrag weiterlesen »

Wie eine Autorin plötzlich unverschuldet als Plagiatorin dastand

22. Juli 2015 von Ralf Neumann

Gerade auf editage Insights eine skurrile Vermischung von blödem Fehler und schlimmem Missverständnis gelesen. Kurz zusammengefasst ging das Ganze so:

Journal X akzeptierte das Manuskript von Autorin A zur Veröffentlichung. Als die angepeilte Ausgabe erschien, musste A jedoch erstaunt feststellen, dass ihr Name unter einem völlig anderen Artikel stand. Umgehend kontaktierte sie den Journal-Editor und klärte ihn auf, dass sie nicht die Autorin dieses Artikels sei — und dass sie auch kein irgendwie ähnliches Manuskript eingereicht habe. Der Editor erklärte ihr, dass dem Journal hier ein dummer Fehler passiert sei und sie das natürlich in der nächsten Ausgabe korrigieren würden.

Soweit, so schlecht. Aber es kam noch deutlich krasser. Als A den „Autorendreher“ bemerkte, war die Ausgabe schon eine kleine Weile draußen. Und wie das heute so ist, wurde der Artikel mit ihr als falscher Autorin bereits in den gängigen sozialen (Forscher-)Medien zitiert und diskutiert. Dies bekam auch der „wahre“ Autor B des Artikels mit — und dachte natürlich, dass A ihm auf irgendeine Weise mit einem Plagiat zuvorgekommen sei.

Auch B kontaktierte daraufhin das Journal. Parallel aber klagte er A in den entsprechenden sozialen Medien schon mal sehr aggressiv des Plagiierens an. Was natürlich wiederum A nicht nur verwirrte, sondern verständlicherweise ziemlich aufbrachte. Schließlich stand plötzlich völlig unverschuldet und ungerechtfertigt ihr guter Ruf auf dem Spiel.

Also rief A wieder beim Journal-Editor an und verlangte aufgrund dieser Entwicklung schnelleres Handeln, als bis zur nächsten Ausgabe zu warten. Dies geschah dann auch: Der Editor informierte B umgehend über den Fehler und dessen daraus resultierenden Irrtum, B wusch A in den sozialen Medien von allen Verdächtigungen frei und entschuldigte sich dafür — und der Editor wiederum veröffentlichte gleich am nächsten Tag eine Erklärung samt Entschuldigung bei beiden, A und B, auf der Journal-Website. Letztere erschien dann auch noch als Erratum in der nächsten Printausgabe.

Eine blöde Geschichte, die sich aus einem seltenen dummen Fehler hochgeschaukelt hat. Allerdings kann man sich schon fragen, ob die Leute im Zeitalter sozialer Medien vielleicht immer mehr verlernen, dass man ja auch mal per Direktkontakt nachfragen kann. Denn hätte B umgehend direkt bei A angerufen, um die Sache zu klären, wäre die Angelegenheit wohl kaum derart hochgekocht.

Forschung im Komparativ

26. Juni 2015 von Ralf Neumann

Gestern war wieder einer dieser Tage, an denen ich besonders viele Paper-Abstracts anschauen musste. Eigentlich kaum erwähnenswert — gehört schließlich immer wieder zum Alltag eines Laborjournal-Redakteurs. Eines war diesmal allerdings besonders krass: nämlich, wie oft ich auf diese eine unselige Floskel stieß…

Abstract No. 1:

[…] Proteins that both hinder and spur cancer progression may not be as uncommon as previously thought […]

Abstract No. 2:

[…] Mini-strokes may be more serious than previously thought […]

Abstract No. 3:

[…] CO2 is a more complex sensory cue for C. elegans than previously thought, both in terms of behavior and neural circuitry […]

Es ist schon auffällig, wie oft Forscher ihre Resultate mit dem Komparativ beschreiben. Da enthalten Genome weniger Gene als zuvor gedacht; treten Mutationen viel häufiger auf, als man bis dahin erwartet hatte; entwickeln sich Merkmale evolutionsgeschichtlich schneller, als man angenommen hatte; interagieren Proteine mit mehr Partnern als bisher vermutet; reagieren Regel-Netzwerke viel flexibler als bislang gedacht;…

Genug Beispiele? Es gäbe noch jede Menge mehr. Aber schon anhand dieser kleinen Aufzählung, muss man sich doch fragen: Was haben all die Forscher eigentlich vorher gedacht/erwartet/vermutet/angenommen/geschätzt/…, dass sie offenbar so oft so weit neben dem liegen, was die nächstneueren Daten dann offenbaren? Klar, liegt einem da sofort der Spruch auf der Zunge, dass die Forscher besser nachdenken statt vordenken sollten. Aber das trifft es ja nicht wirklich…

Natürlich müssen Forscher vorausschauen (und -denken), natürlich müssen sie Daten interpretieren und gewichten, um daraus realistische Szenarien und klare Hypothesen für möglichen künftigen Erkenntnisgewinn zu entwickeln. Und sicher ist dabei ein großer Unsicherheitsfaktor, dass sie sich mit ihren Schätzungen/Erwartungen/Vermutungen/Annahmen/… auf unvollständige Datensätze beziehen müssen, die zudem in aller Regel mit weniger „starken“ Methoden gewonnen wurden.

Aber wie so oft kann man das Pferd auch anders herum aufzäumen. Man könnte beispielsweise fragen, ob all diese Ergebnisse auch nur annähernd so aufregend und spektakulär daherkommen würden, wenn man zuvor nicht derart „danebengedacht“ hätte. Schließlich klingt der Satz „Das Genom ist ganz anders aufgebaut als gedacht“ viel aufregender als ein nüchternes „Wir haben ein Genom entziffert“. Oder ist es viel spektakulärer zu verkünden, dass Bakterienmutanten den ausgeschalteten Zuckertransport wieder viel schneller regenerieren als erwartet — statt sachlich zu konstatieren, dass nach n Teilungszyklen die Bakterien den Zucker wieder abbauen können.

Am besten sollte man also vorher so falsch wie möglich liegen. Damit man die späteren Ergebnisse nachher als umso bedeutender verkaufen kann…

a_lj_wp_4_3


a_lj_wp_5_3


a_lj_wp_6_3


a_lj_wp_7_3


a_lj_wp_8_3