Eine kleine (nicht ganz) fiktive Geschichte über „meistzitierte Paper“

25. Juni 2019 von Laborjournal

Joseph Cooper war schon einige Jahre im Ruhestand. Zufrieden blickte er zurück auf ein jahrzehntelanges Forscherleben, in dem er durchaus einiges erreicht hatte. Vor allem zum Aufbau des Cytoskeletts hatte sein Labor der Forscherwelt eine ganze Reihe beteiligter Proteine und Mechanismen geliefert.

Ja, damals hatte das Forscherleben noch Spaß gemacht, dachte Cooper oft. Und dass er das Glück gehabt hatte, genau zur rechten Zeit aufhören zu können. „Rat race“, „Publish or perish“, „Apply or die“ — all diese üblen Schlag­worte, die heute große Teile des For­schungs­geschäftes charakterisieren, kamen erst ganz zum Ende seiner Karriere auf. Genau­so wie der Wahn um bibliometrische Zahlen und Evaluationen.

Gerade gestern war er wieder auf eines dieser regelmäßigen „Paper-Rankings“ gestoßen. Cooper störte daran nicht nur, dass dort verglichen wurde, was nicht verglichen werden kann — also etwa unter der Überschrift „Life Sciences“ kunterbunt die Zitierzahlen von Apoptose-Artikeln mit denjenigen von Papern über den pflanzlichen Sekundärstoffwechsel oder Multi-Center-Studien über Schuppenflechte verglichen wurden. Nein, da war noch eine andere Sache, von der er sich ganz besonders betroffen fühlte…

Zum x-ten Male präsentierten die Autoren unter anderem eine Liste der meistzitierten wissen­schaftlichen Paper aller Zeiten. Und ganz vorne standen natürlich wieder einmal die allseits bekannten „Methoden-Paper“ zur Proteinmessung von Lowry et al. sowie zur Polyacrylamid-Gelelektrophorese von Ulrich Karl Laemmli. Diese beiden hatten offenbar das Glück, dass deren Methoden auch Jahrzehnte später noch nahezu unmodifiziert und breitflächig angewendet wurden. Und dass man sie dafür immer noch brav zitierte. Das Lowry-Paper, so hieß es in dem Artikel, sammele, obwohl bereits 1951 publiziert, immer noch mehrere hundert Zitate jährlich.

Dass das nicht die Regel ist, wusste Cooper nur zu gut. Auch er hatte 1969 solch einen metho­di­sches „Überflieger-Paper“ geschrieben — zur Bestimmung der Molekulargewichte von Proteinen in SDS-Poly­acryl­amidgelen. Doch dieses erlitt das eher typische Schicksal: Zehn Jahre lang wurde es zitiert wie der Teufel, dann nahm die Zitierrate plötzlich ab, und zwanzig Jahre — oder 20.000 Zitate — später tauchte die Arbeit kaum noch in den Referenzlisten aktueller Artikel auf.

Das allerdings nicht, weil Protein-Molekulargewichte nicht mehr via SDS-Gele bestimmt wurden. Auch nicht, weil jemand ein besseres Gel-Verfahren entwickelt hatte. Nein, die Methode war im weltweiten Experimentieralltag einfach selbstverständlich geworden. Wie das Einstellen von pH-Werten. Und Selbstverständliches braucht keine Referenzen mehr.

„Ist ja auch gut und richtig so“, dachte Cooper. „Sonst würden die Referenzlisten ja irgendwann länger als die Artikel. Es zitiert schließlich auch keiner mehr Watson und Crick, wenn er was über die DNA-Struktur schreibt.“ Dennoch gibt es aus irgendwelchen Gründen, die Cooper nicht verstand, hin und wieder Ausreißer aus diesem Schema. Siehe Lowry und Laemmli.

Das ärgerte ihn zwar nur wenig, aber es relativierte für ihn doch erheblich deren Ruf als „meistzitierte Paper weltweit“.

Ralf Neumann

Bild: „White Wings“, Ölgemälde von Sylvain Loisant

Keinen Impact, aber Einfluss!

2. Mai 2019 von Laborjournal

(Eine fiktive Geschichte zur Entmystifizierung einiger beliebter Floskeln des modernen Wissen­schafts­betriebs:…)

Professor Suck war Mikrobiologe, seine Leidenschaft waren Zucker. Zeit seines Forscherlebens war er immer wieder auf’s Neue fasziniert davon, was Bakterien mit Zuckern alles anstellen. Und tatsächlich konnte er mit seinen Mitarbeitern auch einiges zum Verständnis davon beisteuern.

Zitiert wurden seine Arbeiten jedoch eher so la la. Suck selbst juckte das allerdings nicht. Er war lange genug Forscher, dass er diese Dinge mit gesundem Selbstbewusstsein einschätzen konnte. Zudem stand er mittlerweile im Spätherbst seiner Forscherkarriere — und musste keinem mehr etwas beweisen.

So dachte Suck jedenfalls. Eines Tages jedoch las er in einem Brief von der Univerwaltung, dass diese nacheinander alle Fakultäten evaluieren wolle und dafür extra ein ständiges Büro mit vier „Evaluationsexperten“ eingerichtet habe. Und kurze Zeit später saß tatsächlich einer dieser jungen und dynamischen „Evaluationsexperten“ bei Suck im Büro…     Diesen Beitrag weiterlesen »

Zehn ketzerische Gebote zur wunderbaren Welt der Leistungsorientierten Mittelvergabe (LOM)

4. Oktober 2018 von Laborjournal

(Den folgenden Beitrag bekam unsere Redaktion unaufgefordert zugeschickt. Der Autor ist der Redaktion bekannt.)


"Every valuable human being
must be a radical and a rebel,
for what he must aim at
is to make things better than they are."

Niels Henrik David Bohr
(Dänischer Physiker, 1885-1962, Physik-Nobelpreis 1922)

 

Vor 14 Jahren konzipierte und propagierte die DFG die sogenannte Leistungsorientierte Mittel­ver­gabe (LOM) und entließ sie als groß angelegten Freilandversuch in die medizinische For­schungs­landschaft. Oder besser gesagt: Sie ließ sie auf die Forscher in den Medizinischen Fakultäten los.

Bei der LOM konkurrieren in der Regel die verschiedenen Institute einer Fakultät um einen fixen Geldtopf. Das heißt, wenn Institut A nach irgendwelchen Kriterien, deren Sinn zumindest zweifelhaft ist, besser „produziert“ als Institut B, dann bekommt Institut B weniger Geld zugeteilt. Auch innerhalb einzelner Institute werden in vielen Fällen Kollegen direkt miteinander verglichen — sowohl in der Forschung, wie auch teilweise in der Lehre (wo der dominante Parameter allerdings häufig Quantität ist). Typischerweise spielen Impact-Faktoren von Zeitschriften eine wesentliche Rolle bei der LOM-Berechnung von „Forschungsleistungen“, obwohl deren Eignung zur Evaluation von Instituten und Einzelpersonen inzwischen selbst von Top-Journalen wie Nature oder Science klar verneint wird.

Dennoch haben viele Fakultäten die LOM-Richtlinie der DFG geflissentlich umgesetzt, ohne dass nachfolgend jemals geklärt wurde, ob sie wirklich sinnvoll ist — das heißt, ob ein messbarer positiver Effekt erzielt wird. Ob die LOM nützlich war bzw. ist, oder ob sie vielleicht vielmehr insbesondere das kollegiale Klima vergiftet, bleibt daher bis heute ungeklärt. Was aber auf jeden Fall erreicht wurde, ist, dass mehr Verwaltungspersonal zur Datenbankpflege et cetera benötigt wird. Die Relation von Forschern zu Verwaltern verschiebt sich zu Ungunsten der Forschung.

Nachfragen an die DFG mit der Bitte um Stellungnahme über mögliche Hinweise zum belegbaren Nutzen (oder Schaden) der Impact-Faktor-basierten LOM zeigen deutlich, dass die DFG sich bis auf Weiteres nicht ihrer Verantwortung für die Folgen der LOM stellt — ja sogar, dass sie auch in absehbarer Zukunft keine rigorose Evaluation durchführen will, obwohl ihr die Problematik sehr wohl bewußt ist.

Wenn man das dennoch ändern möchte, darf man also nicht weiter stillhalten. Deshalb nachfolgend eine ketzerische Liste von zehn LOM-Geboten zur wohlfeilen Reflexion. Sie könnte leicht noch länger sein, aber die Zahl 10 ist ja so schön biblisch — und 10 Gebote sollten letztlich mehr als genug sein, um potenziell LOM-induzierte Denkweisen des Homo laborensis nonsapiens darzustellen:x

Die 10 Gebote der LOM


  1. Du sollst den Kollegen vom Nachbar-Institut nicht helfen, in hochrangigen Journalen zu publizieren — vor allem, wenn die Gefahr besteht, dass sie in der LOM an Deinem Institut vorbei ziehen könnten.
  2. Du sollst Deinen LOM-Mitbewerbern nur solche Experimente vorschlagen, die viel Zeit kosten und letztendlich möglichst nicht funktionieren.
  3. Du sollst die Drittmittel-Anträge Deiner lokalen Kollegen nur oberflächlich kritisieren und eklatante Schwachstellen nicht aufdecken. Ihr Erfolg ist Dein LOM-Verlust!
  4. Du sollst Verbund-Initiativen nur gerade soweit unterstützen, wie sie Dir selbst nützen. Erfolge in diesem Bereich bringen den leitenden Kollegen in der Regel viele LOM-Punkte — was wiederum heißt, dass Du schlechter aussiehst.
  5. Du sollst in Berufungskommissionen dafür sorgen, dass in Nachbar-Instituten möglichst zweitklassige Kollegen angeheuert werden. Deren LOM-Schwäche wird Deine LOM-Stärke.
  6. Wenn Du eine Core Facility leitest, sorge dafür, dass vor allem die Kollegen Deines Instituts, am meisten aber Deine eigenen Leute von den sauteuren Gerätschaften profitieren.
  7. Du sollst Gutachtern bei Begehungen unauffällig subtile Hinweise zuspielen, die Deine LOM-Konkurenten in schlechterem Licht darstellen. Auch nonverbale Kommunikation kann hier wahre Wunder wirken.
  8. Falls Review-Artikel LOM-fähig sind, hau‘ möglichst viel davon raus! Selbst wenn deren echter „Nährwert“ oft äußerst limitiert ist, ersetzen sie doch für die LOM-Kalkulation wunderbar die deutlich mühsameren und kreativeren Originalartikel.
  9. Du sollst Kontrollexperimente und Wiederholungen von Experimenten auf ein absolutes Minimum beschränken, da diese nichts zur LOM beitragen.
  10. Du sollst Deine Ergebnisse in möglichst viele Artikel aufspalten, da dies zu einer Optimierung Deiner LOM-Punkte beiträgt.

 

In diesem Sinne, liebe Kollegen, freuen wir uns alle auf weitere Dekaden in der wunderbaren Welt der LOM. Für weitere kreative Ideen, wie man bei der LOM als Sieger vom Platz geht, einfach abends mal eine schöne Serie anschauen — zum Beispiel das gute alte Dallas mit J.R. Ewing oder auch House of Cards.

Illustration: iStock / kmlmtz66

x

Sind Exzellenzcluster zwingend exzellent?

28. September 2018 von Laborjournal

Arrgh, unser Mail-Postfach quillt gerade über vor lauter Erfolgsmeldungen der einzelnen Uni­ver­si­täten, dass sie im Rahmen der Exzellenzstrategie des Bundes und der Länder irgendwie „gewonnen haben“.

Wundern tut uns das allerdings nicht. Schließlich hat gerade ein Entscheidungsgremium aus Wissenschaft und Politik zum Ende eines wahren Wettbewerb-Marathons verkündet, ganze 57 sogenannte Exzellenzcluster an insgesamt 34 deutschen Universitäten zu fördern. (Für die gesamte Förderlinie stehen ab Januar 2019 sieben Jahre lang jeweils 385 Millionen Euro Steuergelder zur Verfügung, macht also im Schnitt rund 47 Millionen Euro pro Cluster — wobei die Unterschiede im einzelnen recht groß sind, beispielsweise zwischen Geräte-intensiven und „Geräte-freien“ Disziplinen. Im Detail kann man die Liste der „Sieger“ hier studieren.)

Nun ist das insgesamt eine derartige Masse an „exzellenten“ Projekten, dass man sich unwillkürlich fragen muss, ob es denn auch noch „normale“ Forschung gibt in Deutschland. Und schon merken wir: „Exzellenz“ ist relativ. Ein Begriff, den man nahezu beliebig mit Inhalt füllen kann — so, wie man es gerade braucht. Entsprechend kommentierte etwa die Bremer Wissenschaftssenatorin und stellvertretende Vorsitzende der Gemeinsamen Wissen­schafts­kon­fe­renz (GWK) Eva Quante-Brandt das Ergebnis mit: „Die Spitze liegt in der Breite“. Aha…!? Und Bundeswissenschaftsministerin Anja Karliczek ergänzte: „Wir haben Exzellenz an vielen deutschen Hochschulen. Das ist die Stärke und die internationale Attraktivität unseres Systems.“

Hm? Sollte „Exzellenz“ per definitionem nicht immer und ausschließlich die absolute Spitze einer Pyramide darstellen? Und wird so gesehen „Exzellenz“ nicht eher abgewertet, wenn sie immer mehr in die Breite geht? Wird auf diese Weise nicht heute exzellent, was es gestern noch nicht war — schlichtweg durch Evaluation und Wettbewerbs-Sieg?

Wie gesagt, Exzellenz ist immer relativ. Es ist noch gar nicht lange her, da galt beispielsweise vielen das gesamte wissenschaftliche Tun per se als exzellent. Klar, wenn man es mit reiner Fabrik- oder Verwaltungsarbeit verglich. Wenn die Wissenschaft jedoch als Bezugsgröße nur bei sich selber bleibt, dann zitieren wir hier hierzu gerne nochmals den folgenden Absatz aus dem letztjährigen Laborjournal-Essay des alten Konstanzer Wissenschaftstheoretikers Jürgen Mittel­straß:

Damit Exzellenz wirklich werden kann, muss viel Qualität gegeben sein; und damit Qualität wirklich werden kann, muss viel Mittelmaß gegeben sein. Allein Exzellenz und nichts anderes zu wollen, wäre nicht nur wirklichkeitsfremd, sondern für die Entstehungsbedingungen von Exzellenz vermutlich fatal — sie verlöre die wissenschaftliche Artenvielfalt, aus der sie wächst. Und darum eben auch: Nicht nur Erbarmen mit Durchschnittlichkeit und Mittelmaß, sondern zufriedene Unzufriedenheit mit diesen. Es ist das breite Mittelmaß, das auch in der Wissenschaft das Gewohnte ist, und es ist die breite Qualität, die aus dem Mittelmaß wächst, die uns in der Wissenschaft am Ende auch die Exzellenz beschert — mit oder ohne angestrengte Evaluierung.

Was gleichsam bedeutet, dass man Exzellenz nicht durch Wettbewerbe „erzwingen“ kann. Wohl aber herbeireden.

Doch das ist wieder ein anderes Thema, das unter anderem der Schweizer Ökonom Martin Bins­wanger vor zwei Jahren ebenfalls in einem Laborjournal-Essay sezierte…

Ralf Neumann

Illustr.: iStock / Akindo

x

„Einfach schlecht!“

19. Mai 2015 von Laborjournal

Arbeitsgruppen werden aufgelöst, Lehrstühle umgewidmet, Institute und Zentren geschlossen, langfristig angelegte Verbundprojekte vorzeitig abgewickelt,… All das passiert immer wieder in der Forschung. Und es ist auch ganz normal. Nur so kann man dynamisch auf aktuelle Entwicklungen reagieren — oder Projekte und Initiativen stoppen, von denen man plötzlich merkt, dass sie in der Sackgasse stecken.

Schlimm ist es natürlich für die jeweiligen Mitarbeiter, denen mehr oder weniger der Boden unter den Füßen weggezogen wird; und die den anvisierten „Auffangmaßnahmen“ oftmals berechtigterweise nur wenig trauen — wenn es denn überhaupt welche gibt.

Immer wieder haben wir daher im Laufe unserer über zwanzigjährigen Tätigkeit entsprechend empörte Anrufe von Leuten bekommen, die gerade mitgeteilt bekommen hatten, dass deren Gruppe/Institut/Projekt/… demnächst abgewickelt würde. Völlig überraschend und natürlich komplett unberechtigt. Man habe doch veröffentlicht, sei hier und da belobigt worden — und jetzt diese Katastrophe…

Unsere Frage war dann immer, welches die Begründungen für den Stopp seien. Ob es nicht einen entsprechenden Evaluierungsbericht oder eine Stellungnahme zu der Entscheidung gebe. „Ja, schon“, sagte dann meist der Anrufer. „Aber da komm‘ ich als einfacher Mitarbeiter nicht dran. Vielleicht könnten Sie da ja was rauskriegen — deswegen rufe ich ja an.“

Genau so lief vor ein paar Wochen auch das letzte derartige Gespräch ab, als uns ein betroffener Mitarbeiter wegen des vorzeitigen Endes eines interdisziplinären Zentrums anrief. Am Ende versprach unser Redakteur, „mal nachzuhaken“.

Zuerst rief unser Redakteur beim BMBF an. Den Bericht der letzten Zentrumsevaluation rückte der Mitarbeiter zwar nicht heraus, aber immerhin erfuhr er, wer der Evaluierungskommission vorsaß. Also rief er bei diesem „Vorsitzenden“ an. Das Gespräch dauerte allerdings nur knapp zwei Minuten. Als unser Redakteur geschildert hatte, dass er gerne mehr über die Gründe des Projektstopps erfahren wollte, antwortete der Vorsitzende: „Es ist zwar kein Ruhmesblatt für die Projektauswahl des BMBF, aber ich sag’s ihnen trotzdem ganz ehrlich: Die waren einfach schlecht!“

Das wäre zwar auch eine Nachricht gewesen — wir beschlossen aber dennoch, diesen „Fall“ nicht weiter zu vertiefen.

Nach Leistung fördern! Aber wie Leistung messen?

27. November 2014 von Laborjournal

Bekanntlich kommen die medizinischen Fakultäten an deutschen Universitäten in den Genuss einer leistungsorientierten Verteilung von Landesforschungsmitteln. Klar, dass die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) diese Praxis niemals grundsätzlich in Frage stellen würde. Ein wenig Kritik übte sie jetzt aber schon.

„600 Mio. Forschungsgelder pro Jahr fehlverteilt?“ überschrieb die AWMF kürzlich eine Pressemitteilung. Und führte dann im Vorspann weiter aus:

AWMF fordert sachgerechte Zuweisung von Landesmitteln: Über 600 Mio. Euro an Forschungsgeldern aus Landeszuschüssen werden jedes Jahr an den medizinischen Fakultäten nach wissenschaftlich nicht ausreichend validen Leistungskriterien vergeben.

Anlass der Pressemitteilung — so stellte sich heraus — war die Delegiertenkonferenz der AWMF am 15. November in Frankfurt, bei der offensichtlich Christoph Herrmann-Lingen, Direktor an der Klinik für Psychosomatische Medizin und Psychotherapie der Universität Göttingen, als Sprecher der AWMF-Kommission für Leistungsevaluation in Forschung und Lehre zum Thema referierte.

Wie die AWMF jedoch darauf kommt, dass ausgerechnet 600 Mio. Euro fehlverteilt würden, erklärt sie zumindest in der Pressemitteilung nicht. Ebenso wenig verliert sie ein Wort darüber, wie gravierend die Fehlverteilungen tatsächlich sind — wurde größtenteils „krass“ fehlverteilt, oder hauptsächlich „nur ein bisschen“. Schade, das wäre interessant gewesen!

Stattdessen springt der Text ohne Differentialdiagnose unmittelbar weiter zu möglichen Therapien: Diesen Beitrag weiterlesen »

Wer evaluiert die Forschungsförderer?

31. Oktober 2014 von Laborjournal

(Hin und wieder stöbern wir in unseren eigenen alten Ausgaben — und stoßen dabei bisweilen auf zeitlose „Perlen“, die das Gros unserer heutigen Leser nicht kennt. Zum Beispiel der folgende Beitrag aus dem Jahr 2000:)

„Wer evaluieren will, muss sich auch evaluieren lassen

Unis, Professoren, Disziplinen — alle werden mannigfach evaluiert. Außer den Forschungsförderern. Warum die eigentlich nicht?

Rationales Vorgehen ist nicht jedermanns Sache — das gilt leider auch für einige Wissenschaftler. Ein Beispiel: Auf einen Bericht der Zeitschrift Nature über Mängel in der Förderpraxis der DFG hin fühlten sich einige langjährige Drittmittelempfänger berufen, mit einer E-Mail-Kettenbrief-Keule auf die Zeitschrift einzudreschen (vgl. LJ 5/2000, S. 18). Vielleicht verklagen die Herren auch den Netzgeräte-Hersteller, wenn auf dem Gel nicht die richtigen Banden zu sehen sind? Spaß beiseite: Die Mitarbeiter und Gutachter der DFG oder des BMBF sollten dankbar für derartige Berichte sein. Sie kennen ja die Probleme des Hochschullehrer-Nachwuchses nicht aus eigener Erfahrung. Sie sollten Berichte aus der „Unterwelt“ als wertvollen Hinweis betrachten. Genau wie der Forscher jene ärgerliche zusätzliche Bande auf dem Gel akzeptieren muss, die einfach nicht wegzureinigen ist — und sich dann als essentieller Kofaktor erweist.

Methoden wie im Mittelalter

Wie geht man Probleme rational an? Es gibt eine alte Regel, die schon die Römer kannten, vermutlich sogar schon die Neandertaler: Man macht sich zuerst ein Bild über die Lage, dann erst trifft man Entscheidungen. Hier: man sammelt zuerst Daten. Auch Firmen ermitteln zuerst, wo der Markt ist und was die Zielgruppe braucht — vorher wird nicht investiert.

Wie aber packen unsere Forschungsförderer die Probleme an? Diesen Beitrag weiterlesen »

Journal Clubs gehen online

17. September 2012 von Laborjournal

Der gute alte Journal Club. Bei uns war es damals der Montag Mittag, an dem sich mal mehr, mal weniger Mitglieder des Instituts in einem schlecht belüfteten Seminarraum trafen und über ein Paper zu diskutieren versuchten, dass ein Kollege mal mehr, mal weniger spannend vorstellte.

Prinzipiell eine durchaus sinnvolle Veranstaltung — womöglich heute sogar sinnvoller denn je. Denn wie schrieben wir vor einigen Jahren in Laborjournal:

Gerade heute gibt es wahrscheinlich mehr wundervolle Paper als jemals zuvor in der Geschichte der Biowissenschaften — und es ist unglaublich lohnend herauszuarbeiten, warum diese Paper so wundervoll sind. Und gerade heute gibt es so viele wirklich furchtbare Paper wie noch nie zuvor in der Geschichte der Biowissenschaften — und es lohnt sich sehr darüber zu sprechen, warum sie so furchtbar sind. […] Gute Paper von schlechten zu unterscheiden gehört sicher zu den Schlüsselqualifikationen des fortgeschrittenen Wissenschaftlers Diesen Beitrag weiterlesen »

„Ich kann mir nicht vorstellen, dass Post-Publication-Peer-Review Veröffentlichungen besser macht“

7. September 2012 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. B.E. Dacht, Reflektologisches Institut Forschungszentrum Abwägingen.

LJ: Hallo, Herr Dacht — kurze Schreibpause?

Dacht: Ja, genug Forum-Pingpong gespielt.

LJ: Forum-Pingpong? Wie muss ich das verstehen?

Dacht: Ach, ich diskutiere schon seit Tagen in so einem Online-Forum mit, in dem es um die Vor- und Nachteile von Post-Publication-Peer-Review versus Pre-Publication-Peer-Review von Veröffentlichungen geht. Diesen Beitrag weiterlesen »

Information 1


Information 2


Info

Info

Mit dem HandyStep® Touch bringt BRAND® den Touchscreen auch für handgehaltene Geräte ins Labor. mehr

Info

Info

Wenn Sie Ihre Zentrifuge richtig und mit Sorgfalt behandeln, werden Sie sie lange Zeit genießen können. mehr

Info
Info

Info

Info

Die WLAN-Funktion der Olympus Kamera ermöglicht ein interaktives Zusammen­arbeiten der Studierenden. mehr