Gutachten immer und überall

3. Dezember 2019 von Laborjournal

 

 

Wohl kaum eine andere Berufsgruppe wird derart oft und ausgiebig evaluiert wie die Forscher. Diplom- und Doktorarbeit, Bewerbungsgespräche und Berufungskommissionen — geschenkt, das gibt‘s woanders auch. Dann aber jedes einzelne Manuskript und jeder Förderantrag — das macht bisweilen Dutzende von kritischen bis kleinkarierten Gutachten im Jahr, die man erst mal schlucken muss. Dazu noch die regelmäßigen Berichte an Förderorganisationen, Verwaltung, Fakultätsleitung oder Trägergesellschaft — alles ebenfalls durchaus existentiell hinsichtlich Finanzierung, Gehalt, Verteilung von (Service-)Pflichten, Gewährung von Rechten und anderem mehr. Und wenn einer dann noch lehrender Forscher ist, muss er sich auch noch der Bewertung seiner Lehrleistung durch Studenten und Institutskollegen stellen…

Zusammen macht das eine Evaluationslast, über die eine US-Professorin einmal schrieb:

Nimmt man die Menge und Intensität all dieser Evaluationen, muss man sich wundern, ob ohne ein titanisches Ego überhaupt jemand diesen Prozess überleben kann. Allerdings, die meisten können!

Natürlich wird man bei dieser Evaluationsmasse auch immer wieder mit ungerechten, schlampigen, rüden und manchmal auch schlichtweg dummen Antworten konfrontiert. Das kann einen dann — je nach Naturell — auch mal richtig wütend oder niedergeschlagen werden lassen.

Dennoch muss man als Forscher über kurz oder lang grundsätzlich akzeptieren, dass Gutachten von ihrer reinen Intention her kritisch sein sollen. Schlussendlich sollte diese Kritik in einer idealen Welt mit perfekt funktionierendem System die Arbeit der Forscher am Ende des Tages gar verbessern helfen.

Doch gerade die Egos vieler Jungforscher müssen dies erst lernen und begreifen — vor allem den Unterschied zwischen schonungslos kritischen, aber dennoch konstruktiven Gutachten einerseits sowie rein bösartiger Gutachter-Willkür auf der anderen Seite.

Die erwähnte US-Professorin dokumentiert das sehr nett in folgender kleinen Anekdote:

Immer wieder kam einer meiner Mitarbeiter wegen eines vermeintlich absolut grausamen Gutachtens völlig zerknirscht zu mir. Und fast genauso oft habe ich dann nach eigenem Durchlesen gedacht: „Großartiges Gutachten. Mit richtig hilfreichen Kommentaren.“

Ralf Neumann

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere | 1 Kommentar »

Besser als begutachtet

26. November 2019 von Laborjournal

Warum „Forscher Ernst“ wohl bald ein Freund von Post-Publication-Peer-Review sein wird…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Flores.)

x

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Peer Review und die Bewahrung des Status quo

19. November 2019 von Laborjournal

Peer Review hat einige Probleme. Eines, das zunächst einmal ganz trivial klingt, ist, dass Peer Review nur dort funktioniert, wo es auch wirkliche Peers gibt. Kann das in den Wissenschaften überhaupt nahtlos der Fall sein? Gibt es tatsächlich immer und überall solche „ebenbürtige Experten“? Ganz sicher nicht.

Fragen wir daher zunächst einmal: Wer ist „Experte“? Klar — jemand, der sich in einem bestimmten Gebiet besonders gut auskennt. Was zunächst bedeutet, dass ein Peer vor allem den Status quo eines Gebietes umfassend kennt. Womöglich hat er bei dessen Etablierung sogar entscheidend mitgeholfen.

Jetzt dreht sich aber Wissenschaft nicht nur um den Status quo — nicht mal vor allem um den Status quo. Vor allem geht es in der Wissenschaft um das, was jenseits des Status quo liegt. Neue Pfade beschreiten, Licht ins Dunkel bringen, Horizonte erweitern, zu neuen Ufern aufbrechen — das sind die Metaphern, die beschreiben, was vor allem Ziel der Wissenschaft ist. Oder, schlichter formuliert: Neue Erkenntnisse gewinnen.

Das Paradoxon dabei ist nun, dass es da, wo einer erstmals Neuland beschreitet, keine Experten geben kann. Das heißt zwar nicht, dass jeder Experte des Status quo grundsätzlich nicht mehr adäquat bewerten kann, was er von jenseits der bekannten Grenzen seines Gebietes zu hören bekommt. Aber es ist natürlich ungleich schwieriger zu beurteilen, ob jemand tatsächlich Handfestes oder totalen Blödsinn aus absolutem Neuland berichtet. Und da die Experten des Status quo auch gerne Bewahrer des Status quo sind, kippen sie auch mal das Kind mit dem Bade aus, wenn sie vermeintlich allzu abenteuerliche Berichte abschmettern.

Beispiele gibt es genug, wie letztlich richtige Ergebnisse und Schlussfolgerungen teilweise sehr lange brauchten, um sich gegen den „Experten“-Mainstream durchzusetzen: Barabara McClintocks springende Gene, Stanley Prusiners Prionen, die Helicobacter-Geschichte,… — alles Fälle, bei denen die Peers seinerzeit schlichtweg unfähig oder unwillig waren, grundlegend Neues und Richtiges zu erkennen.

Nicht zuletzt deshalb zog kürzlich der Soziologe Steve Fuller das Fazit: „Peer Review funktioniert bei ‚normaler Wissenschaft‘, hat aber auch die Macht, radikale Ideen zu unterdrücken.“

Ralf Neumann

 

Schlagworte: , , , , , , ,
Veröffentlicht in Allgemeines | 2 Kommentare »

Wie ambitioniert hätten Sie’s denn gerne…?

6. November 2019 von Laborjournal

Und schon wieder beschleicht „Forscher Ernst“ ein Gefühl von Gutachter-Willkür…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier. Zeichnungen von Rafael Flores.)

x

Schlagworte: , , , , , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Lab-Budgetplanung will gelernt sein

30. Oktober 2019 von Laborjournal

Money makes research go round…

Der frischgebackene Masterstudent merkt das erstmals, wenn er voller Elan die nötigen Vektorkonstrukte für sein Projekt zusammenbastelt. Nach Klonierungsansatz und eifrigem Studium der entscheidenden Sequenzabschnitte wählt er für den analytischen Verdau ausgerechnet das Restriktionsenzym FatI. Erwartungsvoll präsentiert er den Plan seinem Prof — und der schlägt die Hände über dem Kopf zusammen: „FatI, ja klar! Tatsächlich so ziemlich das fetteste Enzym von allen. 250-mal teurer als EcoRI. Und das, nur um ein Plasmid zu überprüfen? Nee, das geht ganz sicher auch mit viel billigeren Enzymen.“

Woher sollte der arme Masterstudent das wissen? Denn auch in der Forschung gilt die weitverbreitete Etikette: Über Geld spricht man nicht! Selbst Postdocs haben meist keine Ahnung, was ihr eigenes Projekt kostet — geschweige denn, wieviel Geld das gesamte Labor zur Verfügung hat und wie es budgetiert ist.

Dabei müssten eigentlich genau diese Dinge — Budgetierung und Grant Management — zwingender Bestandteil eines ordentlichen Postdoc-Trainings sein. Schließlich müssen diese bald selbst die vollen Kosten für geplante Projekte zuverlässig kalkulieren und daraufhin die passenden Anträge stellen können. Der Laborleiter, der einmal im Jahr mit seinen Leuten eine komplette „Haushaltssitzung“ macht, ist jedoch die rühmliche Ausnahme. Die Realität spiegelt sich eher in der folgenden Forums-Frage eines Postdocs:

Kann ich meinen Chef einfach ansprechen — nach dem Motto: „Ich würde gerne mehr über Labor-Budgetierung und -Management lernen, um besser auf meine akademische Zukunft vorbereitet zu sein. Kannst du mir daher das ungefähre Jahresbudget für unser Labor erklären und mir aufschlüsseln, wie es sich auf die einzelnen Posten verteilt?“ Wäre das genauso unverschämt, wie ihn nach seinem Gehalt zu fragen? Oder so heikel, wie sich nach seiner letzten Zahnbehandlung zu erkundigen?

Nein, es ist weder unverschämt noch heikel — es ist absolut angemessen!

Allerdings kann es einem dann auch ergehen wie Postdoc Müller: Dem erklärte sein Chef auf Nachfrage nach anfänglichem Zögern umfassend das Finanzmanagement der Gruppe — mit dem Resultat, dass dieser seitdem die komplette Buchhaltung des Labors am eigenen Hals hat.

Ralf Neumann

Illustrationen: AE Zemin

Schlagworte: , , , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere | Keine Kommentare »

Wer hat hier eigentlich Talent?

23. Oktober 2019 von Laborjournal

Junge Talente. Wenn man sich so umhört, könnte man fast meinen, dass Wohl und Gedeih der Wissenschaft einzig von ihnen abhängen. Nicht zuletzt, da schon länger Programme zur Förderung besonders begabter Jungforscher wie Pilze aus dem feuchten Herbstboden schießen.

Das ist zwar sicher gut so, da gerade der wissenschaftliche Nachwuchs bis vor einiger Zeit doch arg vernachlässigt wurde — meist zugunsten der etablierten Platzhirsche. (Ganz abgesehen davon, dass er ja sowieso zu schlecht bezahlt wird.) Das Problem bei der ganzen Sache ist jedoch erstmal ein anderes: Bevor man Talent fördern kann, muss man es erkennen. Und zwar nicht erst, wenn jemand bereits seine ersten wissenschaftlichen Fußstapfen in irgendwelchen angesehenen Journalen hinterlassen hat. Nein, viel früher. Möglichst ganz am Anfang schon.

In einer idealen Welt müsste Chef oder Chefin jeden „Neuankömmling“ im Labor gerade in den ersten Monaten ganz besonders begleiten. Denn wenn da mit den richtigen Leuten nicht die richtigen Dinge passieren, nimmt der begabte Nachwuchs ganz schnell sein Talent und geht woanders spielen.

Doch die Welt ist nicht ideal — Chefs oftmals schon gar nicht. Und so ereignen sich immer wieder Fälle wie der folgende:

Eine Master-Studentin kommt frisch ins Labor und beginnt ein neues Projekt. „Zum Antesten“, steckt der Chef einem Kollegen. „Wäre zu riskant für unsere Docs und Postdocs, die brauchen doch was Sicheres, mit Ergebnisgarantie.“

Kaum hat die Studentin die ersten positiven Ergebnisse, nimmt der Chef ihr jedoch prompt das Projekt ab und übergibt es einem Postdoc. „Der kriegt das schneller hin, hat ja auch mehr Erfahrung“, sagt er seinem Kumpel. „Um der Wissenschaft willen“, sagt er der Studentin.

Mit dem nächsten „riskanten Projekt“ dasselbe: Die Studentin hat schnell erfolgsversprechende Ergebnisse — und Postdoc Nummer 2 übernimmt. Und man mag es kaum glauben, aber das Muster wiederholt sich ein drittes Mal — sehr zur Freude von Postdoc Nummer 3.

Wer hier wirklich Talent hat, erkennt der aufmerksame Leser schnell — der „Chef“ offenbar nicht. Das Ende vom Lied: Der Master-Studentin bleibt nichts anderes übrig, als eine fürchterliche Patchwork-Arbeit zu schreiben — und macht hernach Karriere in der Software-Branche.

Und die drei Postdocs? Sind heute immer noch Postdocs.

Ralf Neumann

(Eine etwas andere Version dieses Textes erschien bereits in unserer Printausgabe Laborjournal 11/2008.)

Foto: iStock / Imgorthand

x

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Forscherkarriere | Keine Kommentare »

Wenn Umfragen plötzlich zählen

16. Oktober 2019 von Laborjournal

Gewöhnlich geben Naturwissenschaftler nicht viel auf Ergebnisse, die mit Fragebögen erhoben sind. Objektive Ergebnisse seien damit nicht möglich, ist deren klares Urteil. Zu befangen (biased) seien die „Versuchsobjekte“, zu viele nicht messbare Faktoren gingen in die Antworten ein. Mit ein Hauptgrund, weswegen „echte“ Wissenschaftler klassischen Fragebogen-Disziplinen wie Psychologie oder Soziologie allenfalls mit Argwohn begegnen.

Komisch ist allerdings, dass sie derlei Kritik offenbar komplett ausblenden, wenn ihnen die Ergebnisse solcher Umfragen gut in den Kram passen. Dann zeigt sich wie kaum irgendwo sonst, dass Naturwissenschaftler eben auch nur Menschen sind. „Seht ihr, hab’ ich doch schon immer gesagt“, heißt es dann aus deren Mündern. „Hier habt ihr es jetzt schwarz auf weiß“.

Gut zu beobachten war dieses Phänomen vor einiger Zeit anlässlich einer Umfrage zum Thema Gutachtertum (Sci. Eng. Ethics 14, S. 305). Drei US-Autoren hatten eine ordentliche Anzahl Life-Science-Forscher über ihre Erfahrungen mit Peer Review befragt. Die Ergebnisse:

  • Mindestens ein Reviewer war inkompetent, erfuhren 61,8 Prozent der Befragten.
  • Mindestens ein Reviewer war voreingenommen (biased!), bemängelten 50,5 Prozent.
  • Gutachter verlangten, unnötige Referenzen in die Publikation aufzunehmen — 22,7 Prozent.
  • Kommentare der Gutachter enthielten persönliche Angriffe — 17,7 Prozent….
  • … Bis hin zu Vertraulichkeitsbruch der Gutachter (6,8 Prozent) beziehungsweise unerlaubter Übernahme von Ideen, Daten oder Methoden aus dem Manuskript (5 Prozent).

Alles das also, worüber so gut wie jeder Forscher immer wieder wettert — jetzt mit fetten Zahlen dahinter. Solche Umfragen zählen natürlich.

Zumal es ja auch bei der Begutachtung von Förderanträgen genügend „Evidenz“ für die Unzulänglichkeiten des Peer Review gibt. Denn wie war das noch mit dem Kollegen Müller, der kürzlich ins Ausland gewechselt war? Mit dem gleichen Antrag, den die DFG vor zwei Jahren komplett abgelehnt hatte, bekam er jetzt dort die höchste Zuwendung der aktuellen Förderperiode.

Oder der Sonderforschungsbereich (SFB) vom Kollegen Schlacht? Wurde damals ebenfalls abgelehnt. Ein Jahr später jedoch waren sämtliche Einzelprojekte des einstmals erfolglosen SFB über das Normalverfahren bewilligt.

Oder Nachwuchsmann Starz. Bekam mit seinem Projektantrag von der DFG kein Stipendium und wurde dann — glücklicherweise, muss man im Nachhinein sagen — über EU-Töpfe finanziert. Und jetzt ziert sein Paper die Titelseite von Current Biology und wurde bereits breit in der internationalen Presse vorgestellt.

Doch halt, das sind ja quasi Einzelfallstudien (Case Studies)! Und die zählen bei „echten“ Naturwissenschaftlern schließlich auch nur wenig.

Ralf Neumann

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Schlagworte: , , , , , , , , , , ,
Veröffentlicht in Fun & Entertainment, Publikationswesen | Keine Kommentare »

Referenzlisten auf Schmalspur

2. Oktober 2019 von Laborjournal

Es gibt Dinge, die ärgern Forscher ganz besonders. Mit zu den „Highlights“ ge­hört sicherlich, wenn man ein frisches Paper liest, dessen Inhalt klar erfordert, dass es die ein oder andere eigene Ar­beit zitiert — aber nichts, nicht ein einziges Mal wird man in der Referenz­liste erwähnt.

Manchmal ruft man daraufhin den verantwortlichen Autor an. Schließlich arbeitet er im gleichen Feld, und man kennt sich ja. Doch die Antwort, die man dann bisweilen erhält, lässt den For­scherkamm nur noch dicker an­schwel­len:

„Ja, tut mir leid. Das war uns natürlich bewusst. Aber das blöde Journal akzeptiert nur maximal 25 Referenzen — da mussten wir zwangsweise das eine oder andere wichtige Paper weglassen.“

Ganz toll! Und dann fügt er noch hinzu:

„Weißt du, was mir zuletzt mit einem anderen Paper passiert ist? Da hat das Journal die Referenzliste sogar eigenmächtig auf Layout-freundliches Maß zurechtgestutzt.“

Geht‘s eigentlich noch?

Um das jetzt mal ganz klarzumachen: Life-Science-Forschung ist ein derart vielfältiges Gebiet, da können die Verlage unmöglich einfach mal festlegen, dass sich ein jedes Paper auf dieser Erde auf den Ergebnissen von nicht mehr als 25 oder 30 Referenzen aufbauen ließe. Manche brauchen die Vorarbeit von mehr als hundert, wobei jedes einzelne davon zu Recht in der Referenzliste steht!

Und ganz abgesehen davon: Sollte es nicht zu den Hauptaufgaben der Forschungsblätter gehören, dem geneigten Leser die Möglichkeit zu bieten, genauestmöglich nachvollziehen zu können, auf wessen „Schultern“ die präsentierten Ergebnisse tatsächlich stehen?

Klar, eine weitere Schlüsselaufgabe der Gutachter ist natürlich, gleichsam unnötige oder unverdiente Referenzen wieder auszusortieren — gerade um nicht immer ganz lautere „Über­zitie­rung“ zu vermeiden. Aber hier geht es um die vorweg festgelegten Limits für die Referenzlisten — und die sind oftmals viel zu niedrig.

Was daraus resultiert, klingt fast schon wie ein schlechter Witz: Für die Forscher sind Zitierungen heute so wichtig wie noch nie (wenn auch infolge eines zugegebenermaßen fehlgeleiteten Belohnungssystems) — während die Zeitschriften mit solchen schmalspurigen Maßnahmen den tieferen Zweck des wissenschaftlichen Referenzierens mit Füßen treten.

Ralf Neumann

(Eine etwas andere Version dieses Textes erschien bereits in unserer Printausgabe Laborjournal 12/2015.)

x

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Erkenntnis hat Methode

25. September 2019 von Laborjournal

Wissenschaft erforscht das Unbekannte. So gesehen kann man also kaum vorher wissen, wie man am besten dorthin vorstoßen kann. Sollte man jedenfalls meinen.

Oftmals stimmt das aber nicht wirklich. Häufig weiß man ganz genau, welcher Weg zur gewünschten Erkenntnis führt. Nur kann man ihn nicht gehen, da ein entscheidendes methodisches Vehikel fehlt.

Die Geschichte der Wissenschaften ist voller Beispiele dafür. Eines kommt etwa aus der Frühzeit der Cytogenetik. Die hatte lange das Problem, dass man in den Präparaten menschlicher Zellen die Chromosomen schlichtweg nicht gut genug unter dem Mikroskop sehen konnte. Immerhin meinte der US-Cytologe Theophilus Shickel Painter vor bals hundert Jahren, in dem Durcheinander unkondensierter Spermatozyten-Chromosomen einen haploiden Satz von 24 erspäht zu haben. Die diploide Chromosomenzahl von 48 galt fortan zwar über dreißig Jahre lang als Konsens unter den Experten — zugleich war den Experten jedoch klar, dass man die Chromosomen noch diskreter darstellen können müsste, um endgültige Gewissheit zu erlangen.

Dies gelang interessanterweise erst nach der Entdeckung der DNA-Struktur. Im Jahr 1956 war es schließlich möglich geworden, die Zellen durch Colchicin in der Metaphase auflaufen zu lassen — und zum anderen hatte man damals gerade gelernt, die Chromosomen nach hypotoner Vorbehandlung zu spreiten. Erst damit waren die Vehikel allesamt reif, um den Weg zur Lösung des Problems sicher zu gehen. Und fast wie erwartet, wurde der falsche Konsens gekippt und die diploide Chromosomenzahl auf 46 korrigiert.

Nicht zuletzt wegen Beispielen wie diesem sind viele der Meinung, dass methodische Neuheiten oder Verbesserungen für den konkreten Erkenntnisfortschritt eine wichtigere Bedeutung haben als alleine „gute Ideen“. Auch bei der Entdeckung der DNA-Struktur wusste man schließlich genau, was man wo sucht — doch auch dorthin konnte man erst sicher vordringen, nachdem die englische Textilindustrie die Röntgenkristallographie entwickelt hatte.

„Geistesblitze“ hin, „Eureka-Momente“ her — bei vielen großen Entdeckungen waren die entsprechenden Ideen schon lange projektreif. Nur mussten sie noch eine Weile auf die passenden Methoden zu ihrer Realisierung warten.

Vielleicht gibt es deshalb so viele Nobel- und andere Preise für methodische Entwicklungen.

Ralf Neumann

Schlagworte: , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

« Ältere Einträge
Information 1


Information 2


Info

Info

Info

Online shoppen & Eppendorf Produkte günstiger erhalten

Erhalten Sie Top Angebote auf eine Vielzahl von Eppendorf Laborgeräten – einfach online einkaufen! mehr