Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Referenzlisten auf Schmalspur

2. Oktober 2019 von Laborjournal

Es gibt Dinge, die ärgern Forscher ganz besonders. Mit zu den „Highlights“ ge­hört sicherlich, wenn man ein frisches Paper liest, dessen Inhalt klar erfordert, dass es die ein oder andere eigene Ar­beit zitiert — aber nichts, nicht ein einziges Mal wird man in der Referenz­liste erwähnt.

Manchmal ruft man daraufhin den verantwortlichen Autor an. Schließlich arbeitet er im gleichen Feld, und man kennt sich ja. Doch die Antwort, die man dann bisweilen erhält, lässt den For­scherkamm nur noch dicker an­schwel­len:

„Ja, tut mir leid. Das war uns natürlich bewusst. Aber das blöde Journal akzeptiert nur maximal 25 Referenzen — da mussten wir zwangsweise das eine oder andere wichtige Paper weglassen.“

Ganz toll! Und dann fügt er noch hinzu:

„Weißt du, was mir zuletzt mit einem anderen Paper passiert ist? Da hat das Journal die Referenzliste sogar eigenmächtig auf Layout-freundliches Maß zurechtgestutzt.“

Geht‘s eigentlich noch?

Um das jetzt mal ganz klarzumachen: Life-Science-Forschung ist ein derart vielfältiges Gebiet, da können die Verlage unmöglich einfach mal festlegen, dass sich ein jedes Paper auf dieser Erde auf den Ergebnissen von nicht mehr als 25 oder 30 Referenzen aufbauen ließe. Manche brauchen die Vorarbeit von mehr als hundert, wobei jedes einzelne davon zu Recht in der Referenzliste steht!

Und ganz abgesehen davon: Sollte es nicht zu den Hauptaufgaben der Forschungsblätter gehören, dem geneigten Leser die Möglichkeit zu bieten, genauestmöglich nachvollziehen zu können, auf wessen „Schultern“ die präsentierten Ergebnisse tatsächlich stehen?

Klar, eine weitere Schlüsselaufgabe der Gutachter ist natürlich, gleichsam unnötige oder unverdiente Referenzen wieder auszusortieren — gerade um nicht immer ganz lautere „Über­zitie­rung“ zu vermeiden. Aber hier geht es um die vorweg festgelegten Limits für die Referenzlisten — und die sind oftmals viel zu niedrig.

Was daraus resultiert, klingt fast schon wie ein schlechter Witz: Für die Forscher sind Zitierungen heute so wichtig wie noch nie (wenn auch infolge eines zugegebenermaßen fehlgeleiteten Belohnungssystems) — während die Zeitschriften mit solchen schmalspurigen Maßnahmen den tieferen Zweck des wissenschaftlichen Referenzierens mit Füßen treten.

Ralf Neumann

(Eine etwas andere Version dieses Textes erschien bereits in unserer Printausgabe Laborjournal 12/2015.)

x

Erkenntnis hat Methode

25. September 2019 von Laborjournal

Wissenschaft erforscht das Unbekannte. So gesehen kann man also kaum vorher wissen, wie man am besten dorthin vorstoßen kann. Sollte man jedenfalls meinen.

Oftmals stimmt das aber nicht wirklich. Häufig weiß man ganz genau, welcher Weg zur gewünschten Erkenntnis führt. Nur kann man ihn nicht gehen, da ein entscheidendes methodisches Vehikel fehlt.

Die Geschichte der Wissenschaften ist voller Beispiele dafür. Eines kommt etwa aus der Frühzeit der Cytogenetik. Die hatte lange das Problem, dass man in den Präparaten menschlicher Zellen die Chromosomen schlichtweg nicht gut genug unter dem Mikroskop sehen konnte. Immerhin meinte der US-Cytologe Theophilus Shickel Painter vor bals hundert Jahren, in dem Durcheinander unkondensierter Spermatozyten-Chromosomen einen haploiden Satz von 24 erspäht zu haben. Die diploide Chromosomenzahl von 48 galt fortan zwar über dreißig Jahre lang als Konsens unter den Experten — zugleich war den Experten jedoch klar, dass man die Chromosomen noch diskreter darstellen können müsste, um endgültige Gewissheit zu erlangen.

Dies gelang interessanterweise erst nach der Entdeckung der DNA-Struktur. Im Jahr 1956 war es schließlich möglich geworden, die Zellen durch Colchicin in der Metaphase auflaufen zu lassen — und zum anderen hatte man damals gerade gelernt, die Chromosomen nach hypotoner Vorbehandlung zu spreiten. Erst damit waren die Vehikel allesamt reif, um den Weg zur Lösung des Problems sicher zu gehen. Und fast wie erwartet, wurde der falsche Konsens gekippt und die diploide Chromosomenzahl auf 46 korrigiert.

Nicht zuletzt wegen Beispielen wie diesem sind viele der Meinung, dass methodische Neuheiten oder Verbesserungen für den konkreten Erkenntnisfortschritt eine wichtigere Bedeutung haben als alleine „gute Ideen“. Auch bei der Entdeckung der DNA-Struktur wusste man schließlich genau, was man wo sucht — doch auch dorthin konnte man erst sicher vordringen, nachdem die englische Textilindustrie die Röntgenkristallographie entwickelt hatte.

„Geistesblitze“ hin, „Eureka-Momente“ her — bei vielen großen Entdeckungen waren die entsprechenden Ideen schon lange projektreif. Nur mussten sie noch eine Weile auf die passenden Methoden zu ihrer Realisierung warten.

Vielleicht gibt es deshalb so viele Nobel- und andere Preise für methodische Entwicklungen.

Ralf Neumann

Steuert Google Scholar, was wir zitieren?

17. September 2019 von Laborjournal

Na ja, ganz so ist es natürlich nicht. Schließlich sind es immer noch die Autoren, die bestimmen, welche Paper sie in die Referenz­listen ihrer eigenen Manuskripte aufnehmen. Allerdings sind Autoren manchmal auch einfach faul — und dann bestimmt die allseits beliebte Literatur-Such­ma­schi­ne Google Scholar deren Zitierverhalten womöglich wirklich ganz schnell mit.

Vorletzte Woche tweetete beispielsweise der Scientific-American-Reporter George Musser folgendes über einen Vortrag beim Metascience 2019 Symposium an der Stanford University:

Demnach zeigte der Informationswissenschaftler Jevin D. West von der University of Washington („@jevinwest“) in seinem Vortrag Daten, nach denen Forscher wohl öfter schlichtweg diejenigen Paper zitieren, die Google Scholar ihnen bei oberflächlicher Recherche gleich „vorne“ anzeigt — auch wenn „weiter hinten“ in den Suchergebnissen womöglich Artikel folgen, die es viel mehr verdient hätten, für die jeweilige Studie zitiert zu werden.

Fachleute bezeichnen dies als “First Results Page Syndrome”, nach dem Suchmaschinen-Nutzer diejenigen Dokumente stark bevorzugen, die ihnen gleich auf der ersten Ergebnisseite angezeigt werden. Und im Gegensatz zu anderen wissenschaftlichen Literatur-Datenbanken sortiert Google Scholar eben nicht nach Datum, sondern nach Relevanz. Wobei Google Scholar „Rele­vanz“ insbesondere anhand der Zitierungen der einzelnen Artikel misst.

Zusammen mit dem First Results Page Syndrome und der Bequemlichkeit der Autoren sorgt dies dafür, dass die Zitierungen sich insgesamt immer stärker auf immer weniger sowieso schon viel­zitier­te Artikel konzentrieren. Diesen Beitrag weiterlesen »

Mit Babybauch an der Bench

11. September 2019 von Laborjournal

(Dieser Artikel erscheint ebenfalls in unserer Printausgabe Laborjournal 9/2019.  Hier kann man ihn kommentieren — siehe unten.)

Wenn Frauen, die im Labor arbeiten, schwanger werden, sollten diese ihre Vorgesetzten schnellstmöglich darüber informieren. Die Arbeit im Labor kann dadurch allerdings komplett ausfallen. Um den Schwangeren dennoch eine nahezu unbeeinträchtigte Fortsetzung ihrer Karriere zu ermöglichen, setzen Forschungseinrichtungen in Deutschland, Österreich und der Schweiz auf ganz individuelle Hilfsangebote.

Eine Pipette, zwei Spitzen-Steck-Boxen und drei Pappschachteln voller Einweg-Handschuhe liegen auf der Bench neben der ­Zentrifuge. In den darüberliegenden Regalen stapeln sich Kisten, gläserne Flaschen mit blauen Deckeln und ein kleiner Timer. Gegenüber eine mannshohe Hood, darin ein Mikroskop. Alles im Labor wirkt gewöhnlich. Doch der Raum mit der Nummer 2-028 am Research Institute of Molecular Pathology (IMP) in Wien ist anders als die üblichen Labore — denn hier arbeiten ausschließlich Forscherinnen, die schwanger sind.

Tatsächlich gibt es schon seit über zehn Jahren am IMP einen Raum, in dem ganz simple molekularbiologische Arbeiten durchgeführt werden können, und der sich deshalb besonders für schwangere Wissenschaftlerinnen eignet. Zu Beginn noch in kleinem Maßstab etablierte sich der Raum und die dazugehörigen Arbeitsprotokolle ab 2009 so richtig. Diesen Beitrag weiterlesen »

Der König ist tot, es lebe das Feld

4. September 2019 von Laborjournal

Es gilt als eines der berühmtesten Zitate von Max Planck — nicht zuletzt, weil es einige gar zu „Plancks Prinzip“ der Wissenschaftstheorie erhoben:

Eine neue wissenschaftliche Wahrheit pflegt sich nicht in der Weise durchzusetzen, daß ihre Gegner überzeugt werden und sich als belehrt erklären, sondern vielmehr dadurch, dass die Gegner allmählich aussterben und dass die heranwachsende Generation von vornherein mit der Wahrheit vertraut gemacht ist.

Drei US-amerikanische Wirtschaftswissenschaftler nahmen das mit dem „Sterben“ jetzt wörtlich — und haben Plancks Einsicht, dass der Tod prominenter Figuren oftmals die Bremsen für neue wissenschaftliche Wahrheiten löst, durch eine bibliometrische Analyse ansatzweise bestätigt.

Unter dem Titel „Does Science Advance One Funeral at a Time?“ veröffentlichten sie in American Economic Re­view (109(8): 2889-2920) ihre Nachforschungen darüber, was die Todesfälle von insgesamt 452 noch aktiven Biomedizinern, die ihr jeweiliges Forschungsfeld stark geprägt hatten, nachfolgend mit ebendiesen Feldern machten.

Fassen wir deren Ergebnisse kurz zusammen. Diejenigen, die bereits mit den „Starforschern“ kooperiert hatten und demnach eher in deren Strom schwammen, mussten nach deren Tod bezüg­lich der Zahl ihrer nachfolgenden Veröffentlichungen eine durchschnittliche Einbuße von neun Prozent hinnehmen. Was jetzt nicht gerade die Welt ist. Etwas stärker beeindru­cken die Verschiebungen auf der „anderen Seite“: Forscher, die bislang nicht mit dem jeweiligen „Promi“ kollaboriert hatten, konnten nach dessen Beerdigung im Schnitt um zwanzig Prozent mehr Artikel in dem jeweiligen Feld veröffentlichen.

Interessanterweise waren es jedoch weniger die „ewigen Konkurrenten“, die das Vakuum auf diese Weise mehr als ausfüllten. Vielmehr stiegen auffällig oft mehr oder weniger junge Kollegen aus anderen Gebieten neu ein — und brachten nicht nur eine frische und unvoreingenommene Denke ins Feld, sondern wurden mit ihren resultierenden Erkenntnissen auch bald überpro­por­tio­nal häufiger zitiert. Die Autoren der Studie schreiben dazu wörtlich:

To our surprise, it is not competitors from within a subfield who assume the mantle of leadership, but rather entrants from other fields who step in to fill the void created by a star’s absence. Importantly, this surge in contributions from outsiders draws upon a different scientific corpus and is disproportionately likely to be highly cited.

Jetzt kann man natürlich trefflich spekulieren, worin die Ursachen für solche Bremswirkung von Forscher-Lichtgestalten liegen könnten. Sitzen sie selbst mit ihrer „Anhängerschaft“ zu fett auf Schlüsselpositionen im Rahmen von Antrags- und Manuskript-Begutachtungen, sodass Neulinge mit alternativen inhaltlichen Konzepte viel schwerer „durchkommen“? Oder schreckt ein gut vernetz­ter Block von Anhängern rund um eine solche Lichtgestalt viele „Frischlinge“ schon von vorn­herein davon ab, den Versuch zu wagen, sich daneben im gleichen Feld zu etablieren?

Die Studienautoren jedenfalls halten sich klar davon fern, den Starforschern und ihren Gemeinden zu unterstellen, sie würden alternative Ideen mit bewusster Absicht blockieren. Vielmehr tendieren sie eher zu letzterer Erklärung:

It does not appear to be the case that stars use their influence over financial or editorial resources to block entry into their fields, but rather that the very prospect of challenging a luminary in the field serves as a deterrent for entry by outsiders.

Womöglich ist das aber auch einfach der ganz normale Lauf der Forschung, wie einer der Autoren im Interview sinniert. Denn wahrscheinlich waren die schwerfälligen alten Platzhirsche von heute selbst einmal vor neuen Ideen sprühende Jungforscher, die sich damals ihrerseits solch einer alten Garde gegenüber sahen.

Max Planck wird da vielleicht selbst keine Ausnahme gewesen sein.

x

Das laute Schweigen um die Qualität diagnostischer Tests

28. August 2019 von Laborjournal

(Ein Kommentar unserer Mitarbeiterin Karin Hollricher)

Es ist schon merkwürdig: Während wir darüber diskutieren, ob und wie schnell E-Scooter auf dem Radweg, auf der Straße oder gar nicht fahren dürfen, interessiert sich offenbar kaum ein Mensch für die Qualität und Sicherheit von Tests zur Diagnose von lebensgefährlichen Auto­immun­krankheiten.

Im letzten Jahr hatte ich in LJ berichtet (hier, hier und hier), dass diagnostische Bluttests ak­tu­ell keinerlei unabhängige Validierung durch­laufen müssen. Vielmehr liegt die Validierung und Qualitätssicherung derzeit allein in den Händen der Hersteller und Anwender, obwohl das EU-Recht dies eindeutig untersagt.

Nachweisbar — und bei Ärzten übrigens allge­mein bekannt — ist jedoch, dass gerade Blut­tests häufig fehlerhafte Resultate liefern. Daraufhin gab es, Gerüchten zu Folge, große Aufregung in der Diagnostik-Community — was offiziell natürlich niemand bestätigt.

Tatsächlich bekam ich nach der Veröffentlichung meiner Artikel auf weitere telefonische oder elektronische Anfragen keine Antworten mehr. Stattdessen wurde mir wissenschaftliche Inkompe­tenz vorgeworfen. Dabei beschreiben Wissenschaftler und Ärzte das Problem immer wieder selber…

Zum Beispiel in Nature Reviews Rheumatology (10: 35-43): Intrinsic variability in analytes and reagents as well as heterogeneity of the techniques are the main reasons for discrepancies in inter-laboratory variations and reporting of test results. This lack of reliability might be responsible for wrong or missed diagnoses, as well as additional costs due to assay repetition, unnecessary use of confirmatory tests and/or consequent diagnostic investigations.

Und man findet durchaus konkrete Beispiele. David Pisetsky und Kollegen untersuchten etwa Autofluoreszenz (IIF)- und ELISA-Nachweise für Antinukleäre Autoantikörper (ANA) und fanden erhebliche Unterschiede. „.. the frequency of ANA positivity varies markedly depending on the assay platform and the kit used“, schreiben sie in ihrem Bericht über fünf gängige ANA-Tests (Ann. Rheum. Dis. 977: 911-13). Und weiter: „In the routine clinical setting, these findings indicate that the serological evaluation of lupus could be misleading depending on the kit used, an issue not well appreciated by clinicians despite reports in the literature.“ Daraufhin entspann sich in dem Journal eine sehr interessante Diskussion.

Maria Infantino und Kollegen in Rom schreiben ebenfalls in Annals of the Rheumatic Diseases (DOI: 10.1136/annrheumdis-2018-214615): „In fact, despite the fact that the IIF method on HEp-2 cells has existed for about 40 years, there are little data on this topic, and studies are mainly focused on selected patient groups, rather than samples from real liferoutine laboratory work. This bias could influence recommendations and have important clinical and diagnostic implications.“

Michael Mahler (Inova Diagnostics, USA) hofft, dass Pisetskys Artikel „will hopefully trigger new initiatives for better understanding of the variability of ANA tests and the consequences.“ (Ann. Rheum. Dis. 78:e33) Lieve van Hoovels und Xavier Bossuyt (Belgien) fordern: „Laboratory professionals, clinicians and the diagnostic industry should closely collaborate in order to better harmonise the laboratory diagnostic process.“ (Ann. Rheum. Dis., DOI: 10.1136/annrheumdis-2018-214696)

Ein Teil dieser Probleme könnte durch konsequente Validierung von Tests und Anwendern beseitigt werden — sofern diese Validierungen von wirklich kompetenten und vor allem von unab­häng­igen Stellen durchgeführt würden. Dafür müsste es einmal entsprechende mandatorische Vorschriften geben — die sind jedoch nicht in Sicht. Und weiterhin müssten geeignete Referenzproben von Patienten existieren. Die sind allerdings auch nicht wirklich in Sicht, da Patientenproben nur in begrenztem Ausmaß verfügbar sind.

Immerhin arbeiten aber einige Forscher tatsächlich an Methoden, daraus international gültiges Standardmaterial zu entwickeln. Diese Initiativen werden jedoch von weitaus zu wenigen Personen getragen. Was sich darin wider­spiegelt, dass Joanna Sheldon vom Londoner St. George’s Hospital im Letzten Jahr auf dem 14. Dresden Symposium on Autoantibodies die Frage stellt: „Why we are still discussing standardi­zation of autoantibody measurements?“

Eine gute Frage. Ich hätte noch mehr: Wo sind die Ärzte und Forscher, die unter Ausschluss der Öffentlichkeit vielfach Kritik üben, dann aber „abtauchen“, wenn sich eine Journalistin dafür interessiert? Warum geht man hierzulande über die Verletzung der EU-Richtlinie zu Validierung und Qualitätssicherung von Diagnostika so großzügig hinweg? Und nicht zuletzt: Wo ist der Aufschrei der Krankenkassen, die für die unzuverlässigen Tests schließlich viel Geld bezahlen?

Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Je weniger hightech, desto kreativer

7. August 2019 von Laborjournal

Gerade über einen etwas älteren Text des Wissenschaftsbloggers Bora Zivkovic gestolpert, der — allerdings erst nach einer Weile — die Themen Big Science versus Small Science sowie Molecular versus Organismal Biology diskutiert. Ein Abschnitt darüber ist besonders bemerkenswert — sodass wir ihn hier (etwas freier) übersetzen wollen:

„[…] Wenn man um viel Geld bittet, weil man ordentlich viel Hightech-Forschung betreiben will, wird man es mit einer gewissen Wahr­schein­lich auch bekommen. Warum sollte man sich also die Mühe machen, über schnellere und billigere Wege nachzudenken, mit denen man das gleiche Problem lösen könnte, wenn es doch viel einfacher ist, Millionen zu bekommen und damit zwanzig Techniker und Studenten im Labor zu beschäftigen, um all die Fleißarbeit zu erledigen?

Sicher, einige Fragen können nur durch teure Hightech-Forschung beantwortet werden. Aber inzwischen sind doch die meisten Wissen­schaft­ler kaum noch darauf trainiert, innezuhalten und zu überlegen, ob nicht vielleicht ein billigerer Alternativansatz einen gangbaren, wenn nicht sogar besseren Weg böte, um zur selben Antwort zu gelangen.

Die Kehrseite davon: Je mehr „hightech“ ein Labor ist, desto weniger wahrscheinlich ist es, dass die Studenten und sogar die Postdocs kreativ sein dürfen. Schließlich steht viel Geld auf dem Spiel — genauso wie der Ruf und des Ansehen des Supervisors.

In der Biologie bedeutet das: Je „molekularer“ ein Labor ist, umso eher sind die Studenten und Postdocs nur bessere Technische Angestellte. Bewegt man sich dagegen weiter von den Molekülen weg und betreibt organismische Biologie, Verhaltensforschung oder Feldstudien, darf man mehr Kreativität zeigen, da weniger Geld und Egos auf dem Spiel stehen.

Molekulare Daten bringen letztlich nur Hypothesen, die in ganzen Organismen getestet werden müssen. Denn interagieren die Moleküle im Tier oder der Pflanze tatsächlich so, wie sie es im Reagenzglas getan haben? Wir Molekularbiologen machen mit unseren Maschinen den teuren Teil. Ihr „Fremdlinge“ nehmt dann unsere Daten und erledigt im Gesamtorganismus die kreative Arbeit, die das Thema am Ende wirklich auf den Punkt bringt.“

Meinungen dazu?

x

Und plötzlich bist du exzellent…

31. Juli 2019 von Laborjournal

(Über 150 weitere „Abenteuer“ aus mehr als zwanzig Jahren „Forscher Ernst“ gibt’s hier.)

x

Information 1


Information 2


Info

Info

Pipettieren, lagern und zentrifugieren Sie Proben in unserem Spiel "Master of Volumes" so schnell wie möglich. mehr

Info

Info

Bestellen Sie noch heute Ihr kostenfreies Exemplar. mehr

Info

Info

Neuer Mehrfachdispenser von BRAND: Das moderne Touch-Bedienkonzept macht die Arbeit einfach und effizient. mehr