Steuert Google Scholar, was wir zitieren?

17. September 2019 von Laborjournal

Na ja, ganz so ist es natürlich nicht. Schließlich sind es immer noch die Autoren, die bestimmen, welche Paper sie in die Referenz­listen ihrer eigenen Manuskripte aufnehmen. Allerdings sind Autoren manchmal auch einfach faul — und dann bestimmt die allseits beliebte Literatur-Such­ma­schi­ne Google Scholar deren Zitierverhalten womöglich wirklich ganz schnell mit.

Vorletzte Woche tweetete beispielsweise der Scientific-American-Reporter George Musser folgendes über einen Vortrag beim Metascience 2019 Symposium an der Stanford University:

Demnach zeigte der Informationswissenschaftler Jevin D. West von der University of Washington („@jevinwest“) in seinem Vortrag Daten, nach denen Forscher wohl öfter schlichtweg diejenigen Paper zitieren, die Google Scholar ihnen bei oberflächlicher Recherche gleich „vorne“ anzeigt — auch wenn „weiter hinten“ in den Suchergebnissen womöglich Artikel folgen, die es viel mehr verdient hätten, für die jeweilige Studie zitiert zu werden.

Fachleute bezeichnen dies als “First Results Page Syndrome”, nach dem Suchmaschinen-Nutzer diejenigen Dokumente stark bevorzugen, die ihnen gleich auf der ersten Ergebnisseite angezeigt werden. Und im Gegensatz zu anderen wissenschaftlichen Literatur-Datenbanken sortiert Google Scholar eben nicht nach Datum, sondern nach Relevanz. Wobei Google Scholar „Rele­vanz“ insbesondere anhand der Zitierungen der einzelnen Artikel misst.

Zusammen mit dem First Results Page Syndrome und der Bequemlichkeit der Autoren sorgt dies dafür, dass die Zitierungen sich insgesamt immer stärker auf immer weniger sowieso schon viel­zitier­te Artikel konzentrieren. Diesen Beitrag weiterlesen »

Mit Babybauch an der Bench

11. September 2019 von Laborjournal

(Dieser Artikel erscheint ebenfalls in unserer Printausgabe Laborjournal 9/2019.  Hier kann man ihn kommentieren — siehe unten.)

Wenn Frauen, die im Labor arbeiten, schwanger werden, sollten diese ihre Vorgesetzten schnellstmöglich darüber informieren. Die Arbeit im Labor kann dadurch allerdings komplett ausfallen. Um den Schwangeren dennoch eine nahezu unbeeinträchtigte Fortsetzung ihrer Karriere zu ermöglichen, setzen Forschungseinrichtungen in Deutschland, Österreich und der Schweiz auf ganz individuelle Hilfsangebote.

Eine Pipette, zwei Spitzen-Steck-Boxen und drei Pappschachteln voller Einweg-Handschuhe liegen auf der Bench neben der ­Zentrifuge. In den darüberliegenden Regalen stapeln sich Kisten, gläserne Flaschen mit blauen Deckeln und ein kleiner Timer. Gegenüber eine mannshohe Hood, darin ein Mikroskop. Alles im Labor wirkt gewöhnlich. Doch der Raum mit der Nummer 2-028 am Research Institute of Molecular Pathology (IMP) in Wien ist anders als die üblichen Labore — denn hier arbeiten ausschließlich Forscherinnen, die schwanger sind.

Tatsächlich gibt es schon seit über zehn Jahren am IMP einen Raum, in dem ganz simple molekularbiologische Arbeiten durchgeführt werden können, und der sich deshalb besonders für schwangere Wissenschaftlerinnen eignet. Zu Beginn noch in kleinem Maßstab etablierte sich der Raum und die dazugehörigen Arbeitsprotokolle ab 2009 so richtig. Diesen Beitrag weiterlesen »

Der König ist tot, es lebe das Feld

4. September 2019 von Laborjournal

Es gilt als eines der berühmtesten Zitate von Max Planck — nicht zuletzt, weil es einige gar zu „Plancks Prinzip“ der Wissenschaftstheorie erhoben:

Eine neue wissenschaftliche Wahrheit pflegt sich nicht in der Weise durchzusetzen, daß ihre Gegner überzeugt werden und sich als belehrt erklären, sondern vielmehr dadurch, dass die Gegner allmählich aussterben und dass die heranwachsende Generation von vornherein mit der Wahrheit vertraut gemacht ist.

Drei US-amerikanische Wirtschaftswissenschaftler nahmen das mit dem „Sterben“ jetzt wörtlich — und haben Plancks Einsicht, dass der Tod prominenter Figuren oftmals die Bremsen für neue wissenschaftliche Wahrheiten löst, durch eine bibliometrische Analyse ansatzweise bestätigt.

Unter dem Titel „Does Science Advance One Funeral at a Time?“ veröffentlichten sie in American Economic Re­view (109(8): 2889-2920) ihre Nachforschungen darüber, was die Todesfälle von insgesamt 452 noch aktiven Biomedizinern, die ihr jeweiliges Forschungsfeld stark geprägt hatten, nachfolgend mit ebendiesen Feldern machten.

Fassen wir deren Ergebnisse kurz zusammen. Diejenigen, die bereits mit den „Starforschern“ kooperiert hatten und demnach eher in deren Strom schwammen, mussten nach deren Tod bezüg­lich der Zahl ihrer nachfolgenden Veröffentlichungen eine durchschnittliche Einbuße von neun Prozent hinnehmen. Was jetzt nicht gerade die Welt ist. Etwas stärker beeindru­cken die Verschiebungen auf der „anderen Seite“: Forscher, die bislang nicht mit dem jeweiligen „Promi“ kollaboriert hatten, konnten nach dessen Beerdigung im Schnitt um zwanzig Prozent mehr Artikel in dem jeweiligen Feld veröffentlichen.

Interessanterweise waren es jedoch weniger die „ewigen Konkurrenten“, die das Vakuum auf diese Weise mehr als ausfüllten. Vielmehr stiegen auffällig oft mehr oder weniger junge Kollegen aus anderen Gebieten neu ein — und brachten nicht nur eine frische und unvoreingenommene Denke ins Feld, sondern wurden mit ihren resultierenden Erkenntnissen auch bald überpro­por­tio­nal häufiger zitiert. Die Autoren der Studie schreiben dazu wörtlich:

To our surprise, it is not competitors from within a subfield who assume the mantle of leadership, but rather entrants from other fields who step in to fill the void created by a star’s absence. Importantly, this surge in contributions from outsiders draws upon a different scientific corpus and is disproportionately likely to be highly cited.

Jetzt kann man natürlich trefflich spekulieren, worin die Ursachen für solche Bremswirkung von Forscher-Lichtgestalten liegen könnten. Sitzen sie selbst mit ihrer „Anhängerschaft“ zu fett auf Schlüsselpositionen im Rahmen von Antrags- und Manuskript-Begutachtungen, sodass Neulinge mit alternativen inhaltlichen Konzepte viel schwerer „durchkommen“? Oder schreckt ein gut vernetz­ter Block von Anhängern rund um eine solche Lichtgestalt viele „Frischlinge“ schon von vorn­herein davon ab, den Versuch zu wagen, sich daneben im gleichen Feld zu etablieren?

Die Studienautoren jedenfalls halten sich klar davon fern, den Starforschern und ihren Gemeinden zu unterstellen, sie würden alternative Ideen mit bewusster Absicht blockieren. Vielmehr tendieren sie eher zu letzterer Erklärung:

It does not appear to be the case that stars use their influence over financial or editorial resources to block entry into their fields, but rather that the very prospect of challenging a luminary in the field serves as a deterrent for entry by outsiders.

Womöglich ist das aber auch einfach der ganz normale Lauf der Forschung, wie einer der Autoren im Interview sinniert. Denn wahrscheinlich waren die schwerfälligen alten Platzhirsche von heute selbst einmal vor neuen Ideen sprühende Jungforscher, die sich damals ihrerseits solch einer alten Garde gegenüber sahen.

Max Planck wird da vielleicht selbst keine Ausnahme gewesen sein.

x

Das laute Schweigen um die Qualität diagnostischer Tests

28. August 2019 von Laborjournal

(Ein Kommentar unserer Mitarbeiterin Karin Hollricher)

Es ist schon merkwürdig: Während wir darüber diskutieren, ob und wie schnell E-Scooter auf dem Radweg, auf der Straße oder gar nicht fahren dürfen, interessiert sich offenbar kaum ein Mensch für die Qualität und Sicherheit von Tests zur Diagnose von lebensgefährlichen Auto­immun­krankheiten.

Im letzten Jahr hatte ich in LJ berichtet (hier, hier und hier), dass diagnostische Bluttests ak­tu­ell keinerlei unabhängige Validierung durch­laufen müssen. Vielmehr liegt die Validierung und Qualitätssicherung derzeit allein in den Händen der Hersteller und Anwender, obwohl das EU-Recht dies eindeutig untersagt.

Nachweisbar — und bei Ärzten übrigens allge­mein bekannt — ist jedoch, dass gerade Blut­tests häufig fehlerhafte Resultate liefern. Daraufhin gab es, Gerüchten zu Folge, große Aufregung in der Diagnostik-Community — was offiziell natürlich niemand bestätigt.

Tatsächlich bekam ich nach der Veröffentlichung meiner Artikel auf weitere telefonische oder elektronische Anfragen keine Antworten mehr. Stattdessen wurde mir wissenschaftliche Inkompe­tenz vorgeworfen. Dabei beschreiben Wissenschaftler und Ärzte das Problem immer wieder selber…

Zum Beispiel in Nature Reviews Rheumatology (10: 35-43): Intrinsic variability in analytes and reagents as well as heterogeneity of the techniques are the main reasons for discrepancies in inter-laboratory variations and reporting of test results. This lack of reliability might be responsible for wrong or missed diagnoses, as well as additional costs due to assay repetition, unnecessary use of confirmatory tests and/or consequent diagnostic investigations.

Und man findet durchaus konkrete Beispiele. David Pisetsky und Kollegen untersuchten etwa Autofluoreszenz (IIF)- und ELISA-Nachweise für Antinukleäre Autoantikörper (ANA) und fanden erhebliche Unterschiede. „.. the frequency of ANA positivity varies markedly depending on the assay platform and the kit used“, schreiben sie in ihrem Bericht über fünf gängige ANA-Tests (Ann. Rheum. Dis. 977: 911-13). Und weiter: „In the routine clinical setting, these findings indicate that the serological evaluation of lupus could be misleading depending on the kit used, an issue not well appreciated by clinicians despite reports in the literature.“ Daraufhin entspann sich in dem Journal eine sehr interessante Diskussion.

Maria Infantino und Kollegen in Rom schreiben ebenfalls in Annals of the Rheumatic Diseases (DOI: 10.1136/annrheumdis-2018-214615): „In fact, despite the fact that the IIF method on HEp-2 cells has existed for about 40 years, there are little data on this topic, and studies are mainly focused on selected patient groups, rather than samples from real liferoutine laboratory work. This bias could influence recommendations and have important clinical and diagnostic implications.“

Michael Mahler (Inova Diagnostics, USA) hofft, dass Pisetskys Artikel „will hopefully trigger new initiatives for better understanding of the variability of ANA tests and the consequences.“ (Ann. Rheum. Dis. 78:e33) Lieve van Hoovels und Xavier Bossuyt (Belgien) fordern: „Laboratory professionals, clinicians and the diagnostic industry should closely collaborate in order to better harmonise the laboratory diagnostic process.“ (Ann. Rheum. Dis., DOI: 10.1136/annrheumdis-2018-214696)

Ein Teil dieser Probleme könnte durch konsequente Validierung von Tests und Anwendern beseitigt werden — sofern diese Validierungen von wirklich kompetenten und vor allem von unab­häng­igen Stellen durchgeführt würden. Dafür müsste es einmal entsprechende mandatorische Vorschriften geben — die sind jedoch nicht in Sicht. Und weiterhin müssten geeignete Referenzproben von Patienten existieren. Die sind allerdings auch nicht wirklich in Sicht, da Patientenproben nur in begrenztem Ausmaß verfügbar sind.

Immerhin arbeiten aber einige Forscher tatsächlich an Methoden, daraus international gültiges Standardmaterial zu entwickeln. Diese Initiativen werden jedoch von weitaus zu wenigen Personen getragen. Was sich darin wider­spiegelt, dass Joanna Sheldon vom Londoner St. George’s Hospital im Letzten Jahr auf dem 14. Dresden Symposium on Autoantibodies die Frage stellt: „Why we are still discussing standardi­zation of autoantibody measurements?“

Eine gute Frage. Ich hätte noch mehr: Wo sind die Ärzte und Forscher, die unter Ausschluss der Öffentlichkeit vielfach Kritik üben, dann aber „abtauchen“, wenn sich eine Journalistin dafür interessiert? Warum geht man hierzulande über die Verletzung der EU-Richtlinie zu Validierung und Qualitätssicherung von Diagnostika so großzügig hinweg? Und nicht zuletzt: Wo ist der Aufschrei der Krankenkassen, die für die unzuverlässigen Tests schließlich viel Geld bezahlen?

Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Je weniger hightech, desto kreativer

7. August 2019 von Laborjournal

Gerade über einen etwas älteren Text des Wissenschaftsbloggers Bora Zivkovic gestolpert, der — allerdings erst nach einer Weile — die Themen Big Science versus Small Science sowie Molecular versus Organismal Biology diskutiert. Ein Abschnitt darüber ist besonders bemerkenswert — sodass wir ihn hier (etwas freier) übersetzen wollen:

„[…] Wenn man um viel Geld bittet, weil man ordentlich viel Hightech-Forschung betreiben will, wird man es mit einer gewissen Wahr­schein­lich auch bekommen. Warum sollte man sich also die Mühe machen, über schnellere und billigere Wege nachzudenken, mit denen man das gleiche Problem lösen könnte, wenn es doch viel einfacher ist, Millionen zu bekommen und damit zwanzig Techniker und Studenten im Labor zu beschäftigen, um all die Fleißarbeit zu erledigen?

Sicher, einige Fragen können nur durch teure Hightech-Forschung beantwortet werden. Aber inzwischen sind doch die meisten Wissen­schaft­ler kaum noch darauf trainiert, innezuhalten und zu überlegen, ob nicht vielleicht ein billigerer Alternativansatz einen gangbaren, wenn nicht sogar besseren Weg böte, um zur selben Antwort zu gelangen.

Die Kehrseite davon: Je mehr „hightech“ ein Labor ist, desto weniger wahrscheinlich ist es, dass die Studenten und sogar die Postdocs kreativ sein dürfen. Schließlich steht viel Geld auf dem Spiel — genauso wie der Ruf und des Ansehen des Supervisors.

In der Biologie bedeutet das: Je „molekularer“ ein Labor ist, umso eher sind die Studenten und Postdocs nur bessere Technische Angestellte. Bewegt man sich dagegen weiter von den Molekülen weg und betreibt organismische Biologie, Verhaltensforschung oder Feldstudien, darf man mehr Kreativität zeigen, da weniger Geld und Egos auf dem Spiel stehen.

Molekulare Daten bringen letztlich nur Hypothesen, die in ganzen Organismen getestet werden müssen. Denn interagieren die Moleküle im Tier oder der Pflanze tatsächlich so, wie sie es im Reagenzglas getan haben? Wir Molekularbiologen machen mit unseren Maschinen den teuren Teil. Ihr „Fremdlinge“ nehmt dann unsere Daten und erledigt im Gesamtorganismus die kreative Arbeit, die das Thema am Ende wirklich auf den Punkt bringt.“

Meinungen dazu?

x

Und plötzlich bist du exzellent…

31. Juli 2019 von Laborjournal

(Über 150 weitere „Abenteuer“ aus mehr als zwanzig Jahren „Forscher Ernst“ gibt’s hier.)

x

Wer macht hier Wissenschaft, und wer Pseudowissenschaft?

24. Juli 2019 von Laborjournal

Erinnert sich noch jemand an den Kasseler „Gnomen-Klüngel“? Vor über zwölf Jahren zielte Siegfried Bär unter dieser Überschrift mit spitzer Feder auf gewisse Versuche, der Anthroposophie mittels zweier ziemlich skurriler Stiftungsprofessuren an der Universität Kassel zu akademischen Weihen zu verhelfen. Um Biodynamische Landwirtschaft nach Rudolf Steiner ging es da, um Biokristallisation — ja sogar um die Erforschung von Gnomen und Elfen.

Offenbar wird der Artikel tatsächlich noch vereinzelt gelesen, denn erst kürzlich bekamen wir wieder eine E-Mail, mit der die Verfasserinnen scharf gegen den Artikel protestierten und die Anthroposophie vehement verteidigten. Solche Beschwerden hatten wir natür­lich einige erhalten, als der Artikel frisch veröffentlicht war. Was an dieser E-Mail jedoch — neben dem zeitlichen Abstand — besonders war: Unterzeichnet hatten sie zwei Wissenschaftlerinnen eines medizinischen Forschungsinstituts.

Unter anderem werfen sie uns darin folgendes vor:

Ihr Bericht über die Anthroposophen […] stellt das Maximum an Intoleranz und Polemik dar. Wir können daher nicht glauben, dass ihre Zeitschrift tatsächlich einem wahrhaft wissenschaftlichen Ansatz folgt, wenn dort offensichtlich nur Menschen arbeiten, die unterschiedliche Sichtweisen und Denkrichtungen nicht tolerieren.

Wie bitte? Wir mussten uns wirklich die Augen reiben. Allerdings: So krass dieser Vorwurf auch klingt, war es bei weitem nicht das erste und einzige Beispiel, das uns zweifeln ließ, ob man als ausgebildeter Wissenschaftler, der weiterhin an einem wissenschaftlichen Institut arbeitet, auch immer weiß, was Wissenschaft eigentlich ist. Und vor allem: Ob ihm klar ist, was Wissenschaft tatsächlich von Pseudowissenschaft trennt.     Diesen Beitrag weiterlesen »

Mehr Zitate durch Open Data

18. Juli 2019 von Laborjournal

Wie kann ich mit jedem Artikel 25 Prozent mehr Zitierungen ein­sammeln? Jedenfalls im Schnitt, und ohne allzu großen Mehraufwand…

Hand auf’s Herz — das klingt verlockend, oder? Welcher Forscher checkt heutzutage nicht regel­mäßig sein Zitatekonto — auch wenn es viele nicht wirklich zugeben? Und wenn dann einer ganze 25 Prozent „Rendite“ verspricht…

Das Rezept, wie man sich diese Rendite „ver­dienen“ kann, hat gerade ein englisch-nie­der­lädisches Team unter dem Titel „The citation advantage of linking publications to research data“ in arXiv verkündet (arXiv:1907.02565v1) — und es ist denkbar einfach: Stelle sämtliche Daten, die deinem Paper zugrunde liegen, öffentlich für alle zur Verfügung — und schon wirst du dafür durchschnittlich ein Viertel mehr an Zitierungen einstreichen.

Für ihre Studie nahmen sich die Autoren über eine halbe Million Artikel vor, die zwischen 1997 und 2018 in 350 Open-Access-Zeitschriften der Verlage Public Library of Science (PLoS) und BioMed Central (BMC) erschienen waren. Etwa ein Drittel davon enthielt Data Availability Statements und beinhaltete somit jeweils einen Link zu einem Repositorium, in dem die Autoren sämtliche relevante Originaldaten öffentlich zugänglich hinterlegt hatten. Ganz im Sinne von Open Data also. Und siehe da, dieses Drittel an Papern wurde nachfolgend im Schnitt um 25 Prozent häufiger zitiert als die anderen zwei Drittel, die keine Daten offengelegt hatten.

Schöne Sache, oder? Zumal dadurch die Forscher landauf landab erst recht dazu motiviert werden könnten, ihre Daten für alle offenzulegen. Sicher, man sollte das Konzept von Open Data eigentlich aus ganz anderen Beweggründen beherzigen, als dass ich dadurch ein paar Zitate mehr auf mein Konto hieve — aber hier kann man es vielleicht einfach mal so stehen lassen, dass über nicht ganz saubere Incentives am Ende dennoch das Richtige gepusht wird. Der Zweck heiligt bekanntlich die Mittel.

Zumal die Studie der wahren Bedeutung von Zitierzahlen ja eigentlich kein gutes Zeugnis ausstellt, wenn man nur ein bisschen weiter denkt. Schließlich bleibt das publizierte Paper mit den präsentierten Ergebnissen und Schlussfolgerungen ja punktgenau dasselbe — ob ich nun die zugrundeliegenden Daten dahinter offenlege oder nicht. Dennoch bekomme ich dadurch 25 Prozent mehr Zitierungen. Womöglich nur, weil die Open Data hinter dem Paper etwas mehr Aufmerksamkeit darauf lenken? Wie auch immer, bei derart leicht verursachbaren Schwankungen kann die Zitierzahl eines bestimm­ten Papers wohl kaum ein direktes Maß für die Qualität der darin beschriebenen Ergebnisse sein.

Aber das wissen wir ja eigentlich schon lange — siehe etwa hier, hier und hier.

Ralf Neumann

Lustig oder nicht – Welcher Titel für mein Paper?

12. Juli 2019 von Laborjournal

Unser „Forscher Ernst“ hat jüngst darüber nachgedacht…

 

(Über 150 weitere „Abenteuer“ aus mehr als zwanzig Jahren „Forscher Ernst“ gibt’s hier.)

x

Information 1


Information 2


Info

Info

Info

INTEGRA Biosciences gibt Ihnen die Chance, einen ASSIST PLUS-Pipettierroboter zu gewinnen. mehr

Info

Info

Zuverlässige -80°C in Gefrierschränken werden mittels luft- oder wassergekühlter Kompressoren erzeugt. mehr

Info

Info

Informieren und Vernetzen Sie sich zum Thema analytische Flüs­sig­keits­chro­mato­grafie. Teilnahme kostenfrei mehr