Neues von den Zombies

12. Juli 2023 von Laborjournal

Öfter schon haben wir über „Zombie-Paper“ gemeckert. Artikel also, die trotz erfolgter Retraction munter weiter zitiert werden. Beispielsweise hier, hier und hier.

Um das Problem klarzumachen, schrieben wir etwa:

Eigentlich ist man sich grundsätzlich einig in der Wissenschaft: Wird ein publiziertes Paper zurückgezogen („retracted“) – egal, ob aus ehrenhaften oder unehrenhaften Gründen –, dann gilt es augenblicklich als aus dem Scientific Record entfernt. Mit all seinen Daten und Schlussfolgerungen. Als hätte es nie existiert, als wären die Experimente nie gemacht worden.

Doch leider sieht die Realität gar nicht selten anders aus. Hartnäckig geistern zurückgezogene Veröffentlichungen als putzmuntere Zombies weiter durch den Wissenschaftsbetrieb – und treiben ihr Unwesen vor allem in den Referenzlisten nachfolgender Publikationen. Meist werden sie noch Jahre später zitiert, manche nach der Retraction sogar noch häufiger als vorher.

Jetzt präsentiert ein Team von fünf Informationswissenschaftlerinnen und -wissenschaftlern wieder eine neue Studie zum Thema: „Evolution of retracted publications in the medical sciences: Citations analysis, bibliometrics, and altmetrics trends“ (Account. Res., doi.org/kjfk). Dazu identifizierten sie in der Datenbank Scopus 840 Publikationen, die in den medizinischen Wissenschaften zwischen 2016 bis 2020 zurückgezogen wurden. Diese wurden bis August 2021 insgesamt 5.659 Mal zitiert, 1.559 dieser Zitierungen datierten deutlich nach der Retraktion des zitierten Artikels. Die Rate der „Zombie-Referenzen“ beträgt damit satte 27,5 Prozent.  … Hier geht’s weiter »

Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:    Diesen Beitrag weiterlesen »

Verstehen wir uns noch?

9. Januar 2018 von Laborjournal

Denn sie wissen nicht, was sie tun. — Viele dürfte diese Zeile unmittelbar an den gleichnamigen Filmklassiker mit James Dean erinnern. Heute könnte sie jedoch auch für einen großen Teil biomedizinischer Forschung gelten.

Wobei man hier ein klein wenig wie folgt präzisieren müsste: „Denn sie wissen nicht mehr, was der andere tut.“ Bittere Konsequenz dessen, dass in vielen Gebieten die einzelnen Veröffentlichungen immer komplexer werden.

Ein besonders eindrückliches Beispiel dafür schilderte kürzlich Dorothy Bishop von der Oxford University in ihrem „BishopBlog“. In dem entsprechenden Beitrag klagt sie, dass sie die Publika­tionen ihrer Kollegen immer weniger versteht, sobald sie auch nur ein klein wenig über ihren eigenen Tellerrand hinausschaut. Sie schreibt:

Für eine Art Meta-Analyse über die Anwendung bestimmter statistischer Methoden studierte ich zuletzt eine Reihe von neurowissenschaftlichen Artikeln“, schreibt sie. „Einige davon musste ich stundenlang lesen und wieder lesen, bis ich endlich verstan­den hatte, welches überhaupt die statistisch relevantesten Ergebnisse waren.

Und dann schwenkt sie auf den eigentlich beunruhigenden Punkt um:

Mir scheint daher, dass in manchen Feldern die Zahl der Kollegen, die derart komplexe Paper überhaupt noch umfassend und kompetent begutachten können, extrem zusammenschnurrt.

Selbst gute und engagierte Editoren würden daher irgendwann kaum noch Reviewer mit voll­um­fäng­lich ausreichender Expertise auftreiben können. Und umgekehrt würde es den meisten immer stärker widerstreben, solch hochkomplexe Studien zu prüfen, wenn sie derart viel Substanz jenseits der eigenen Expertise enthalten.

Und Frau Bishop ist mit solchen Befürchtungen keineswegs allein. Bereits 2013 fragte Diethard Tautz, Direktor am Plöner Max-Planck-Institut für Evolutionsbiologie, in einem Essay für Labor­journal:

Lesen wir noch, was andere schreiben? Ja, verstehen wir uns überhaupt noch?

Und er erzählte folgendes Beispiel:

Ich musste kürzlich so ein „Big Data“-Paper für ein angesehenes Journal begutachten. Es hatte 60 Autoren und präsentierte ein Feuerwerk an intelligenten Auswertungen, Statistiken und Modellierungen. Etwas seltsam war der modulare Aufbau. Die einzelnen Teile des Papers waren offensichtlich von unterschiedlichen Autoren geschrieben worden, jeder ein Spezialist für sein Feld mit einem eigenen Sprachstil und wenig Bezug zu den anderen Modulen. An ein paar ‚Kleinigkeiten‘ wie fehlenden Übergängen und unvollständigen Sätzen war zu erkennen, dass die meisten der Autoren offen­sicht­lich ihr eigenes Paper nicht vollständig gelesen haben konnten — denn zumindest einem von den 60 hätte so etwas doch auffallen müssen. Haben auch Autoren gar keine Zeit mehr zum Lesen oder ist das der Beginn der Sprachverwirrung? Auch als Gutachter konnte ich nur einen Teil kompetent begutachten, den Rest nur auf Plausibilität prüfen. Und ich vermute, dass es den anderen Gutachtern ebenso ging.

Und er schloss:

Natürlich wurde es publiziert — und ich darf annehmen, dass es so gut wie keinen Leser mehr gibt, der wirklich alles davon versteht. Wenn das so weiter geht, dann sind wir bald nahe an dem Punkt,… dass keiner des andern Sprache verstehe!

Wobei das letztere Zitat jetzt nicht aus der Filmwelt kommt.

Ralf Neumann

 

Zitat des Monats (26)

2. April 2015 von Laborjournal

Der Physiker und Wissenschaftskabarettist Vince Ebert sagte kürzlich im Gespräch mit der Wochenzeitung Jungle World:

Wir Deutschen sind in puncto Technik- und Wissenschaftsfeindlichkeit schon Marktführer. Wir fürchten uns vor Fracking, vor Gentechnik, vor Stammzellenforschung, Elektrosmog und Pestiziden. So eine Stimmung vor 500 000 Jahren und die Sache mit dem Feuer wäre bei uns nie genehmigt worden.”

Auch schön seine Erwiderung auf das homöopathische Konzept, dass Wasser sich selbst nach komplettem Weg-Verdünnen der Ausgangssubstanz immer noch an die entsprechende „Information“  erinnert:

Und weil das Lösungsmittel ein Gedächtnis hat, speichert es die Information und erinnert sich auch nach mehreren Monaten noch dran. Das ist so ähnlich, wie wenn ich in Stuttgart einen Autoschlüssel in den Neckar werfe und dann in Heilbronn versuche, mit dem Neckarwasser das Fahrzeug zu starten. Faszinierend, oder? Es gibt Menschen, die sitzen in geschlossenen Psychiatrien für weit weniger.”

xxx

Zitat des Monats (23)

21. November 2014 von Laborjournal

Wie erwirbt man sich einen wahrhaft guten Ruf als Wissenschaftler? 1985 bemerkte der US-Physiker und Nobelpreisträger  Richard Feynman vom California Institute of Technology (Caltech) in Pasaden dazu in seinem Buch „Surely You’re Joking, Mr. Feynman!„:

We’ve learned from experience that the truth will come out. Other experimenters will repeat your experiment and find out whether you were wrong or right. Nature’s phenomena will agree or they’ll disagree with your theory. And, although you may gain some temporary fame and excitement, you will not gain a good reputation as a scientist if you haven’t tried to be very careful in this kind of work. And it’s this type of integrity, this kind of care not to fool yourself, that is missing to a large extent in much of the research in cargo cult science.

Den Begriff „Cargo Cult Science“ hatte Feynman selbst in einer Rede vor dem Caltech-Abschlussjahrgang 1974 eingeführt. Er steht im Wesentlichen für Arbeiten und Aktivitäten, die durch einen hohen Symbolgehalt zwar nach toller Wissenschaft aussehen, tatsächlich aber nur wenig realen wissenschaftlichen Nutzwert haben. Feynman meinte damit zunächst gar nicht mal vorrangig pseudowissenschaftliche Strömungen (dafür wurde er später auch eingesetzt), sondern zielte vielmehr auf Vorgehensweisen im Wissenschaftsbetrieb ab, die zwar formale Kriterien erfüllen, denen es jedoch an wissenschaftlicher Integrität mangelt. Laut Feynman ist für jeden die Gefahr gegeben, zum „Cargo Cult Scientist“ abzusteigen — insbesondere durch die vielen Versuchungen zur Selbsttäuschung. Um dem nachhaltig entgegen zu wirken, müssten Wissenschaftler immer bereit sein, ihre eigenen Theorien und Resultate in Frage zu stellen — und sie im gegebenen Fall selbstlos über Bord zu werfen.

Zitat des Monats (22)

10. Oktober 2014 von Laborjournal

Gerade stolperten wir (hier) mal wieder über diesen „Klassiker“ aus dem 50 Jahre alten Artikel „Is the scientific paper fraudulent?“ des britischen Immunologen und Nobelpresiträgers Peter Medawar:

The scientific paper is a fraud in the sense that it does give a totally misleading narrative of the processes of thought that go into the making of scientific discoveries.

Gilt heute vielleicht sogar mehr denn je…

(Siehe dazu auch unseren Blog-Eintrag „Kleine Lügen“ vom 22. April 2013)

(Illustration: cranach / iStockphoto)

Zitat des Monats (21)

12. September 2014 von Laborjournal

Glomski’s problem was that he could only get funding to do very predictable, unexciting research. When money gets tight, often only the most risk-averse ideas get funded, he and others say. […] Funding is so competitive that reviewers shy away from ideas that might not pan out.

[…] Historically, payoffs in science come from out of the blue — oddball ideas or unexpected byways. Glomski says that’s what research was like for him as he was getting his Ph.D. at the University of California, Berkeley. His lab leader there got funding to probe the frontiers. But Glomski sees that farsighted approach disappearing today.

Aus dem lesenwerten NPR-Artikel „When Scientists Give Up“ über zwei Wissenschafts-Aussteiger (der obige Glomski ist einer davon).

Zitat des Monats (14)

20. September 2013 von Laborjournal

Vor einigen Wochen schrieb der australische Wissenschaftstheoretiker John Wilkins auf seinem Blog Evolving Thoughts zur „Wissenschaftlichen Methode“:

I’ve often noted that there is no such single thing as “scientific method” […]. But there are several things that science does that are worthy of the name: the use of observational evidence, the use of abductive and inductive reasoning to generalise and explain, and the use of deductive reasoning to winkle out the implications of the foregoing. Terms like “theory construction”, “disciplinary matrix” and “research program” are fancier ways to say just this.

Wachsweiche Zitierzahlen

8. Mai 2013 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. C.H. Eck, Ordinologisches Institut TU Prüftal.

LJ: Frau Professor Eck, Sie scheinen amüsiert. Falls es so ist — darf ich fragen, worüber Sie sich amüsieren? 

Eck: Über Zitate.

LJ: Ach ja? Aber Zitierungen sind doch ein ernstes Geschäft in der heutigen Wissenschaft. Was ist denn passiert?

Eck: Ich habe mir mal sämtliche Paper genauer angeschaut, die einen gewissen Artikel von mir zitieren.

LJ: Was heißt „genauer angeschaut“?

Eck: Das heißt, ich habe nachgesehen, in welchem Zusammenhang sie mein Paper zitieren. Und ob das gerechtfertigt ist oder nicht, ob richtig oder falsch,…

LJ: Interessant. Und was kam raus, dass es Ihnen dieses süffisante Lächeln auf Ihr Gesicht zaubert?

Eck: Mein Artikel wurde laut Google Scholar 32-mal zitiert. Ich selbst sehe es jedoch in nur 60 Prozent der Fälle als tatsächlich passend und gerechtfertigt an, dass und wie ich in dem jeweiligen Paper zitiert wurde. Diesen Beitrag weiterlesen »

Zitat des Monats (11)

19. April 2013 von Laborjournal

 

Amos Bairoch, Swiss Institute of Bioinformatics,
in Nature Precedings, doi:10.1038/npre.2009.3092.1, posted 20 Apr 2009