Typos mit in die Referenzen?

10. August 2022 von Laborjournal

Wie listet man in der Referenzliste ein zitiertes Paper, das einen Druckfehler im Titel hat? Interessante Frage, die Timothy McAdoo von APA Style im gleichnamigen Blog stellt.  Soll man offensichtliche Rechtschreibfehler, Buchstabendreher oder neuerdings gar die unbemerkten Streiche, die einem die Autokorrektur spielt, beim Referenzieren im eigenen Paper korrigieren?

McAdoo schreibt, dass solche Fehler generell selten vorkommen, da ja Reviewer und Editoren das Manuskript vorab kritisch lesen. Aber es kommt vor! Auch wir selbst hatten mal nach mehr oder weniger lustigen „Verschreibern“ in Forschungsartikeln gefahndet – und die Ergebnisse hier publiziert.

Zwei der betreffenden Paper hatten die Fehler tatsächlich im Titel – wir fassten sie damals folgendermaßen zusammen: Diesen Beitrag weiterlesen »

Die Unlust zum Datenteilen

3. August 2022 von Laborjournal

Was treibt den wissenschaftlichen Fortschritt an? Alles Mögliche könnte man hier nennen: Neugier, ein offener Geist, auch harte Arbeit, … Nehmen wir es hier aber mal ganz pragma­tisch: Zumindest in der heutigen modernen Wissenschaft sind es zuerst und vor allem die Daten, die sie immer weiter voranbringen.

Nicht zuletzt deshalb ist eine der größten Forderungen der Open-Science-Bewegung, die Rohdaten aus Experimenten jederzeit für alle frei verfügbar zu machen. Und nicht zuletzt deshalb fordern inzwischen die meisten Journals von den Autoren, die Rohdaten der im Manuskript beschriebenen Resultate der Forschungsgemeinde stets zur freien Verfügung zu halten. Weshalb inzwischen auch die meisten Paper das starke Statement ziert: „Data available on request.“

Doch wie stark ist das Statement in der Praxis? Ist es mit robuster Substanz gefüllt? Oder bleibt es als notgedrungene Absichtserklärung eher eine leere Luftnummer?

Bereits in Laborjournal 3/22 (S. 10) berichteten wir von einer nicht gerade hoffnungsvollen Stichprobe zum Thema. Ein Team hatte bei den Autoren von 53 Veröffentlichungen in der Krebsforschung Rohdaten angefordert – ein Drittel antwortete überhaupt nicht, und nur ein Viertel teilte die Daten vollständig und in brauchbarer Form.    Diesen Beitrag weiterlesen »

Bekannter durch Retractions

20. Juli 2022 von Laborjournal

Eine Retraktion Ihres neuesten Artikels wäre das Beste, das Ihnen passieren kann – zumindest hinsichtlich Ihres Bekanntheitsgrades. Diese Aussage macht keinen Sinn, finden Sie? Schließlich kann eine widerrufene Publikation nicht mehr zitiert werden – schon allein weil sie Fehler enthält? Weit gefehlt.

Sicher ist es nicht Ihr Ziel, zu publizieren, um Ihre Publikation zurückgezogen zu sehen. Trotzdem geschah das – entweder infolge von Täuschungsversuchen oder infolge ehrlicher Fehler – laut der Datenbank von Retraction Watch im letzten Jahrzehnt jedes Jahr durchschnittlich 15 Prozent häufiger als noch im Jahr zuvor (siehe Tabelle).

Mit einer Retraktion sollte eine Publikation und ihr gesamter Inhalt sowohl aus dem Speicher der Wissenschaftsgemeinde als auch aus dem öffentlichen Bewusstsein getilgt sein – so als hätte sie nie existiert. Jedoch existiert kein Automatismus, jeden einzelnen Forschungstreibenden – geschweige denn die öffentliche Wahrnehmung – über widerrufene Artikel in Kenntnis zu setzen.

Zudem gibt es manchmal auch keine andere als die zurückgezogene Publikation, die zum Beispiel eine bestimmte Methode beschreibt. Überhaupt muss ja nicht alles an einem zurückgezogenen Artikel falsch sein.

Aus diesen und noch anderen Gründen werden widerrufene Artikel weiterhin zitiert – wenn auch weniger häufig. Also unterbinden Retraktionen demnach wenigstens halbwegs die Verbreitung falscher Information? Nein, nicht einmal das.

Selbst unter den zehn meistgeteilten Publikationen des Jahres 2020 finden sich zwei zurückgezogene Artikel. Und das sind keine Einzelfälle – ganz im Gegenteil. Eine Analyse US-amerikanischer Kommunikationswissenschaftler vom Juni 2022 (PNAS. doi: 10.1073/pnas. 2119086119) zeigt vielmehr, dass später widerrufene Publikationen im Durchschnitt häufiger erwähnt werden als korrekte Artikel. Sie quantifizierten, wie viel Aufmerksamkeit 3.985 widerrufene Artikel vor und nach ihrer Retraktion auf 14 Online-Plattformen erhielten. Im Vergleich zu nicht-zurückgezogenen Artikeln erfreuten sich die fehlerhaften Publikationen tatsächlich höherer Aufmerksamkeit – und zwar nicht nur in sozialen Medien wie Twitter, Facebook und Reddit, sondern vor allem auf kuratierten Plattformen wie Online-Nachrichtendiensten und Internet-Enzyklopädien.  Diesen Beitrag weiterlesen »

Nach Fake kommt Deepfake

8. Juni 2022 von Laborjournal

Schon seit einiger Zeit hat die Produktion gefälschter Bilder in Forschungsartikeln rapide zugenommen. Sogenannte Deepfakes könnten das Problem jedoch noch erheblich verschärfen. Dabei werden Bilder nicht mehr manuell im Computer manipuliert, sondern von Grund auf mithilfe Künstlicher Intelligenz (KI) erzeugt.

Deepfake-Blots (aus Wang L. et al., Patterns 3; doi: 10.1016/j.patter.2022.100509).

Vier Forscher der chinesischen Universität Xiamen machten jetzt die Probe aufs Exempel: Sie erstellten via KI Fälschungen von Abbildungen, wie sie typischerweise in wissenschaftlichen Zeitschriften vorkommen, und legten diese einer Reihe von Experten vor. Das ernüchternde Ergebnis: Die Fälschungen waren leicht zu erstellen und praktisch nicht als solche zu erkennen (Patterns 3; doi: 10.1016/j.patter.2022.100509) .

Wie bei Deepfakes oftmals üblich, erzeugten die Chinesen einige ihrer Bilder mit Hilfe eines generativen adversen Netzwerks (GAN). Diesen Beitrag weiterlesen »

Getrübte Titelfreuden?

11. Mai 2022 von Laborjournal

Könnte es eventuell eine zweifelhafte Freude sein, mit der eigenen Veröffentlichung auf dem Titelblatt einer Journal-Ausgabe zu landen?  …

Zu meiner eigenen aktiven Zeit im Labor – die mittlerweile schon eine ganze Weile her ist – lief es jedenfalls so: Jedes Mal, wenn das Paper einer Gruppe es bis auf das Cover eines guten Journals geschafft hatte, gab es eine zumindest mittelgroße Feier im gesamten Institut. Man wertete dies schlichtweg als ganz besondere Form der Wertschätzung für den jeweiligen Inhalt – und entsprechend groß war deshalb die Freude.

Bis heute scheint sich an dieser Freude nicht wirklich was geändert zu haben – wie ein kurzer Blick nach Twitter verrät. Da jubelt beispielsweise letzte Woche einer, dass eine Studie mit seiner Beteiligung durch die Cover-Illustration der Mai-Ausgabe von Lancet Oncology ganz besonders gewürdigt wird.

Einen Tag danach verkündet eine walisische Professorin:

Und wieder einen Tag später wird folgende Nachwuchsforscherin geradezu euphorisch:

„Doch wird die Freude allzu groß, legt irgendwo ein Spielverderber los.“ Und in diesem Fall könnten drei italienische Wirtschaftsforscher diese Rolle besetzen. „Cover effects on citations uncovered: Evidence from Nature“ übertitelten sie ihre Studie, die gerade frisch im Journal of Infometrics erschien (16(2): Art. 101293; im Preprint hier lesbar). Im Abstract schreiben sie:    Diesen Beitrag weiterlesen »

Zitatesammeln per Lieferfahrzeug

20. April 2022 von Laborjournal

Raub-Verlage (Predatory Publishers), Entführte Journale (Hijacked Journals), Papiermühlen (Paper Mills), … – schon öfter berichteten wir, mit welch windigen Manövern einige, meist asiatische „Unternehmer“ Profit aus den Zwängen und Nöten des wissenschaftlichen Publikationssystems schlagen. Siehe etwa hier, hier, hier oder hier. Die Ideen, das System zum eigenen Profit zu hintergehen, scheinen damit jedoch immer noch nicht erschöpft. Auf der Paper-Diskussionsplattform PubPeer wurde jedenfalls gerade eine weitere schräge „Geschäftsidee“ enthüllt: Zitate-Lieferfahrzeuge (Citation Delivery Vehicles).

Anfang des Jahres illustrierte dort ein User mit Pseudonym „Hoya camphorifolia“ anhand eines Papers chinesischer Autoren eine weit verbreitete Strategie des unlauteren Zitatevermehrens (J. Mater. Sci.: Mater. Electron., doi: 10.1007/s10854-021-05437-0):

Die Autoren dieser Gruppe haben die merkwürdige Neigung, ihre Arbeiten mit einem Schlusssatz abzuschließen, der als reines „Citation Delivery Vehicle“ fungiert – siehe https://pubpeer.com/search?q=“Jun+Zhao „+OR+“Zhiqin+Zheng“. In mindestens einem dieser Fälle stand der folgende, stark aufgeblasene Schlusssatz nachweisbar nicht in der Version, die die Peer-Reviewer sahen, sondern wurde erst in der Korrekturphase hinzugefügt:

„Diese Arbeit erweitert den Anwendungsbereich der persistenten Materialien auf das Feld der Photokatalyse und bietet überdies neue Einblicke in andere Bereiche, wie etwa die Abwasserbehandlung [46-48], die Elektrokatalyse [49-51] und die Photokatalyse [52-55].“

Anschließend folgen die entsprechenden Referenzen 46 bis 55, allesamt wiederum Veröffentlichungen chinesischer Gruppen. Diese jedoch haben – man ahnt es schon – mit dem Inhalt des Papers rein gar nichts zu tun. Diesen Beitrag weiterlesen »

Corona und der Wert des Peer Review

30. März 2022 von Laborjournal

Aus unserer Reihe „Gut gesagt!“ zum Thema Corona-Pandemie und Peer Review:

 

__________________________

 

[…] Wie replizierbar werden die Forschungsergebnisse zu COVID-19 sein? Das wissen wir noch nicht, aber eine Erfahrung, die mir im Rahmen der letzten Wochen stärker präsent geworden ist […], ist die Verletzlichkeit und Wichtigkeit des Peer-Review-Systems. Verletzlich – denn bewusste Täuschungen sind auch von kompetenten Reviewern schwer zu entdecken. Wichtig – denn ich glaube nach wie vor nicht, dass wir auf die erhebliche Mühe dieser Expertenarbeit zur Qualitätssicherung verzichten können. Wir müssen, denke ich, diese selbstlose und unentgeltliche Arbeit besser und vielleicht auch anders honorieren, denn sonst laufen wir Gefahr, die wesentlichen Ergebnisse in der Flut des Publizierten ebensowenig erkennen zu können, wie das in der unmoderierten Welt der (Online-)Informationen schon jetzt gebietsweise der Fall ist. […]

__________________________

 

 

… Sagte Andreas Meyer-Lindenberg, Direktor des Zentralinstituts für Seelische Gesundheit, Klinik für Psychiatrie und Psychotherapie, in Mannheim sowie Mitglied der Ständigen DFG-Senatskommission für Grundsatzfragen in der Klinischen Forschung, in Laborjournal 7-8/2020 („Translationale Forschung in Pandemiezeiten“, S. 10-13).

 

Gleich unter Ersten oder Erster unter Gleichen?

2. Februar 2022 von Laborjournal

Bereits vor einem knappen dutzend Jahren hatten wir die damals gerade aufflammende Praxis der Benennung von „Equal First Authors“ und „Co-Corresponding Senior Authors“ in Forschungsartikeln persifliert. Zugegeben, unsere Zuspitzung geriet damals ziemlich extrem, sodass wir uns damit umgehend eine ordentliche und irgendwie auch verdiente Replik eines „Betroffenen“ einhandelten (beides hier nachzulesen).

Natürlich kam unserem Chefredakteur diese Episode gleich wieder in den Sinn, als er kürzlich auf den Artikel „A Qualitative Study of Equal-Co-First Authorship“ aus dem Jahr 2020 stieß (Account. Res. 27(8):496-520). In dessen Abstract heißt es übersetzt:

In den letzten Jahren hat die Zahl der wissenschaftlichen Artikel, bei denen zwei oder mehr Autoren eine „gleichberechtigte Erstautorschaft“ (ECFA) einnehmen, deutlich zugenommen. Diese Studie […] erörtert die wahrscheinlichen Ursachen für ihre zunehmende Verwendung und untersucht die Argumente für und gegen diese Praxis. Anschließend werden die Ergebnisse einer qualitativen Studie vorgestellt, in der die Meinungen von 19 Autoren, die als gleichberechtigte Erstautoren von aktuellen Veröffentlichungen in führenden Wissenschaftsblättern gelistet sind, zu dieser Praxis eingeholt wurden. Die Ergebnisse zeigen, dass sich die Umstände, die zur Zuweisung einer gleichberechtigten Erstautorschaft führen, erheblich voneinander unterscheiden. Zwar sei die Entwicklung einer einheitlichen Strategie für solche Situationen sicherlich nicht einfach, meinten die Teilnehmer, allerdings trage das Fehlen klarer und konsistenter Kriterien für die Zuweisung und Bewertung von gleichberechtigten Erstautorschaften zu Spannungen zwischen den betroffenen Autoren bei – und verschleiere letztlich die angemessene Zuweisung von „Credit“.

Die beiden Verfasser des Artikels hatten 139 Artikel gesammelt, die ihre Autorenzeilen mit gleichberechtigten Erstautoren starten. Diesen Beitrag weiterlesen »

Mainstream-Falle Peer Review

5. Januar 2022 von Laborjournal

Schon länger hat man den Eindruck, die Diskussionen über eine Reform oder Alternativen zum Peer-Review-System treten auf der Stelle. Dabei wird wohl kaum jemand bestreiten, dass der Peer Review ein Kernproblem beherbergt, das trivialer klingt, als es ist – und zwar unabhängig davon, ob es sich um den klassischen Pre- oder um Post-Publikation-Peer-Review handelt: Er funktioniert nur, wo es auch wirkliche Peers gibt.

Kann das in den Wissenschaften überhaupt nahtlos der Fall sein? Gibt es tatsächlich immer und überall solche „ebenbürtige Experten“? Ganz sicher nicht.

Fragen wir daher zunächst einmal: Wer ist „Experte“? Klar – jemand, der sich in einem bestimmten Gebiet besonders gut auskennt. Was zunächst bedeutet, dass ein Peer vor allem den Status quo eines Gebietes umfassend kennt; womöglich hat er bei dessen Etablierung sogar entscheidend mitgeholfen.

Jetzt geht es aber in der Wissenschaft nicht nur um den Status quo – es geht nicht mal vor allem um den Status quo. Vor allem geht es in der Wissenschaft um das, was jenseits des Status quo liegt. Neue Pfade beschreiten, Licht ins Dunkel bringen, Horizonte erweitern, zu neuen Ufern aufbrechen – das sind die Metaphern, die beschreiben, was vor allem Ziel der Wissenschaft ist. Oder, schlichter formuliert: neue Erkenntnisse gewinnen.

Das Paradoxon dabei ist nun, dass es da, wo einer erstmals Neuland beschreitet, keine Experten geben kann. Das heißt zwar nicht, dass jeder Experte des Status quo grundsätzlich nicht mehr adäquat bewerten kann, was er von jenseits der bekannten Grenzen seines Gebietes zu hören bekommt. Aber es ist natürlich ungleich schwieriger zu beurteilen, ob jemand tatsächlich Handfestes oder eben nur Blödsinn aus absolutem Neuland berichtet. Und da die Experten des Status quo auch gerne Bewahrer des Status quo sind, kippen sie schon öfter mal das Kind mit dem Bade aus, wenn sie vermeintlich allzu abenteuerliche Berichte abschmettern.

Beispiele gibt es genug, wie letztlich richtige Ergebnisse und Schlussfolgerungen aus totalem wissenschaftlichem Neuland sehr lange brauchten, um sich gegen den „Experten“-Mainstream durchzusetzen: Barbara McClintocks springende Gene, Stanley Prusiners Prionen, Lynn Margulis und die Endosymbiontentheorie, Günter Blobels Signalpeptide, die Helicobacter-Geschichte,… – alles Fälle, bei denen die Peers seinerzeit schlichtweg unfähig oder unwillig waren, grundlegend Neues und Richtiges zu erkennen.

Nicht zuletzt deshalb zog der englische Soziologe Steve Fuller das Fazit: „Peer Review funktioniert bei ‚normaler Wissenschaft‘, hat aber auch die Macht radikale Ideen zu unterdrücken.“

Ralf Neumann

(Foto: fona.com)

 

Embargo-Verzerrungen

22. Dezember 2021 von Laborjournal

 

 

Bekanntlich gibt es einige Wege, wie man Zitierraten von Artikeln und Impact-Faktoren von Zeitschriften künstlich verzerren kann – siehe etwa hier und hier. Auf einen weiteren macht nun ein Quartett um den Kieler Wirtschaftsinformatiker Steffen Lemke aufmerk­sam. Schon der Titel des Artikels macht deutlich, wie der Hase konkret läuft: „Research articles promoted in embargo e-mails receive higher citations and altmetrics“ (Scientometrics, doi: 10.1007/s11192-021-04217-1).

Mittel zum Zweck sind also Embargo-E-Mails, mit denen die Fachblätter das Erscheinen von vermeintlich besonders wichtigen Artikeln weithin vorab ankündigen.

Im Abstract fassen Lemke et al. ihre Studie folgendermaßen zusammen:

Um gründlich und rechtzeitig über die neuesten wissenschaftlichen Forschungsergebnisse berichten zu können, sind Wissenschaftsjournalisten häufig auf Informationen angewiesen, die ihnen von den Herausgebern wissenschaftlicher Zeitschriften unter Embargo zugesandt werden. In solchen Embargo-E-Mails machen Verleger die Journalisten gezielt auf ausgewählte bevorstehende Veröffentlichungen aufmerksam – und zwar bereits ein paar Tage vor deren Erscheinen.

Indes ist kaum bekannt, wie sich diese frühzeitige Hervorhebung bestimmter Forschungsartikel auf deren spätere Zitierungen oder Altmetrics auswirkt. Hier präsentieren wir daher eine explorative Fallstudie mit dem Ziel, die Auswirkungen solcher Werbeaktivitäten auf die bibliometrischen und altmetrischen Indikatoren wissenschaftlicher Artikel zu untersuchen. In einem Treatment-Control-Design analysieren wir die Zitierzahlen sowie acht Arten alternativer Metriken von insgesamt 715 Artikeln, die zwischen 2016 und 2017 veröffentlicht wurden und deren DOIs in Embargo-E-Mails erwähnt wurden. Diese vergleichen wir mit Artikeln aus denselben Zeitschriftenausgaben, die nicht in Embargo-E-Mails hervorgehoben wurden.

Deskriptive Statistiken und Mann-Whitney-U-Tests offenbaren eine signifikante Bevorzugung von derart promoteten Artikel in sämtlichen betrachteten Metriken innerhalb von drei bis vier Jahren nach ihrer Veröffentlichung. Besonders große Unterschiede sind bei der Anzahl der Erwähnungen in den Mainstream-Medien, in Blogs, auf Twitter und auf Facebook zu erkennen.

Unsere Ergebnisse deuten darauf hin, dass wissenschaftliche Verlage einen erheblichen Einfluss darauf haben, welche Forschungsartikel in den verschiedenen (sozialen) Medien Aufmerksamkeit und Sichtbarkeit erhalten. Auch im Hinblick auf die Nutzung von Metriken zu Evaluationszwecken könnten die beobachteten Auswirkungen von Werbeaktivitäten auf Indikatoren einen unerwünschten Einflussfaktor darstellen, der derzeit in szientometrischen Bewertungen nicht in dem Maße berücksichtigt wird, wie dies eigentlich der Fall sein sollte.

Schön und gut. Aber wie sieht das neben den Altmetriken konkret für die Zitierraten der via Embargo-E-Mails beworbenen Artikel aus? In Tabelle 3 ihrer Publikation zeigen Lemke et al., dass diese im Schnitt knapp doppelt so oft zitiert werden als die nicht-beworbenen Artikel der Kontrollgruppe. In der „Discussion“ schreiben sie daher:

Die aufmerksamkeitssteigernde Wirkung der Embargo-E-Mails geht offenbar über die Medien hinaus, an die sie sich richten, wie die höhere Zahl der wissenschaftlichen Zitierungen […] der promoteten Artikel zeigt. Mit anderen Worten: Die Aufmerksamkeit, die Embargo-E-Mails in der öffentlichen Sphäre der Nachrichtenmedien auf sich ziehen, scheint auch in die wissenschaftliche Sphäre auszustrahlen. So zeigen es jedenfalls die Zitierzahlen.

Logisch, dass gerade angesichts der übermäßigen Bedeutung von Zitierzahlen für die Evaluation und Karriere von Wissenschaftlern das Fazit der Autoren entsprechend kritisch ausfällt:

Die Förderung ausgewählter Artikel durch Wissenschaftsverlage führt somit zu einem erheblichen Eingriff in das wissenschaftliche Belohnungssystem – und fügt zu den bereits bekannten Verzerrungen im Zusammenhang mit zitationsbasierten Bewertungen eine weitere hinzu.

Ralf Neumann

(Illustr.: thelyst.com)