Schwaches Data Sharing

24. März 2022 von Laborjournal

Bisweilen zieht sich eine gewisse kollegiale Schlampigkeit durch die Forscherzunft. Zum Beispiel, wenn es darum geht, Kolleginnen und Kollegen auf Anfrage weitere Informationen zu den eigenen publizierten Studien mitzuteilen. Dazu berichten wir beispielsweise Folgendes unter „Inkubiert“  in unserem aktuellen Heft:

Dass gerade Letzteres es häufig nahezu unmöglich macht, publizierte Ergebnisse durch „Nachkochen“ zu bestätigen, illustriert eine frische Arbeit zur Replizierbarkeit von Studien aus der präklinischen Krebsforschung (eLife 10: e67995). Insgesamt wollten deren Autoren 193 Experimente aus 53 Arbeiten replizieren. Jedoch fehlten darin zu viele wichtige Informationen über Methodik und Ergebnisse – oder waren zumindest ungenügend. Am Ende konnten sie für kein einziges Experiment ein Protokoll zu dessen Wiederholung entwerfen, ohne die Originalautoren um klärende Details zu bitten. Allerdings antwortete jeder Dritte von ihnen daraufhin überhaupt nicht, und nur ein Viertel lieferte wirklich hilfreiche Unterstützung.

Und siehe da, gerade eben sind wir über eine weitere Studie gestolpert, die ganz frisch über ähnlich schwaches Verhalten hinsichtlich Data Sharing berichtet. Ihr Titel lautet „Frequency of receiving requested data for a systematic review and associated factors: A cross-sectional study“, verfasst hat sie ein brasilianisches Autorenteam (Account. Res. 29(3): 165-77). Sinngemäß übersetzt steht als Kernergebnis im Abstract:

Ziel dieser Studie war es abzuschätzen, wie häufig man Daten erhält, die für das Verfassen eines systematischen Reviews angefordert wurden. Dazu kontaktierten wir per E-Mail Autoren von Studien mit dem Anliegen, dass wir zusätzliche Daten von ihnen benötigten. […] Von den 164 angeschriebenen Studien antworteten 110 (67,1 %), 51 schickten angeforderte Daten (31,1 %). Die mittlere Zeit bis zum Erhalt einer Antwort […] betrug 36 Tage. […] Das Anfordern von Daten für einen systematischen Review kostete folglich viel Zeit und hatte überhaupt nur bei drei von zehn Studien Erfolg.

Könnte es sein, dass die ach so gerne beschworene Scientific Community in punkto kollegiales Verhalten doch deutlich mehr Luft nach oben hat, als viele von ihrer eigenen Zunft gerne wahrhaben wollen? Und dass man vom hehren Ideal des freien Datenaustauschs zugunsten einer Open Science weiter entfernt ist, als man dachte? Schließlich scheint dieser ja noch nicht einmal auf direkte Nachfrage gut zu klappen.

Ralf Neumann

(Illustr.: pngtree)

Bremsen Reviews die Zitierraten von Originalartikeln aus?

29. September 2021 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern.

So begannen wir unseren Artikel „Der falsche Review zur falschen Zeit“, in dem wir an einem anekdotischen Einzelfall beschrieben, wie so etwas konkret passieren kann: Dass ein Review einem kurz zuvor erschienen Originalartikel viele wohlverdiente Zitierungen „klauen“ kann.

Aber ist das jenseits einzelner Anekdoten auch generell der Fall? Im Jahr 2014 erschien beispielsweise eine Studie mit dem Titel „The kiss of death? The effect of being cited in a review on subsequent citations“, in der die Autoren biomedizinische Originalartikel, die in Review-Artikeln zitiert wurden, mit solchen verglichen, die in keinem Review zitiert wurden (J. Assoc. Inf. Sci. Technol. 65(7): 1501-5). Damals fanden sie keinen Unterschied in der Lebensdauer der Zitate zwischen beiden Gruppen.

Eine deutlich umfangreichere Studie aus diesem Jahr bestätigt dagegen zunächst den obigen Verdacht (Am. Sociol. Rev. 86(2): 341-76). Die Autoren von der Stanford University in Kalifornien werteten dazu die Zitationsdaten von knapp sechs Millionen Originalartikeln aus, die zwischen 1990 und 2016 in 1.155 Forschungs-Zeitschriften erschienen und hinterher in einem Übersichtsartikel der Annual-Reviews-Serie zitiert wurden. Ergebnis: Die meisten dieser Originalarbeiten erlitten nach Referenzierung in den Annual Reviews einen Verlust von durchschnittlich vierzig Prozent an zukünftigen Zitierungen.

Allerdings nur „die meisten“! Einige wenige Originalartikel erhielten nach Erwähnung und Referenzierung in einem Übersichtsartikel der Annual Reviews hingegen einen deutlichen Zitationsschub. Als die Autoren sich diese Artikel gesondert anschauten, stellten sie fest, dass es sich bei der Mehrheit um eine ganz bestimmte Gattung handelte, die sie daraufhin als Bridging Papers bezeichneten. Diese „Brücken-Artikel“ zeichnen sich dadurch aus, dass sie Verbindungen zwischen Forschungsgebieten schaffen, die bis dahin kaum Austausch miteinander hatten – mit der Konsequenz, dass viele erst durch den entsprechenden Review auf das jeweilige Paper aufmerksam wurden und dessen Ergebnisse nachfolgend in die eigenen Forschungsprojekte integrierten.

Entsprechend zeigte die weitere Analyse nachfolgender Ko-Zitationsnetzwerke, dass solche durch einen Review hervorgehobenen Brücken-Artikel oftmals zu zentralen Brennpunkten künftiger Themen und Forschung wurden – und dass die Reviews selbst auf diese Weise ganze Forschungsfelder neu strukturierten. Womit in diesen Fällen wohl das Beste passiert ist, was ein Review leisten kann.

Hauptautor Peter McMahan, Soziologe an der McGill University in Montreal, war zum Schluss allerdings noch wichtig, die Ergebnisse seiner Studie auf Nature Index folgendermaßen zu relativieren: „Zitate sind eine wirklich starke Währung für Akademiker. Aber der Einfluss der Forschung oder eines bestimmten Projekts, das ein Team, ein Labor oder eine Einzelperson durchführt – dieser Einfluss ist eigentlich eine viel reichhaltigere, größere und komplexere Angelegenheit, als dass er alleine durch Zitate gemessen werden kann.“

Ralf Neumann

(Illustr.: GoGraph /OstapenkoOlena)

Ein Review zur falschen Zeit

3. November 2015 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern. Und gerade in diesen Zeiten der Zitatezählerei kann das sehr unangenehm sein. Wie genau das geschehen kann, sei mit folgendem fiktiven Beispiel illustriert, in welches durchaus einige reale Muster und Begebenheiten hineinkondensiert wurden:

———————

[…] Das Feld war „heiß“, seit Jahren schon. Wer wirklich Neues zur regulatorischen RNAs in einem der Edel-Bätter publizieren konnte, durfte mit einem Haufen Zitierungen rechnen. Mehrere Hundert in den zwei bis drei folgenden Jahren waren üblich.

Nachwuchsgruppenleiter Müller war kurz davor. Die Resultate waren neu, eindeutig und bestätigt, das Manuskript gestern an Nature geschickt. Und insgeheim sah Müller schon allwöchentlich die Zahlen durch die Datenbank rattern: „Times cited: 23“, … „Times cited: 78“, … „Times cited: 145“, … „Times cited: 238“, …

Doch es gab etwas, das ihm ein wenig Sorgen machte. Rockman, der große, alte Emeritus und RNA-Pionier aus Berkeley, hatte ihn vor vier Wochen angerufen. Er schreibe einen Review für Cell, erzählte er ihm. Ob er nicht etwas Neues habe, das er ihm jetzt schon mitteilen könne — oder gar als „Draft“ schicken. Schließlich dauere es ja noch eine ganze Weile, bis der Review käme.

Müller war platt ob solcher Ehre. Dass Rockman ihn überhaupt kannte. DER Rockman, der in den letzten Jahren regelmäßig als heißer Kandidat für Stockholm gehandelt wurde. Fast schwindelig ob solcher Wertschätzung hatte sich Müller umgehend an den Rechner gesetzt und Rockman „mit besten Grüßen“ sein Manuskript gemailt.

Nature stellte sich quer. Ungewöhnlich lange dauerte es, bis Müller überhaupt etwas hörte. Und dann sollte er sogar noch ein paar Experimente nachliefern. Reine Gutachter-Schikane, fluchte er.

Müller schrieb nur geringfügig um und schickte das Manuskript stattdessen zu Science. Doch hier das gleiche Spiel. Absichernde Experimente forderten die Gutachter. Als ob die Sache nicht klar wäre. Aber was sollte er machen? Zwei Monate dauerte die „überflüssige“ Arbeit. Und Müller ärgerte sich. Verschwörungstheorien nahmen Gestalt an: „Ob Rockman…? Einfluss hat er ja… Ach Quatsch, der ist doch emeritiert.“

Als Müller schließlich vier Monate später das Science-Heft mit seinem Artikel in den Händen hielt, war aller Ärger weg geblasen. Jetzt also Zitierungen zählen. Nach zwei Monaten war er bereits bei 18, das war viel für die kurze Zeit. Nach vier Monaten waren es 26, — hm, na ja. Nach sechs Monaten waren es … immer noch nur 32? Was war los?

Rockmans Review war erschienen. Unerwartet schnell. Nur zwei Monate nach Müllers Paper. Eigentlich kein Wunder, denn Rockman war immer noch im Editorial Board von Cell. Der Review hatte alle Schlüsseldaten von Müller. Und die wurden jetzt bei Rockman zitiert. Wer kannte schon Müller, trotz frischem Science-Paper?

Zwei Jahre später schwebte der Rockman-Review satten 600 Zitierungen entgegen, Müllers Originalarbeit dümpelte immer noch bei unter 60 […]

———————

Ohne den Review wäre Müllers Originalarbeit sicher um einiges häufiger gelesen und zitiert worden — und sein Name hätte deutlich mehr Aufmerksamkeit erhalten. Gewichtige „Pfunde“, mit denen unser Nachwuchsgruppenleiter beim nächsten Karriereschritt gut hätte wuchern können. Ganz abgesehen davon, dass er sie sowieso verdient gehabt hätte.

Irgendwelche Anmerkungen dazu?

 

Wer braucht Konferenzbände?

11. März 2014 von Laborjournal

Also Conference Proceedings auf englisch. Schaut tatsächlich jemand in solche Tagungs- oder Konferenzbände rein? Oder anders gefragt: Hat darin wirklich schon mal jemand etwas Wertvolles für seine eigene Arbeit gefunden? Und selbst wenn: Wartet man nicht doch lieber die „richtige“ Veröffentlichung in einem Originalartikel ab?

Schließlich ist es ein offenes Geheimnis, dass das ganze Geschäft oftmals so — oder zumindest ähnlich — abläuft, wie es der Neuroforscher Bill Skaggs kürzlich in einem Kommentar auf Retraction Watch formulierte:

[…] The larger issue here relates to conference proceedings in general. In most cases they are unreviewed, and their value is minimal. The situation is particularly bad in computer science, where the general story is (1) a group of organizers decide to hold a conference in some nice vacation spot; (2) lots of corporate employees attend in order to have fun; (3) they write up some bullshit and submit it to the proceedings in order to justify attending, knowing that nobody will ever look at it; (4) the organizers pay a journal to publish the proceedings in order to justify the scientific value of the conference.

Worauf ihm Kollege Dan Zabetakis gleich im nächsten Kommentar zur Seite springt:

[…] This is the key point. I never look at proceedings, and I don’t think many people do either. The work hasn’t been seriously reviewed, and if it doesn’t rapidly appear in the literature, that is a sure sign that it wasn’t true in the first place. Perhaps it would be better to stop publishing these proceedings at all, at least under the name of the formal journals.

Aber vielleicht läuft es ja tatsächlich hin und wieder ganz anders. Wir nehmen gerne Gegenbeispiele zur Kenntnis…

(Foto: goodluz/Fotolia.com, Montage: LJ)

„Lieber keine Eier als faule Eier“

16. Oktober 2013 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. E. Isern, Striktologisches Institut Universität Hochlattburg.

LJ: Hallo Herr Isern, so tiefe Falten zwischen den Augenbrauen. Warum?

Isern: Ach, ich habe mich mal wieder über einen Kollegen geärgert, dessen Manuskript ich begutachten musste.

LJ: War es so schlecht?

Isern: Die weit verbreitete und scheinbar unausrottbare Schlamperei, dass die Zahl der Proben einfach zu klein war. Die Leute kapieren einfach nicht, dass man auf diese Art keine belastbare Statistik bekommen kann. Und dass die Ergebnisse auf diese Art nur Anekdoten bleiben, die keinerlei allgemein gültige Schlussfolgerungen erlauben.  Diesen Beitrag weiterlesen »

Echte Handarbeit

24. Juni 2013 von Laborjournal

Nach einiger Zeit mal wieder ein weiteres Beispiel zum Thema „Ungewöhnliche Abbildungen in Originalveröffentlichungen“ (siehe auch hierhierhier oder hier). Ihren 2011er Review „Tumor Metastasis: Molecular Insights and Evolving Paradigms“ (Cell 147(2): 275–292) illustrierten die beiden Autoren Scott Valastyan und and Robert A. Weinberg seinerzeit komplett mit handgezeichneten/-gemalten Abbildungen, wie etwa dieser hier:

 

Oder dieser hier:  Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (16)

14. August 2012 von Laborjournal

Schon mal zitiert worden, bevor das Paper überhaupt offiziell veröffentlicht war?

Wie einem dies passieren kann, beschrieb vor kurzem der Bioinformatiker C. Titus Brown in seinem Blog Living in an Ivory Basement. Demnach unternahm er den „unüblichen Schritt“, ein Manuskript über ein neues Software-Tool zur Metagenomik-Analyse nicht nur bei PNAS einzureichen, sondern dieses parallel auf dem Preprint-Server arXiv zu posten, der sich insbesondere unter Physikern und Mathematikern großer Beliebtheit erfreut.

Ein paar Wochen danach erhielt Brown die Anfrage, seinerseits ein bestimmtes Manuskript zu begutachten — unter anderem deswegen, weil die Autoren sein arXiv-Paper bereits zitiert hatten. Diesen Beitrag weiterlesen »

Flickschuster-Banden

2. August 2012 von Laborjournal

Immer wieder stolpern aufmerksame Leser in aktuellen Veröffentlichungen über Abbildungen wie diese:

 

(aus Figure 6, Diabetes 2008(57): 2933-42;
veröffentlicht und mit rotem Kommentar versehen im Blog Science Fraud.)

Was daran „stinkt“, ist klar: Die Blot-Spuren und -Banden stammen ganz offensichtlich nicht aus demselben Experiment und wurden nachträglich im Computer zu einem Bild zusammengeschustert. Das jedoch erlauben die Journals aus gutem Grund nur in Ausnahmefällen sowie unter ganz bestimmten Vorgaben.

Anderes Beispiel:  Diesen Beitrag weiterlesen »