Die Unlust zum Datenteilen

3. August 2022 von Laborjournal

Was treibt den wissenschaftlichen Fortschritt an? Alles Mögliche könnte man hier nennen: Neugier, ein offener Geist, auch harte Arbeit, … Nehmen wir es hier aber mal ganz pragma­tisch: Zumindest in der heutigen modernen Wissenschaft sind es zuerst und vor allem die Daten, die sie immer weiter voranbringen.

Nicht zuletzt deshalb ist eine der größten Forderungen der Open-Science-Bewegung, die Rohdaten aus Experimenten jederzeit für alle frei verfügbar zu machen. Und nicht zuletzt deshalb fordern inzwischen die meisten Journals von den Autoren, die Rohdaten der im Manuskript beschriebenen Resultate der Forschungsgemeinde stets zur freien Verfügung zu halten. Weshalb inzwischen auch die meisten Paper das starke Statement ziert: „Data available on request.“

Doch wie stark ist das Statement in der Praxis? Ist es mit robuster Substanz gefüllt? Oder bleibt es als notgedrungene Absichtserklärung eher eine leere Luftnummer?

Bereits in Laborjournal 3/22 (S. 10) berichteten wir von einer nicht gerade hoffnungsvollen Stichprobe zum Thema. Ein Team hatte bei den Autoren von 53 Veröffentlichungen in der Krebsforschung Rohdaten angefordert – ein Drittel antwortete überhaupt nicht, und nur ein Viertel teilte die Daten vollständig und in brauchbarer Form.    Diesen Beitrag weiterlesen »

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Mehr Zitate durch Open Data

18. Juli 2019 von Laborjournal

Wie kann ich mit jedem Artikel 25 Prozent mehr Zitierungen ein­sammeln? Jedenfalls im Schnitt, und ohne allzu großen Mehraufwand…

Hand auf’s Herz — das klingt verlockend, oder? Welcher Forscher checkt heutzutage nicht regel­mäßig sein Zitatekonto — auch wenn es viele nicht wirklich zugeben? Und wenn dann einer ganze 25 Prozent „Rendite“ verspricht…

Das Rezept, wie man sich diese Rendite „ver­dienen“ kann, hat gerade ein englisch-nie­der­lädisches Team unter dem Titel „The citation advantage of linking publications to research data“ in arXiv verkündet (arXiv:1907.02565v1) — und es ist denkbar einfach: Stelle sämtliche Daten, die deinem Paper zugrunde liegen, öffentlich für alle zur Verfügung — und schon wirst du dafür durchschnittlich ein Viertel mehr an Zitierungen einstreichen.

Für ihre Studie nahmen sich die Autoren über eine halbe Million Artikel vor, die zwischen 1997 und 2018 in 350 Open-Access-Zeitschriften der Verlage Public Library of Science (PLoS) und BioMed Central (BMC) erschienen waren. Etwa ein Drittel davon enthielt Data Availability Statements und beinhaltete somit jeweils einen Link zu einem Repositorium, in dem die Autoren sämtliche relevante Originaldaten öffentlich zugänglich hinterlegt hatten. Ganz im Sinne von Open Data also. Und siehe da, dieses Drittel an Papern wurde nachfolgend im Schnitt um 25 Prozent häufiger zitiert als die anderen zwei Drittel, die keine Daten offengelegt hatten.

Schöne Sache, oder? Zumal dadurch die Forscher landauf landab erst recht dazu motiviert werden könnten, ihre Daten für alle offenzulegen. Sicher, man sollte das Konzept von Open Data eigentlich aus ganz anderen Beweggründen beherzigen, als dass ich dadurch ein paar Zitate mehr auf mein Konto hieve — aber hier kann man es vielleicht einfach mal so stehen lassen, dass über nicht ganz saubere Incentives am Ende dennoch das Richtige gepusht wird. Der Zweck heiligt bekanntlich die Mittel.

Zumal die Studie der wahren Bedeutung von Zitierzahlen ja eigentlich kein gutes Zeugnis ausstellt, wenn man nur ein bisschen weiter denkt. Schließlich bleibt das publizierte Paper mit den präsentierten Ergebnissen und Schlussfolgerungen ja punktgenau dasselbe — ob ich nun die zugrundeliegenden Daten dahinter offenlege oder nicht. Dennoch bekomme ich dadurch 25 Prozent mehr Zitierungen. Womöglich nur, weil die Open Data hinter dem Paper etwas mehr Aufmerksamkeit darauf lenken? Wie auch immer, bei derart leicht verursachbaren Schwankungen kann die Zitierzahl eines bestimm­ten Papers wohl kaum ein direktes Maß für die Qualität der darin beschriebenen Ergebnisse sein.

Aber das wissen wir ja eigentlich schon lange — siehe etwa hier, hier und hier.

Ralf Neumann

Die Angst des Forschers vor dem Kommentieren

5. Juni 2019 von Laborjournal

… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informations­wis­sen­­schaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.

Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:

  • Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Pro­zent der Artikel verteilten.
  • Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
  • Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
  • Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irr­tümer oder die Autorenreihenfolge korrigiert sowie auf weiter­füh­ren­de Links oder nachfolgende Medien­bericht­erstattung hingewiesen.
  • Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
  • Von diesen „akademischen“ Kommenta­ren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.

Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.

Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:

Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.

Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:

Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der techni­schen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.

Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.

 

(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog ver­öffent­li­chen wir ihn vorab.)

x

Das Recht am Peer Review

4. Juli 2017 von Laborjournal

Nette Geschichte, die Pandelis Perakakis auf seiner Academic Website über seinen Kollegen Angel Correa vom Brain, Mind & Behaviour Research Center der Universität Granada notiert hat. Dieser hatte von einem Elsevier-Editor die Einladung erhalten, ein eingereichtes Manuskript für eines ihrer Journals zu begutachten. Correa schrieb zurück, dass er dies gerne tun würde — allerdings unter einer Bedingung: Würde das Paper am Ende zur Veröffentlichung akzeptiert, sollte das Journal seinen Review in der gleichen Ausgabe mit veröffentlichen — als „Kommentar“ oder wie auch immer, aber auf jeden Fall frei zugänglich via Open Access.

Correa lieferte auch eine Begründung dafür. Als Wissenschaftler im Staatsdienst habe er entschieden, seine Arbeitszeit nicht völlig selbstlos in das Interesse von Journals zu investieren, die privatwirtschaftliche Zwecke verfolgen.

Der Editor antwortete daraufhin zunächst schnippisch, dass er Correas Entscheidung, nicht mehr am Scientific Process teilzunehmen, sehr bedauere. In einer zweiten Mail schob er jedoch nach, dass er nach seiner Auffassung gerade als Staatsbediensteter die Verpflichtung habe, der Peer Review-Anfrage nachzukommen. Dies nicht nur, weil auch seine Institution dafür zahle, dass dessen Verlag einen ordentlichen Peer Review-Prozess organisiert und durchführt — sondern weil die Wissenschaftsgemeinde schlichtweg auf diese Art funktioniere. Schließlich erwarte er ja auch, dass seine Paper von Peers begutachtet werden.

Correa bemühte daraufhin zunächst einige Höflichkeitsfloskeln, um dann zu folgendem Schluss zu kommen: „Ich denke, es würde meiner Selbstverpflichtung zu Open Science auch Genüge tun, wenn ich als Autor des Peer Reviews die Rechte daran behalte, so dass ich diesen selbst veröffentlichen kann — vorausgesetzt natürlich, das Manuskript wird veröffentlicht. Geben Sie mir also bitte bescheid, ob Ihr Journal in diesem Fall die Verwertungsrechte bei mir, also dem Autor des Reviews, belässt.“

Eine Antwort darauf blieb bis heute aus.

Ralf Neumann

(Illustr.: Fotolia)

x

Plötzlich ist das Paper weg

27. Februar 2013 von Laborjournal

Man stelle sich folgendes vor: Forscher Neu hatte einst aus diversen Gründen beschlossen, nur noch in Open-Access-Online-Only-Zeitschriften zu veröffentlichen. Als er also seine nächste Geschichte beisammen hatte, forschte er im Internet nach dem bestgeeigneten Titel — und schickte das Manuskript schließlich zum Journal of Experimental Surprises [*Name erfunden!*]. Alles klappte wunderbar, und schon kurze Zeit später konnte er sein Paper auf den Monitor rufen. Dennoch beschloss er aus einem nicht wirklich greifbaren Gefühl heraus, sein eingereichtes Manuskript nicht zu löschen, speicherte zudem das PDF seines JES-Papers auf seinen Rechner — und machte davon gar noch ein Dutzend Ausdrucke. Man konnte ja nie wissen…

Vier Jahre später wollte Neu in seinem JES-Paper schnell online etwas nachschauen. Doch das Journal of Experimental Surprises gab es nicht mehr. Diesen Beitrag weiterlesen »

Bigfoot — Big Fake?

14. Februar 2013 von Laborjournal

Gestern erschien nach über zweimonatiger scharfer Kontroverse das angekündigte Paper zur Genom-Entschlüsselung des legendären nordamerikanischen Waldmenschen, bekannt als „Bigfoot“ oder „Sasquatch“. Dies allerdings unter höchst zweifelhaften Umständen. Erstautorin Melba Ketchum veröffentlichte die Studie als einzigen Artikel der ersten Ausgabe eines völlig neuen Journals namens DeNovo — und erwarb im gleichen Atemzug sämtliche Rechte an der ganzen Zeitschrift. Dennoch beschwört Melba Ketchum, dass das Manuskript zuvor ein ordentliches Peer Review-Verfahren durchlaufen habe.

Den Artikel selbst muss man — trotz der Aussage des Journals, „Open Access“ agieren zu wollen — für mindestens 30 US-Dollar kaufen. Das haben wir nicht getan — ganz im Gegensatz zu dem US-Wissenschaftsautor Carl Zimmer, der bereits nach kurzer Inspektion des Artikels über seinen Twitter-Account urteilte:

The phylogeny in this #sasquatchgenome paper is incomprehensibly illegible & doesn’t seem to use any method I can recognize.

Zeitgleich nahmen sich einige „Computational Geneticists“ Sequenzfetzen aus der Veröffentlichung vor — und kamen zu dem Schluss, dass es sich um einen bunten DNA-Mix aus allen möglichen Spezies handelt. Diesen Beitrag weiterlesen »

Episciences Project — ein neues Modell zum wissenschaftlichen Publizieren

11. Februar 2013 von Laborjournal

Vor ziemlich genau einem Jahr startete eine Protestaktion gegen die exorbitante Preispolitik sowie die restriktiven Zugangsregeln des holländischen Wissenschaftsverlag-Giganten Elsevier. Auf der Seite “The Cost of Knowledge” können seitdem der Sache gewogene Unterzeichner erklären, dass sie den Verlag solange boykottieren werden, bis er sein Geschäftsmodell radikal ändert. So haben dort bis heute über 13.200 Forscher bezüglich Elsevier erklärt, dass sie dort:

… won’t publish, won’t referee, won’t do editorial work.

Hauptinitiator des Protests war damals der Mathematiker und Fields-Medaillengewinner Timothy Gowers (hier seine eigene Jahresbilanz des Protests). Jetzt geht er einen Schritt weiter: Auf seinem Weblog verkündete er vor einigen Tagen das “Episciences Project“, welches das wissenschaftliche Publizieren auf völlig neue Füße stellen will – komplett staatlich finanziert und ganz ohne kommerzielle Verlage. Diesen Beitrag weiterlesen »

Nature entdeckt den Profit in Open Access

15. November 2012 von Laborjournal

Immer mehr Forschungsförderer verlangen als Voraussetzung für die Projektförderung, dass die Wissenschaftler die resultierenden Publikationen frei zugänglich, also „Open Access“, veröffentlichen. Einige von ihnen gehen indes noch einen Schritt weiter und verpflichten die Forscher, zusätzlich dafür zu sorgen, dass deren Artikel unter eine sogenannte offene Creative Commons (CC) Lizenz gestellt werden, die dem Nutzer weitreichende Verwendungsoptionen eröffnet.

So fordern etwa der Wellcome Trust und die Research Councils UK (RCUK) in England, die von ihnen geförderten Projekte unter der CC-Lizenzvariante „By“ (CC-By) zu veröffentlichen. Diese offenste aller Varianten erfüllt explizit die Ansprüche der sogenannten Open Definition, wodurch Nutzer die jeweiligen Artikel kostenfrei sowohl privat wie auch kommerziell weiterverwerten können. Lediglich die Urheberschaft der Artikel muss hierbei vermerkt sein.

Die Argumentation der Forschungsförderer ist dabei so simpel wie einleuchtend. Die Entstehungskosten der Publikationen, so sagen sie, seien bereits durch die öffentliche Hand beglichen. Also sollten sie auch für jeden frei nutzbar sein.

Da die Forscher auf diese Weise zunehmend an die Open Access-Politik ihrer Förderorganisationen gebunden werden, gerät damit so manches altehrwürdiges Wissenschaftsblatt unter Zugzwang. Diesen Beitrag weiterlesen »

„Ich kann mir nicht vorstellen, dass Post-Publication-Peer-Review Veröffentlichungen besser macht“

7. September 2012 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. B.E. Dacht, Reflektologisches Institut Forschungszentrum Abwägingen.

LJ: Hallo, Herr Dacht — kurze Schreibpause?

Dacht: Ja, genug Forum-Pingpong gespielt.

LJ: Forum-Pingpong? Wie muss ich das verstehen?

Dacht: Ach, ich diskutiere schon seit Tagen in so einem Online-Forum mit, in dem es um die Vor- und Nachteile von Post-Publication-Peer-Review versus Pre-Publication-Peer-Review von Veröffentlichungen geht. Diesen Beitrag weiterlesen »