Lobet und preiset saubere Retractions!

20. Januar 2021 von Laborjournal

Stellen Sie sich vor: Sie stoßen auf einen Artikel, der laut Titel für Ihr Forschungsprojekt interessant sein könnte – aber sehen sogleich, dass er zurückgezogen wurde. Einen Klick weiter landen Sie bei der Retraction Notice – und lesen lediglich die dünnen Worte: „This article has been withdrawn.“

„Kryptischer geht’s nicht mehr“, denken Sie. Und zurück bleiben Fragen. Wer hat den Artikel zurückgezogen? Waren es die Autoren, der Editor – oder alle zusammen? Und warum wurde das Paper zurückgezogen? Gab es Messfehler? War etwas nicht reproduzierbar – und wenn ja, was genau? Traten Inkonsistenzen in den Daten zutage, sodass die Schlussfolgerungen nicht mehr haltbar waren? Oder schlimmer: Hat da jemand schlampig gearbeitet? Womöglich sogar bewusst Daten gefälscht?

„Wenn die so wenig dazu schreiben, wird es wohl Fälschung sein“, denken Sie. „Die wollen die Autoren halt nicht an den Pranger stellen.“ Und schon haben Sie den Autoren womöglich Unrecht getan.

Wundern muss das bei derart „zurückhaltender“ Informationspolitik allerdings nicht. Zumal das Beispiel keinen Einzelfall darstellt. Kürzlich erst präsentierte etwa ein vietnamesischer Autor eine Analyse von zweitausend Retraction Notices aus den Jahren 1975 bis 2019 (Learn. Publ. 33: 119-130). Eines seiner Ergebnisse: Über die Hälfte spezifizierte nicht, wer die Retraction initiiert hatte, fast jede zehnte war gar ohne jegliche Notice erschienen. Und wenn die Gründe für die Rücknahme erklärt wurden, dann oft nur ansatzweise und kaum nachvollziehbar.

Diese fehlende Transparenz ist sicher ein Hauptgrund dafür, dass Retractions einen derart schlechten Ruf haben. Mit der Folge, dass Journals sie am liebsten vermeiden oder wenigstens ganz weit hinten verstecken möchten.

Schlimmer aber ist, dass die vielen ehrlichen Forscher, die redliche Mängel in ihren eigenen Artikeln aufspüren und sie via Retraction den Kollegen anzeigen wollen, daher Angst vor Stigmatisierung haben müssen. Weil es ihnen vorkommen muss, als schlüge ihnen ein zurückgezogenes Paper eine hässliche Narbe in die Publikationsliste. Und dass sie sich daher womöglich lieber still verhalten.

Dabei würden sie doch im anderen Fall einen der höchsten Werte unserer Wissenschaftskultur hochhalten: die Selbstkorrektur. Wofür sie – ganz im Gegenteil – eigentlich gelobt und gepreist gehörten.

Ralf Neumann

„Fälschungen sind immer schlimm, aber seinen Daten haben wir schon länger nicht getraut“

20. März 2019 von Laborjournal

Auch in der Wissenschaft gibt es den sogenannten „Flurfunk“ — und das ist auch gut so! Wie gut, davon bekamen wir eine Ahnung in einem Gespräch, das wir vor einiger Zeit im Rahmen einer Recherche führten — und das ging etwa so:

x

LJ: „Herr Professor X, wie sehr schaden die jüngst aufgeflogenen Datenfälschungen des Kollegen Y Ihrem Feld?“

Prof. X: „Gar nicht. Wir haben schon lange bewusst vermieden, auf Ys Daten aufzubauen.“

„Das klingt, als hätten Sie seinen Daten schon vorher nicht getraut.“

Prof. X: „Exakt.“

„Aber der Aufschrei war doch riesig, als die Fälschungen bekannt wurden.“

Prof. X: „Sicher. Geschrien haben allerdings nur die Anderen. Uns ‚Insider‘ hat das überhaupt nicht überrascht. Wir wissen eben viel mehr, als in den Journalen steht. Wie woanders auch, haben wir ein gut funktionierendes Untergrund-Netzwerk. Und da wird früh Alarm geschlagen.“

„Wie muss man sich das vorstellen?“

Prof. X: „Nun ja, wenn jemand die Daten eines Kollegen nicht reproduzieren kann, dann weiß das ziemlich schnell jeder im Feld. Was meinen Sie denn, welches das ‚Flurthema‘ schlechthin auf jeder Konferenz ist? Ich sage es Ihnen: Welche Daten sind robust, und welche sind es nicht; und welcher Forscher macht solides Zeug, und wer nicht.“

„Und bei Y war die Sache schon lange klar?“

Prof. X: „Genau. Wir hatten ihn bereits unter Verdacht, als er die ersten ‚spektakulären‘ Resultate anbrachte. Der eine konnte dies nicht reproduzieren, der andere hatte jenes schon lange vorher vergeblich versucht, ein Dritter hatte ‚etwas mitbekommen‘,… und so weiter. Glauben Sie mir: Wenn sich Leute schon richtig lange mit bestimmten Dingen beschäftigt haben, erkennen sie solche ‚Probleme‘ ziemlich schnell.“

„Also viel Rauch um Nichts?“

Prof. X: „Forschungsfälschung ist immer schlimm, keine Frage. Doch meist richtet sie nicht den Schaden an, den viele befürchten, da die unmittelbar Betroffenen aufgrund der geschilderten Mechanismen sowieso schon lange vorsichtig waren. Laut schreien tun nur andere — vor allem diejenigen, die immer gleich den ganzen Wissenschaftsbetrieb in Gefahr sehen.“

x

Okay, wahrscheinlich trifft das nicht für jeden Fall von Forschungsfälschung zu. Wir können uns beispielsweise noch gut erinnern, wie die internationale Pflanzenforscher-Gemeinde zuerst ungläubig und dann zunehmend schockiert reagierte, als nach und nach die Mauscheleien in den Publikationen ihres Zürcher Kollegen Olivier Voinnet aufflogen.

Aber dennoch: Wir wünschen weiterhin guten Flurfunk! Sei es auf Konferenzen oder anderswo.

Ralf Neumann

Illustr.: CoolCLIPS

Nur nicht zu viel riskieren

4. Mai 2018 von Laborjournal

Damit die Karriere nicht stockt, brauchen Postdocs und End-Doktoranden zwingend Paper. Und für Paper brauchen sie Ergebnisse.

Sichere Ergebnisse liefern jedoch in aller Regel nur risikoarme Projekte. Risikoarm insofern, als dass gewisse Vorarbeiten schon gezeigt haben, dass das Projekt solide ist und die nächsten Ergebnisse nur darauf warten, hinter der nächsten Ecke abgeholt zu werden.

Ob das dann noch aufregende Ergebnisse sind, ist eine andere Frage. Denn die erhält man in aller Regel, wenn man eben nicht nur hinter die nächste Ecke schaut — sondern sich eher auf Reisen weit über den Horizont hinaus begibt. Was einen dort genau erwartet, weiß man nicht und ist demnach hochgradig unsicher — schließlich ist es ja gerade das Unbekannte, das man erforschen will. Logisch daher, dass das Risiko, am Ende mit leeren Händen dazustehen, nicht gerade klein ist.

Die erwähnten Postdocs und End-Doktoranden können es meist kaum eingehen. Doch wer testet dann wirklich neue Ideen mit entsprechend hohem Fehlschlag-Risiko? Wem ist nicht gleich die Karriere versaut, wenn die Projektidee letztlich in einen „Satz mit X“ mündet? Wer braucht (noch) nicht die ganz runde Story?

Richtig, die „Anfänger“ — Bachelor/Master-Studenten und vielleicht mancher Doktoranden-Frischling.

Ob das aber der Sache gerecht wird? Denn nach welchem Schema das Neue-Ideen-Testen dann ablaufen kann, erzählte uns ein Gruppenleiter vor einiger Zeit an folgendem, selbst erlebten Beispiel…

Demnach erhielt Bachelor A im vierten Anlauf endlich ein halbwegs aussagekräftiges Basisergebnis; die nächsten zwei Mal scheiterte er wieder — danach verließ er das Labor. Später berichtete Master B, er habe zwei von sechs Mal ein positives Ergebnis erhalten und schrieb das auch in seiner Arbeit. Allerdings fiel den Kollegen daraufhin ein, dass niemand ihn derart oft an den Geräten gesehen hatte. Von der Gewissheit, ob die Idee was taugt und ein „richtiges“ Projekt mit vernünftigem Ergebnispotenzial tragen könnte, war man also weiterhin weit entfernt.

In den Händen des etwas erfahreneren Doktoranden C lieferte das vermeintliche Kernexperiment sofort ein positives Ergebnis. Allerdings konnte er es danach mehrere Male nicht wieder bestätigen — bis ihm Kollegin D beichtete, dass sie vor Wochen das empfindliche Schlüssel-Reagenz Z tagelang aufgetaut auf ihrer Laborbank vergessen hatte. Mit frischem Reagenz Z reproduzierte C sein Startergebnis zwar sofort wieder; allerdings verließ er das Labor zwei Wochen später überraschend zugunsten eines Bioinformatik-Jobs in der Industrie, ohne dass er die Ergebnisse je abschließend aufgeschrieben hatte.

Dennoch hielt der Chef den Basisbefund jetzt von A bis C für ausreichend solide belegt — und übergab „das Projekt“ einem neuen Postdoc. Ein knappes Jahr kam er wegen ungeahnter Schwierigkeiten mehr schlecht als recht voran — bis er schließlich befürchten musste, auf dem „Projekt“ nicht rechtzeitig die notwendigen Veröffentlichungen für den nächsten Antrag zusammenzubekommen. Also schmiss er es hin und wechselte aus „Karrieregründen“ doch wieder auf ein sicheres „Just around the Corner“-Projekt.

Nur ein Beispiel, wie schwer das derzeitige System das robuste Testen von wirklich neuen Ideen macht. Es gibt sicher noch mehr.

(Illustr.: Fotolia / pict rider)

Die Lance Armstrongs der Tour de Science

3. Februar 2016 von Laborjournal

Und wieder ein Zitat aus einer E-Mail an unsere Redaktion. Ein Bio-Emeritus im aktiven Unruhestand prangert darin mit deutlichen Worten einige „Unsitten“ im aktuellen Forschungsbetrieb an:

Da die Zahl der für das öffentliche und private Leben relevanten Skandale meine Fähigkeit zu kotzen weit überfordert […], bemühe ich mich schon seit einiger Zeit um eine gewisse pragmatische Rangordnung. Im Hinblick auf Wissenschaftsskandale heißt das für mich, dass ich nach den Lance Armstrongs der internationalen Tour de Science und vor allem nach den Strukturen frage, die diesen Figuren zur Verfügung stehen.

Da komme ich dann auf Fragen zum Wahnsinn der Impact Faktoren und CNS-Publikationen als Kriterium wissenschaftlicher Befähigung. CNS hat nichts mit Gehirn zu tun, sondern steht für Cell, Nature, Science — und damit gleichsam für den Glauben an die Weisheit der Editoren von Journalen, deren Hauptziel darin besteht, den Impact Faktor ihres Journals zu steigern oder wenigstens zu halten.

Ich beschäftige mich weiter mit dem Problem, was alles „behind the scenes“ passiert und offenbar möglich ist. Ich frage mich, warum ich immer wieder auf Arbeiten stoße, die in High Impact-Journalen veröffentlicht wurden und die völlig perfekt erscheinen — abgesehen davon, dass sich die Hauptergebnisse nicht reproduzieren lassen.

Ich frage mich, warum viele Wissenschaftler das Gefühl haben, dass man in einem Manuskript die — oftmals ja leider berechtigten — eigenen Sorgen wegen der Grenzen der verwendeten Methoden, beispielsweise aufgrund unerwünschter, schwer zu kontrollierender Artefakte, besser gar nicht erst andiskutieren sollte.

Ich frage mich, warum es üblich scheint, Ergebnisse besser wegzulassen, die nicht ins Schema der perfekten Reproduzierbarkeit passen und die möglicherweise die Beweisführung für oder gegen eine bestimmte Hypothese untergraben könnten.

Ich frage mich, wie es dazu kommt, dass heute umgehend immer nur nach einem molekularen Mechanismus gefragt wird, selbst wenn die phänomenologischen Grundlagen des untersuchten biologischen  Systems noch weitgehend ungeklärt sind.

Ich frage mich, wie das Begutachtungssystem verändert werden sollte — und vor allen Dingen, wie es öffentlich gemacht werden kann. Ich für meinen Teil habe seit etwa einem Jahr begonnen, alle meine Zeitschriftengutachten mit meinem Namen zu zeichnen.

Ich frage mich, wie es kommt, dass Gutachter ihren Auftrag dahingehend missbrauchen, dass sie die Autoren eingereichter Arbeiten zwingen, eine To-do-Liste abzuarbeiten, nach der die geforderten zusätzlichen Experimente gar nichts mehr mit notwendigen Kontrollen zu tun haben, sondern lediglich willkürliche Erweiterungen nach dem Geschmack des Gutachters darstellen.

Fragen, die viele zwar schon lange kennen — die deswegen aber nicht aufhören zu schmerzen. Antworten und Meinungen dazu, wie immer, direkt unten als Kommentar zu diesem Blog-Beitrag, oder auch per E-Mail an redaktion@laborjournal.de.

(Foto: Fotolia/erkamit)

x

Kastrierte Methoden

14. Januar 2016 von Laborjournal

In unserer aktuellen Printausgabe schrieben wir unter „Inkubiert“, welch ärgerlich geringschätzige Politik manche Journals hinsichtlich der Referenzen betreiben. Daneben gibt es aber noch eine — vielleicht sogar noch wichtigere — Rubrik, bei der viele Journals den Anschein erwecken, als würden sie diese am liebsten gar nicht drucken: Material und Methoden.

Sehr schön illustriert diesen Eindruck die folgende Twitter-Diskussion aus dem Jahr 2014:
 


 
Die Symptome dieser Geringschätzung des „Material und Methoden“-Teils sind folglich,

  • ihn auf ein völlig unverständliches Maß zusammenzukürzen;
  • ihn ganz ans Ende des Artikel zu hängen;
  • dazu noch die Schrift auf eine schwer zu lesende Größe zu verkleinern;
  • oder ihn gar nicht zu drucken, sondern nur noch als Online-Supplement anzubieten.

 
Wie „Neuroskeptic“ schreibt: All dies sendet ein fatales Signal — nämlich, dass „Material und Methoden“ ein zu vernachlässigendes Anhängsel eines Forschungsartikels seien. Und dass das „Interessante“ — Entdeckungen und Erkenntnisse — ja sowieso woanders stehe.

Dabei wird doch (hoffentlich) jedem Jungforscher eingetrichtert, dass Forschungsergebnisse erst zählen, wenn sie jederzeit und überall unabhängig reproduziert werden können. Was natürlich nur geht, wenn man die beschriebenen Experimente absolut exakt „nachkochen“ kann. Und was braucht man dazu? Eben — eine bis ins letzte Detail exakte Beschreibung der verwendeten Materialien und eingesetzten Methoden.

Was machen daher also die Journals, wenn sie den vermeintlich ach so langweiligen „Material und Methoden“-Teil der Forschungsartikel immer mehr verstecken und kastrieren? Genau — sie sorgen zunehmend dafür, dass Forschungsergebnisse nicht mehr unabhängig verifiziert werden können.

Und war da nicht gerade was von wegen Reproduzierbarkeitskrise in der Forschung?…
 
 

Forschung steht auf einer Säule, nicht auf vier

3. September 2015 von Laborjournal

Die Institutionen sollen ihren Teil zu Reproduzierbarkeit und zuverlässige Forschung beitragen — das fordern Ulrich Dirnagl, Leiter des Schlaganfallcentrums an der Charité Berlin, sowie Glenn Begley, leitender Wissenschaftler bei der US-Firma TetraLogic Pharmaceuticals, und Alastair Buchan, Medizindekan an der Universität Oxford ganz frisch in Nature (Vol. 525: 25–27).

In ihrem Meinungsartikel identifizieren die drei Autoren die Universitäten und andere akademische Forschungseinrichtungen als mitverantwortlich für die mangelnde Reproduzierbarkeit publizierter Ergebnisse und werfen ihnen gar einen laxen Umgang mit wissenschaftlichem Fehlverhalten ihrer Forscher vor. Statt die Akademiker zu immer mehr und immer bombastischeren Publikationen zu anzutreiben, sollten die Institutionen lieber Sorgfältigkeit, Selbstkritik, gute Mitarbeiterschulung und zuverlässige Versuchsaufzeichnungen fördern — so die Autoren weiter. Konkret sollten sie dazu interne Regeln für die sogenannte Good Institutional Practice einführen. Wissenschaftler, die diese vorbildlich umsetzen, sollten mit Beförderungen belohnt werden, deren nachlässigere Kollegen hingegen Personal- und Fördermittelkürzung befürchten müssen.

Allesamt gute und sehr sinnvolle Vorschläge, ohne Frage. Nur wirken sie ein wenig wie das Weiterreichen von Verantwortung. Diesen Beitrag weiterlesen »

Ist doch egal, wer — die Sache zählt!

20. Februar 2015 von Laborjournal

(In dieser Antwort auf den Beitrag „Leidige Praxisprobleme“ vom 13. Februar verteidigt unser Autor Leonid Schneider das Prinzip der anonymen Kommentare auf der Post-Publikation-Review-Plattform PubPeer.)

————-

Früher hieß es: Es ist publiziert, also stimmt es! Oft beendete man noch jegliche kritische Diskussion mit den Argumenten des Peer-Review und des Journal-Impaktfaktors. Den Grund dafür, dass publizierte Versuchsergebnisse im eigenen Labor nicht zu reproduzieren waren, suchte man dann ausschließlich bei sich selbst.

Nun kann sich jeder Jungwissenschaftler sofort über die Webseite PubPeer eine darüber hinausgehende Meinung bilden. Denn auch was in Nature, Cell und Science steht, muss man nicht unbedingt treudoof glauben. Unbeantwortete, aber plausible öffentliche Anschuldigungen der Daten-Unzulänglichkeit in einem Paper können schon an dessen Glaubwürdigkeit und Verlässlichkeit rütteln. Endlich geht es dann um Evidenz statt Eminenz — und das ist auch gut so.

Trotz diverser Kinderkrankheiten hat das junge Internetportal PubPeer bereits jetzt einen enormen Beitrag zur Richtigstellung der wissenschaftlichen Literatur geleistet. Sie beherbergt inzwischen doch einige Beispiele, wo Fehler oder auch potenzielle Manipulationen in der Fachliteratur öffentlich und mit Bildbelegen aufgedeckt wurden. Ständig kommen neue dazu. Die Bild-Duplikationen in Shoukhrat Mitalipovs Cell-Paper (Vol. 153(6): 1228-38), das übrigens ohne Peer-Review erschien, wurden in PubPeer erstmals angeprangert — was später zu einer umfassenden und peinlichen Korrektur führte. Die Manipulationen in einem der größten Forschungsskandale der letzten Zeit um die sogenannten STAP-Stammzellen wurden vor allem durch PubPeer bekannt.

Die Bedeutung von PubPeer wird daher immer mehr Wissenschaftlern bewusst. Immer mehr nehmen sie zu den sie selbst betreffenden Kommentaren und Vorwürfen Stellung — dies im Übrigen mal mehr, mal weniger überzeugend. Diesen Beitrag weiterlesen »

Gerade genug ist nicht genug

18. September 2013 von Laborjournal

Wissenschaftliche Studien müssen so verfasst sein, dass sie problemlos und allumfassend reproduziert werden können — seit jeher eines der obersten Gesetze wissenschaftlichen Publizierens.

Ernüchternd daher, was eine Gruppe von Forschern um Erstautor Nicole Vasilevsky von der Oregon Health & Science University feststellen musste. Nachdem sie knapp 240 Artikel aus 80 biowissenschaftlichen und multidisziplinären Journals begutachtet hatten, bilanzierten sie, dass in über der Hälfte der Fälle Reagenzien, Konstrukte, Zelllinien oder Modellorganismen derart ungenügend im jeweiligen Methodenteil beschrieben waren, dass eine Reproduktion der beschriebenen Ergebnisse schon allein dadurch unmöglich sein musste (PeerJ 1:e148 http://dx.doi.org/10.7717/peerj.148). Diesen Beitrag weiterlesen »