Soll Peer Review Fälschung aufdecken? – 2.0

22. November 2023 von Laborjournal

Im Wall Street Journal erschien unlängst ein Artikel mit dem Titel „What’s Wrong With Peer Review?“ Darin stellt die Autorin die Frage, ob angesichts vieler aufsehenerregender Retractions in der jüngsten Vergangenheit der Peer-Review-Prozess seine Funktion überhaupt noch erfüllt – nämlich zu entscheiden, welche Studien tatsächlich zur Veröffentlichung taugen.

In dem Artikel erregte ein Zitat der Chief-Editorin von Nature, Magdalena Skipper, besondere Aufmerksamkeit. Hinsichtlich des Aufdeckens gezielter Fälschungen in Forschungsartikeln hält sie fest, dass dies keineswegs Job der Reviewer ist – und fügt hinzu:

Ich möchte meine Peer-Reviewer eigentlich nicht als eine Art Polizeikommando ansehen, das solches Fehlverhalten aufspürt.

Schon im Artikel werden Editoren-Kollegen mit anderer Meinung zitiert. Für noch mehr Diskussionen sorgte Skippers Aussage indes in den Sozialen Medien. So wunderte sich etwa die australische Psychologie-Professorin Simine Vazire auf X (ehemals Twitter):

Die Zitate der Nature-Chief-Editorin Magdalena Skipper zur Frage, ob Zeitschriften im Rahmen des Peer-Review auch auf Fehler und Datenqualität prüfen sollten, überraschen mich doch sehr.

Und mit dieser Überraschung war sie bei weitem nicht allein. Diesen Beitrag weiterlesen »

Schlagworte: , , , , ,
Veröffentlicht in Allgemeines, Publikationswesen, Wissenschaftliches Fehlverhalten | Keine Kommentare »

Besorgniserregende Stichproben

20. September 2023 von Laborjournal

„Wissenschaftsbetrug ist selten. Stimmt das eigentlich?“ Diese Frage stellte unser „Wissenschaftsnarr“ Anfang des Jahres in seiner Laborjournal-Kolumne (LJ 1-2/2023: 22-24). Und fasste ein Ergebnis seiner Recherche folgendermaßen zusammen:

Beispielsweise können mittlerweile wissenschaftliche Abbildungen automatisiert auf Manipulationen untersucht werden. Und tatsächlich zeigt die Anwendung dieser Techniken, dass mehr als vier Prozent aller biomedizinischen Publikationen Graphen und Abbildungen enthalten, die hochgradig verdächtig auf maligne Manipulationen sind – etwa die Verschiebung von Banden, Duplikationen, nicht plausible Fehlerbalken und so weiter. Diese Zahlen werden auch durch Arbeiten bestätigt, in denen Menschen die Abbildungen untersuchten.

Vier Prozent ist nicht selten. Noch schlimmer aber ist, dass in der Zwischenzeit weitere „Stichproben“ auf höhere Quoten kommen. So untersuchte beispielsweise ein fünfköpfiges Team der Universität Birmingham in Alabama, USA, insgesamt 67 Publikationen aus der rhinologischen Forschung mit dem KI-basierten Software-Tool Imagetwin auf potenziell unlauter duplizierte Immunofluoreszenz-Abbildungen (Int. Forum Allergy Rhinol., doi.org/ks6m). Bei 18 Artikeln schlug Image­twin Alarm. In neun davon charakterisierten die Autoren die Duplikationen daraufhin als „definitiv“, hinsichtlich der übrigen neun blieben sie bei „möglich, aber nicht vollends bestätigt“. Nimmt man nur erstere, bleibt folglich eine Manipulations-Quote von 12 Prozent.  Diesen Beitrag weiterlesen »

Schlagworte: , , , , , ,
Veröffentlicht in Publikationswesen, Wissenschaftliches Fehlverhalten | Keine Kommentare »

Hilft Training gegen unethische Forschungspraxis?

16. März 2022 von Laborjournal

Letzte Woche ist unser neues Heft 3/2022 erschienen – und darin ab Seite 21 der Artikel „Gute wissenschaftliche Praxis – ein alter Hut, oder!?“ von Henrik Müller.

Im Vorspann des Artikels heißt es:

Wissenschaftsskandale entstammen häufig den Lebenswissenschaften. Mangelt es Biologen und Medizinern an Integrität? Oder existieren einfach nur keine guten wissenschaftsethischen Fortbildungsver­an­stal­tun­gen?

Es geht also um folgendes:

Nachdem inzwischen schon lange Richtlinien, Regeln und Verhaltenskodizes für Integrität in der Forschung formuliert und ausgegeben sind, könnte man doch meinen, dass man der Forscherzunft die entsprechenden Inhalte nur eindringlich beibringen müsste – und schon wären Forschungsfälschung und Reproduzierbarkeitskrise samt zugehörigem Vertrauensverlust weitgehend Geschichte. Und so wurden für den wissenschaftlichen Nachwuchs an vielen Orten verpflichtende Lehrveranstaltungen über Integrität in der Forschung aus dem Boden gestampft.

Soweit also die Theorie! Aber wie sieht die Praxis aus? Wie kann wissenschaftliche Integrität erfolgreich gelehrt werden? Genau das hat sich unser Autor Henrik Müller für seinen Artikel anhand konkreter Beispiele einmal genauer angeschaut …

Doch kaum war das Heft mit dem Artikel in der Druckerei, stieß unser Chefredakteur in Times Higher Education auf einen Artikel mit dem Titel „Around one in 12 postgraduate researchers would publish fraudulent results if it helped them get ahead, says study“. Darin wurde eine internationale Studie zusammengefasst, die gerade in Frontiers of Psychology (doi: 10.3389/fpsyg.2021.621547) erschienen war – und in deren Abstract die Autoren sinngemäß schreiben:

Betrügerische oder unethische Forschungspraktiken haben über die wissenschaftliche Welt hinaus für viel Aufsehen gesorgt. Will man die Wissenschaft indes verbessern, muss man in der Ausbildung von der Doktoranden damit beginnen. Schließlich sind sie die Wissenschaftler von morgen.

In vier Studien mit 765 Doktoranden untersuchten wir daher, ob Doktoranden zwischen ethischen und unethischen oder sogar betrügerischen Forschungspraktiken unterscheiden können. Überdies prüften wir die Bereitschaft der Doktoranden, Forschungsergebnisse aus zweifelhaften Praktiken zu veröffentlichen – und testeten, ob die Entscheidung durch Druck von Vorgesetzten oder Kollegen beeinflusst wird. Parallel befragten wir 36 akademische Führungskräfte (Dekane, Prodekane und AG-Leiter) und baten sie vorherzusagen, wie sich die Doktoranden in den hypothetischen Szenarien verhalten würden.

Unsere Ergebnisse zeigen, dass einige Doktoranden relativ schnell bereit sind, Ergebnisse zu veröffentlichen, die durch offenkundigen Betrug und Datenfälschung zustandekommen. Alarmierend dabei ist, dass einige Hochschullehrer dieses Verhalten unterschätzen. Offenbar müssen diese stärker im Blick haben, dass Doktoranden unter größerem Druck stehen können, als ihnen bewusst ist – und dass sie daher besonders anfällig für die Anwendung von fragwürdigen Forschungspraktiken sein können.

In konkreten Zahlen kam bei der Umfrage heraus, dass etwa jede zwölfte Doktorandin oder Doktorand bereit wären, unsaubere Daten zu veröffentlichen, wenn dies für die weitere akademische Karriere von Nutzen wäre.

Die Frage ist nun, ob man diesen Anteil durch besseres Research Integrity Training noch weiter nach unten drücken könnte? Dazu bemerkte der belgische Erstautor Rens van de Schoot in dem Times-Higher-Education-Artikel mit Blick auf die eigenen Umfrageergebnisse ziemlich ernüchternd:

Sicher, man hätte erwarten können, dass eine Schulung oder Fortbildung in Forschungsethik einen Unterschied macht – aber das war nicht der Fall.

Auch in unserem Artikel berichtete ein Veranstalter von Research-Integrity-Kursen, dass die Teilnehmerinnen und Teilnehmer hinterher zwar besser über gute und schlechte Forschungspraxis bescheid wüssten. Ob damit auch deren eigene moralische Urteilskraft gereift sei, wagte er allerdings nicht zu beurteilen. Um dies zu ermöglichen, wäre es vor allem wünschenswert, wenn die Dozenten solcher Kurse sich öfter als bisher die Mühe machen würden, den Lehrerfolg ihrer Veranstaltungen zu evaluieren.

Ralf Neumann

 

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines, LJ intern, Promovieren, Wissenschaftliches Fehlverhalten | 1 Kommentar »

„Fälschungen sind immer schlimm, aber seinen Daten haben wir schon länger nicht getraut“

20. März 2019 von Laborjournal

Auch in der Wissenschaft gibt es den sogenannten „Flurfunk“ — und das ist auch gut so! Wie gut, davon bekamen wir eine Ahnung in einem Gespräch, das wir vor einiger Zeit im Rahmen einer Recherche führten — und das ging etwa so:

x

LJ: „Herr Professor X, wie sehr schaden die jüngst aufgeflogenen Datenfälschungen des Kollegen Y Ihrem Feld?“

Prof. X: „Gar nicht. Wir haben schon lange bewusst vermieden, auf Ys Daten aufzubauen.“

„Das klingt, als hätten Sie seinen Daten schon vorher nicht getraut.“

Prof. X: „Exakt.“

„Aber der Aufschrei war doch riesig, als die Fälschungen bekannt wurden.“

Prof. X: „Sicher. Geschrien haben allerdings nur die Anderen. Uns ‚Insider‘ hat das überhaupt nicht überrascht. Wir wissen eben viel mehr, als in den Journalen steht. Wie woanders auch, haben wir ein gut funktionierendes Untergrund-Netzwerk. Und da wird früh Alarm geschlagen.“

„Wie muss man sich das vorstellen?“

Prof. X: „Nun ja, wenn jemand die Daten eines Kollegen nicht reproduzieren kann, dann weiß das ziemlich schnell jeder im Feld. Was meinen Sie denn, welches das ‚Flurthema‘ schlechthin auf jeder Konferenz ist? Ich sage es Ihnen: Welche Daten sind robust, und welche sind es nicht; und welcher Forscher macht solides Zeug, und wer nicht.“

„Und bei Y war die Sache schon lange klar?“

Prof. X: „Genau. Wir hatten ihn bereits unter Verdacht, als er die ersten ‚spektakulären‘ Resultate anbrachte. Der eine konnte dies nicht reproduzieren, der andere hatte jenes schon lange vorher vergeblich versucht, ein Dritter hatte ‚etwas mitbekommen‘,… und so weiter. Glauben Sie mir: Wenn sich Leute schon richtig lange mit bestimmten Dingen beschäftigt haben, erkennen sie solche ‚Probleme‘ ziemlich schnell.“

„Also viel Rauch um Nichts?“

Prof. X: „Forschungsfälschung ist immer schlimm, keine Frage. Doch meist richtet sie nicht den Schaden an, den viele befürchten, da die unmittelbar Betroffenen aufgrund der geschilderten Mechanismen sowieso schon lange vorsichtig waren. Laut schreien tun nur andere — vor allem diejenigen, die immer gleich den ganzen Wissenschaftsbetrieb in Gefahr sehen.“

x

Okay, wahrscheinlich trifft das nicht für jeden Fall von Forschungsfälschung zu. Wir können uns beispielsweise noch gut erinnern, wie die internationale Pflanzenforscher-Gemeinde zuerst ungläubig und dann zunehmend schockiert reagierte, als nach und nach die Mauscheleien in den Publikationen ihres Zürcher Kollegen Olivier Voinnet aufflogen.

Aber dennoch: Wir wünschen weiterhin guten Flurfunk! Sei es auf Konferenzen oder anderswo.

Ralf Neumann

Illustr.: CoolCLIPS

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines, Wissenschaftliches Fehlverhalten | Keine Kommentare »

„Bitte publik machen, aber ohne meinen Namen!“

13. März 2019 von Laborjournal

In schöner Regelmäßigkeit bekommen wir anonyme Zuschriften. Mehr noch aber solche, in denen die Schreiber sich zwar zu erkennen geben, aber darum bitten, unbedingt ihre Anonymität zu wahren, falls wir über das von ihnen angeprangerte Thema berichten würden.

In all diesen Fällen brennt den Schreibern „ihr“ Thema so fürchterlich auf den Nägeln, dass sie der Meinung sind, man müsse die entsprechenden Missstände (oder gar ihre eigenen „schlimmen, aber durchaus typischen“ Fälle) unbedingt in der gesamten Forschungsszene bekannt machen. Klar, deswegen schreiben sie uns ja. Aber ihren Namen — nein, den wollen sie dann um Himmels willen nicht in dem Artikel stehen sehen.

Beispielsweise kam vor einiger Zeit im DIN A4-Kouvert ein ganzer Packen vermeintliches „Beweismaterial“, mit dem der anonyme Absender Datenmanipulationen in gleich mehreren Veröffentlichungen als klar belegt ansah. Im Begleitbrief drängte der „Whistleblower“ geradezu, dass wir „diese wichtige Sache“ unbedingt verfolgen und öffentlich machen sollten. Und am Schluss dann der typische Absatz:

Wie Sie sehen werden, sitzen die betreffenden Kollegen in politisch wichtigen Positionen und sind sehr einflussreich. Ich dagegen bin nur ein unerfahrener Doktorand […] und arbeite selbst noch am Ort des Geschehens. Aus diesem Grund muss ich schlimme Konsequenzen befürchten, wenn ich „den Mund aufmache“ — und möchte deswegen unbedingt anonym bleiben.

Viele werden jetzt sicher zustimmend nicken und denken: „Nur zu verständlich, dass dieser Doktorand unter solchen Umständen unerkannt bleiben möchte.“ Und wir? Wir prüften natürlich das „Beweismaterial“. Diesen Beitrag weiterlesen »

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines, LJ intern | 1 Kommentar »

Soll Peer Review Fälschung aufdecken?

17. Juli 2015 von Laborjournal

Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blogbeitrag zu lesen.

Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte — sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren — weder in der Prä-Publikations- noch in der Post-Publikations-Variante.

Denn was Peer Review leisten soll, ist doch vielmehr folgendes:

  • das Manuskript auf Schlüssigkeit prüfen — vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
  • den tatsächlichen Erkenntniswert einschätzen und einordnen — also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
  • und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen — um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.

Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen — und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich — und wird auf genau diese Weise auch weiterhin gebraucht.

Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:

Peer review, we believe, is good at detecting when scientists draw the wrong conclusions from empirical data as a result of errors in study design or analysis. The peer reviewer begins with the assumption that he’s not being lied to, and his charge is that of referee rather than sleuth. The question ‚Do the data support the conclusions?‘ comes more naturally than ‚Did this guy simply make this up?‘ One’s peers are often quite helpful at identifying flaws in experimental design or data analysis—honest mistakes or oversights on the part of the researcher. Scientific fraud of the sort involving deliberate fabrication of data or selective reporting of data is not as easy for journal editors or peer reviewers to detect.

Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?

Als ich vor nunmehr 18 Jahren den ehemaligen Ulmer Klinikchef Vinzenz Hombach im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur:

Wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will, dann schafft er das. Ohne dass ich die Chance habe, es zu merken.“

Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen folglich andere übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review womöglich gleich mit auskippt.

Foto: fotolia.com / INFINITY

 

Schlagworte: , , ,
Veröffentlicht in Publikationswesen, Wissenschaftliches Fehlverhalten | 1 Kommentar »

Bei Betrugsverdacht: Bunt ist besser!

4. Februar 2014 von Laborjournal

Wir hatten ja bereits hier und hier über die Unsitte der „Flickschuster-Gele“ geschrieben — Gele also, die virtuell aus den Spuren verschiedener Gele zusammengeflickt werden, um auf diese Weise das Ergebnis ein und desselben Experiments vorzutäuschen.

Komplett skrupellose Subjekte nutzen bei solchen Machenschaften die ein oder andere „besonders schöne“ Spur gar mehrfach im gleichen Gel — und verkaufen sie gleichwohl als Laufergebnisse verschiedener Proben. Das ist Fälschung und Betrug, ganz klar. Allerdings ist dieser nicht leicht nachzuweisen, da ähnliche Proben durchaus nahezu identische Banden- und Laufmuster liefern können.

Einen schnellen und einfachen Weg, wie jeder einen entsprechenden Verdacht auf „wundersame Spurenvermehrung“ zumindest vortesten könne, beschrieb kürzlich ein Kommentator in diesem Beitrag auf der Post-Publication-Peer-Review-Plattform PubPeer. Dessen Verdacht erregte folgende Gel-Abbildung:

Der Kommentator, der in dem Beitrag schlicht als „Peer 2“ auftritt, hatte die Abbildung des Gels zuvor in seinen Photoshop geladen — und zunächst einfach mal den Kontrast verstärkt. Die rote Dachzeile nennt das Zwischenergebnis: Die „Spleißnähte“ der zusammengeschusterten Gelspuren treten deutlich hervor.

Aber es geht noch weiter! Anschließend brachte „Peer 2“ Farbe in den Ausschnitt mit den verdächtigen Banden 11-18 — und zwar mit Hilfe eines Photoshop-Tools namens „Gradient Map“. Das Ergebnis sieht so aus:

(Hier klicken für beide Bilder in größerer Auflösung!)

Behauptet noch jemand, dass die Banden 14 & 15 sowie 17 & 18 jeweils nicht zu 100% identisch sind?

Wie gesagt, ein relativ einfacher Test, um den Verdacht einer unzulässigen Gelspur-Duplikation entweder unmittelbar auszuräumen — oder erheblich zu erhärten. Und ganz nebenbei dürfte es damit noch einen Grund weniger geben, warum entsprechende Untersuchungen auf wissenschaftlichen Fehlverdacht bei Journals und Forschungsinstitutionen oft unglaublich schleppend anlaufen — wenn überhaupt.

(Das Gel stammt übrigens aus diesem Paper der Erstautorin Gizem Dönmez. Über weitere Verdachtsmomente für Fehlverhalten in ihren Veröffentlichungen wird unter anderem ausführlich hier, hier, hier hier, und hier berichtet.)

 

Schlagworte: , , , , , ,
Veröffentlicht in Wissenschaftliches Fehlverhalten | Keine Kommentare »

Zitat des Monats (4)

9. August 2011 von Laborjournal

Während des Beitrags Wie die Pharmaindustrie die Forschung kauft im „Deutschlandradio Kultur“ vom 06.07.2011 beklagte der Politikpsychologe Thomas Kliche von der Hochschule Magdeburg-Stendal den „Verlust des inneren Kompass der Wissenschaft“:

Und tatsächlich gibt es konservative Schätzungen, die sagen: Ungefähr ein Viertel aller Veröffentlichungen in wissenschaftlichen Zeitschriften enthält mehr oder weniger fehlerhafte, manipulierte Daten. Selbst wenn wir hochrechnen, haben wir mindestens eine satte Fälschung in jeder Zeitschrift alle fünf Jahre. Also das sind inzwischen Phänomene von einer Größenordnung, die über einzelnes Abschreiben weit hinausgeht. Das Abschreiben selber ist eher ein Indiz für den Verlust des inneren Kompasses der Wissenschaft. Wissenschaft soll ja Wahrheit herstellen, Wahrheit finden, und wenn man die einfach mal ein bisschen klaut, dann ist von der Wahrheit nicht mehr viel übrig, und diese Haltung, die ist bedrückend.

(Grafik: © giz – Fotolia.com)

Schlagworte: , , ,
Veröffentlicht in Gesundheitspolitik, Wissenschaftliches Fehlverhalten | Keine Kommentare »

Resultate gefälscht — sauber zurückgezogen

6. Juli 2011 von Laborjournal

Offenbar können Kommissionen, die den Verdacht auf Forschungsfälschung untersuchen, durchaus schnell sein. Zumindest scheint jetzt ein entsprechendes Gremium an der Universität Marburg deutlich fixer gearbeitet zu haben, als dies in vielen anderen Fällen kritisiert wird.

Dabei geht es um folgenden Fall:

Im Januar 2009 erschien in Genes & Development der Artikel “PRMT1-mediated arginine methylation of PIAS1 regulates STAT1 signaling” (Band 23: 118-32). Erstautorin war Susanne Weber, damals Doktorandin am Institut für Molekularbiologie und Tumorforschung der Universität Marburg, als Seniorautorin zeichnete ihre damalige Chefin Uta-Maria Bauer, dazwischen reihten sich zwei weitere Marburger und zwei Berliner Forscher. Thema des Papers war die vermeintliche Entlarvung der Arginyl-Methyltransferase PRMT1 als negativer Regulator des Interferon-aktivierten STAT1-Signalwegs.

Nach einem Bericht unserer Freunde von Retraction Watch zogen sämtliche Autoren das Paper in der aktuellen Ausgabe von Genes & Development zurück. Diesen Beitrag weiterlesen »

Schlagworte: , , , , ,
Veröffentlicht in Wissenschaftliches Fehlverhalten | 6 Kommentare »

Forschungsethik á la Hollywood?

22. Februar 2011 von Laborjournal

Apropos Forschungsfälschung: Das Office of Research Integrity (ORI), eine Art zentrale Prüfstelle für Fälschungsfälle des US-Departments of Health and Human Services (DHHS), hat zum Thema ein interaktives Video mit dem Titel „The Lab“ produziert. Sinn und Zweck beschreibt das ORI so:

In „The Lab: Avoiding Research Misconduct,“ you become the lead characters in an interactive movie and make decisions about integrity in research that can have long-term consequences. The simulation addresses Responsible Conduct of Research topics such as avoiding research misconduct, mentorship responsibilities, handling of data, responsible authorship, and questionable research practices.

Das Video selbst ist online auf der Website des ORI. Wir haben selbst noch nicht reingeschaut, werden dies aber sicher bald tun. Vielleicht können inzwischen aber auch unsere Leser „The Lab“ hier rezensieren.

Schlagworte: , , ,
Veröffentlicht in Wissenschaftliches Fehlverhalten | 4 Kommentare »

« Ältere Einträge