Da biegt sich der (Fehler-)Balken
Folge 11: Frau Beisiegels Stellungnahme
Am 28.7.09 bat der Laborjournal-Reporter Frau Beisiegel um eine Stellungnahme. Sie erklärte sich sofort dazu bereit und nahm am 9.8.09 Stellung (die folgenden Punkte beziehen sich auf die Punkte in Folge 10):
Zu Punkt 1: Der Doktorandin Sperber sei in der Tat bei der Darstellung des Diagramms ein Fehler unterlaufen. Dieser würde jedoch das Ergebnis nicht vorsätzlich verändern.
Zu Punkt 2: Die angemahnten negativen Werte würden sich methodisch erklären (im Sinne der Ansicht des Laborjournal-Reporters, siehe Folge 10).
Zu den Punkten 3, 4 und 5 lieferte Frau Beisiegel die Originaldaten als Exceldateien bzw. zu Punkt 3 noch das Original der Figur 1 als jpg-Bild.
Zu Punkt 3 merkte sie an, daß die SDs in Figur 1 von J. Biol. Chem. 276, 42333-42338 aus mathematischen Gründen gleich sein müßten. Der Verdacht auf copy & paste sei zwar nachvollziehbar, aber nicht gerechtfertigt, die Verzerrung sei vielmehr auf die Umformatierung in Tiff beim Verlag zurückzuführen. Im Originaldokument sehe man sie nicht.
Kommentar des Laborjournal-Reporters: In der Tat handelt es sich bei Daten von Figur 1 um jeweils vier Wertepaare und die Werte jedes Paares ergeben zusammen 100%. Wenn der eine Wert als Differenz des anderen ermittelt wurde, müssen ihre SDs identisch sein. Das gleiche gilt, wenn der 100%-Wert als Summe der beiden gemessenen Werte bestimmt wurde. Das kann der Leser mit Hilfe eines Statistik Programmes nachrechnen. Letzteres (der 100%-Wert wurde als Summe der beiden gemessenen Werte bestimmt) ist bei Figur 1 des Papers J. Biol. Chem. 276, 42333-42338der Fall. Im Originaldokument ist auch keine Verzerrung der SD-Striche zu sehen.
Frau Beisiegels Erklärung ist also zutreffend.
Zu Punkt 4: Die SDs der Blocks 2 und 4 sind ähnlich, aber nicht identisch (28,0748 gegen 27,8605).
Zu Punkt 5: Bei Figur 2C sind zwei 2 SDs ähnlich aber nicht identisch, das gleiche gilt für Figur 2D, bei Figur 2E gibt es drei ähnliche aber nicht identische SD Paare und bei Figur 7c schließlich gibt es auch ein ähnliches SD-Paar, dessen Verschiedenheit mit Kühbachers bzw. der Meßmethode des Laborjournal-Reporters nicht auszumachen war.
Auffälligkeiten in Publikationen von Robert Nitsch und Oliver Ullrich
Während also die Auffälligkeiten in den bisher vom Laborjournal-Reporter überprüften Publikationen von Frau Beisiegel sich problemlos erklären lassen, gilt dies nicht für die Publikationen von Robert Nitsch. Zu Robert Nitsch legte Kühbacher die Publikation Diestel et al. J. Exp. Med. 198, 1729-1740 (2003) vor PDF
. Titel: Activation of Microglial Poly(ADP-Ribose)-Polymerase-1 by Cholesterol Breakdown Products during Neuroinflammation: a Link between Demyelination and Neuronal Damage. Die Autoren sind Antje Diestel, Orhan Aktas, Dagmar Hackel, Ines Häke, Susanne Meier, Cedric S. Raine, Robert Nitsch, Frauke Zipp und Oliver Ullrich. Die Seniorautoren Nitsch, Zipp, und Ullrich trugen zu gleichen Teilen zu der Arbeit bei, korrespondierender Autor ist Oliver Ullrich.
Die Figur 1 dieser Publikation ist fehlerhaft. Zu diesem Schluß kam nicht nur Kühbacher, auch der vom Laborjournal-Reporter befragte Gutachter, Mitherausgeber einer Zeitschrift für Statistik, fand Fehler:
„In der genannten Arbeit Diestel et al., J. Exp. Med. 198 : 1729-1740 (2003) komme ich zu folgenden Beobachtungen bzw. Schlussfolgerungen:
In Abb. 1a habe ich die Daten für die Gruppe MS mit einem Lineal nachgemessen und umgerechnet. Genauigkeit 0,5 mm. Von den 11 Daten (wie in der Legende angegeben) konnte ich 10 eindeutig zuordnen. Nach statistischer Berechnung ergaben sich folgende Werte: Mittelwert 7,61, Standardabweichung (SD) 3,65, Standardfehler (SEM) 1,16. Nach diesen Daten sind die Angaben in der Legende (7,37 ± 0,32 SEM) und in der Abbildung (nachgemessener Mittelwert 7,4, nachgemessener SEM: 0,70) sicherlich falsch. Da einer der 11 Datenpunkte nicht in der Abbildung gefunden wurde und vermutlich hinter einem weiteren Datenpunkt liegt (sehr wahrscheinlich 5,17), ergibt sich ein nur unwesentlich anderer Befund: Mittelwert 7,39, SD 3,54, SEM 1,12. Die im Text angegeben Daten (7,37 ± 0,32 SEM) stimmen in jedem Fall nicht mit der Analyse der Originaldaten in Abb. 1a überein. Die Analyse der Einzelwerte (Punkte) aus Abb. 1a (MS) ergibt einen Variationskoeffizienten (SD /Mittelwert) von ca. 48%.
Aus Abb. 1b kann ich nur grob abschätzen (wegen der gebrochenen Skala), dass die Werte der Standardabweichung viel zu niedrig (in der Legende und in der Abbildung) angegeben wurden. Ich komme bei derartiger Streuung der Daten nie auf einen so geringen Wert für die Standardabweichung.
In Abb. 1c werden die Daten nach HPLC-Analyse angegeben. Unter der Annahme, dass die Daten der MS-Gruppe den gleichen Serum-Proben entstammen wie für Abb. 1a, finden sich folgende Beobachtungen: Im Text wird als Abweichung SEM angegeben (S. 1732, Zeile 4), in der Legende hingegen SD (!). Der Mittelwert (8.50) stimmt in etwa grob mit den durch Massenspektrometrie gewonnenen Daten in Abb. 1a (7.37) überein. Die Abweichungen sind aber viel geringer. Wenn man als Streuung SD zugrunde legt, ist der Variationskoeffizient 3,4%, wenn man den Standardfehler zugrunde legt, ist er etwa 11 %, also in jedem Fall um mindestens den Faktor 4 geringer als in Abb. 1a. Hier kann etwas nicht stimmen.
Ein weiteres Indiz für „Seltsamkeiten“ ergibt sich, wenn man an das Ende der Legende von Abb. 1 geht. Dort sind die Mittelwerte und Abweichungen der beiden Gruppen Con und Deg angegeben: 0,47 ± 0,47 und 0,47 ± 0,47. Komisch. Das kann man übrigens nicht mit der unteren Grenze der Empfindlichkeit erklären (z.B.: 0,47), da dann die Abweichung 0 wäre.“
Dem Laborjournal-Reporter fiel zudem auf, daß in Figur 1a für die CSF 7-ketocholesterol Werte von OND Patienten der Wert 0,53±0,08 gegeben wird und genau der gleiche Wert in Figur 1b für das CSF/Serum Verhältnis von 7-ketocholesterol in OND Patienten.
Der Laborjournal-Reporter fragte am 21.9.09, 13.02 Uhr per Email bei Oliver Ullrich an, wie er diese Unstimmigkeiten erkläre und hing das anonymisierte Gutachten an. Ullrich, der inzwischen am Biochemischen Institut in Zürich arbeitet, lieferte schon eine Stunde später den ersten Satz Originaldaten zu Figur 1a und am nächsten Tag den Rest der Daten von Figur 1a und die Originaldaten zu den Figuren 1b. Die Originaldaten zu Figur 1c habe er nicht vorliegen und müsse diese erst suchen.
Um den Leser nicht zu langweilen geht der Laborjournal-Reporter nicht im Detail auf die Fehler ein. Nur soviel: Es stellte sich heraus, daß in Figur 1a die SEMs fälschlicherweise aus den SDs durch Division von n berechnet wurden (richtig ist: Division durch Wurzel n). Des weiteren stimmen die Mittelwerte in Figur 1b nicht mit den in der Legende angegebenen überein, sondern liegen niedriger. Auch wurden SEM mit SD verwechselt.
Ullrich dazu: „Wie Sie sehen, ist es eindeutig, dass sich bei der Berechnung des mean und des SEM tatsächlich Fehler eingeschlichen haben, die teilweise bereits bei der ersten Posterpräsentation [Neuroscienece meeting in New Orleans im Jahre 2000] der Daten da waren und dann mitgeschleppt wurden, ohne das es jemand aufgefallen ist. Die gezeigten Messwerte aber sind alle korrekt. Sehr wohl müssen die Fehler beim mean und SEM zweifelsohne korrigiert werden. Ich bedaure sehr, dass dieses bisher keinem der Beteiligten und auch nicht den verschiedensten Gutachtern aufgefallen ist. Immerhin haben das Manuskript vor den Gutachtern bei J.Exp.Med. auch schon die Gutachter von Nature Neuroscience und Nature Medicine gesehen. Diese hatten zwar viel auszusetzen, aber an diesen means und SEM eben leider nichts. Hier wäre noch genug Möglichkeit gewesen, die Daten noch mal zu schauen und vor Publikation neu zu berechnen und sich diese Peinlichkeit zu ersparen.“
Der Eindruck des Laborjournal-Reporters: Es wurde schlampig gearbeitet, auch scheinen bei der Erstellung des Manuskriptes Personen am Werke gewesen zu sein, denen Statistik ein Buch mit sieben Siegeln ist. Betrug jedoch liegt nicht vor. Dazu fehlen sowohl Motiv als auch Zusammenhang. Warum sollte einer die Datenpunkte richtig angeben aber den Mittelwert fälschen und noch dazu so, daß sich am Ergebnis nichts ändert? Interessant ist aber, daß keinem der wohl mindestens sechs Zeitschriftenreferees die Fehler aufgefallen sind, obwohl schon ein Blick in die Legende von Figur 1 stutzig machen müßte.
von Hubert Rehm
Als PDFs zum Download:
Dalla Pu
Folge 4: Savaskan weist die Vorwürfe zurück Folge 5: Nachforschungen des LJ-Reporters Folge 7: Der DFG-Ombudsman wird angerufen Folge 8: Der Ombudsman fordert Unterlagen an Folge 9: Der DFG-Ombudsman gibt an den DFG Ausschuß für Fehlverhalten ab Folge 10: Kühbachers Generaluntersuchung Folge 11: Frau Beisiegels Stellungnahme Folge 12: Noch ein fehlerhaftes Paper: Das Nogo Paper Folge 13: Juristische Nullnummer Folge 14: Ein neuer Ermittler schaltet sich ein Folge 15: Hugo Habicht widerspricht Adebar Storch! Folge 17: Zusammenfassung und Kommentar Folge 18: Ergänzungen und Bemerkungen
Was bisher geschah:
Folge 1: Die Kontrahenten
Letzte Änderungen: 09.08.2010