Esoterische Wundermittel sind ein Dauerthema, ebenso der sogenannte Publikationsbias (kurz: die Verfälschung der Datenlage durch selektive Veröffentlichung von Publikationen).
In dieser Geschichte hier geht’s sogar um beides, um Wundermittel wie um mutwillige Verzerrung wissenschaftlicher Ergebnisse: Darum, wie ein österreichisches „Wasserbelebungsunternehmen” namens Grander im Jahre 2004 eine Studentin der TU Graz (Inst. f. Anorgan. Chemie) beauftragte, die Wirkung dieses „Heil”wassers in einer Diplomarbeit zu überprüfen.
Und wie diese Studentin (die mittlerweile Diplom-Ingenieurin sowie Qualitätsmanagerin bei einem internationalen Konzern ist) damals tatsächlich ein eindeutiges Ergebnis erhielt.
Und wie die Firma Grander dann mit dem Ergebnis umging.
Alles weitere dazu hat Ulrich Berger (der im Mai 2010 auch schon mal für Laborjournal über ähnlich Wundersames berichtet hat) hier wunderbar aufgeschrieben. Zum Totlachen (oder zum Krankärgern, je nach aktuellem Gemütszustand des Lesers). Viel Spaß!
Einen aufschlussreichen Kommentar zum Dauerreizthema „Studien” hat der mir nicht näher bekannte Blogger und Wirtschaftskommunikator Martin Weigert unter dem obigen Titel verfasst.
Da schau her! Beruhigend zu erfahren, dass nicht nur in Bioforschung und Medizin miese/mangelhaft konzipierte/überflüssige/statistisch unsinnige Studien an der Tagesordnung sind, sondern auch zum Beispiel in der IT-Technologie und der Internet-Szene.
Und dass diese Studien auch weit, weit abseits der boulevardesken Medizinberichterstattung („Schokolade steigert den IQ”; „Händies schützen gegen AIDS”; „Nasenbohren macht impotent”) zu Scheinsensationen aufgeblasen werden.
In der medialen Berichterstattung seien derartige (O-Ton Weigert) „Luftnummern” willkommene Sommerloch-Füller. Dass „die Berichterstattung rund um Web- und Tech-Themen derzeit mit so genannten Studien überschwemmt” werde, wie Weigert mutmaßt, glaube ich allerdings nicht.
Ich bin der Meinung, das ist schon immer so. Nichts lässt sich bequemer zu einer Tüte heißer Luft aufblasen als das „sensationelle” Ergebnis einer blödsinnigen Studie.
PubMed listet inzwischen beispielsweise 19 Millionen Artikel. Allein in 2009 kamen 679,858 Artikel hinzu — was im Schnitt 1,29 Paper pro Minute machte.
Am Ende teilt Hall das Ergebnis eines kürzlich erschienenen Artikels in Learned Publishing, in dem Autor Arif E. Jinha aus Ottawa auf die Summe von 50 Millionen Artikel seit Gründung der Philosophical Transactions of the Royal Society im Jahr 1665 kommt (Artikel im Volltext vom Autor).
Und dann kommen Hall samt Kommentatoren mit ein paar Vergleichen. 50 Millionen Paper sind:
ein Paper pro Basenpaar auf dem Y-Chromosom;
ein Paper pro Jahr, seitdem die sogenannten modernen Säugetiere auf Erden wandeln;
ein Paper pro Twitter-Tweet an einem Durchnitts-Tag im Jahr 2010;
ein Paper pro zehn Facebook-User.
Ehrlich gesagt, sind es damit eigentlich die Twitter- und Facebook-Zahlen, die mehr verblüffen.
… — die Luft wird dünner. 83 Scientific Publishers, darunter solche „Giganten“ wie Elsevier und Springer, haben sich für die Datenbank CrossCheck eingeschrieben, die es ihnen erlaubt mit einer Software namens iThenticate eingereichte Manuskripte auf Plagiarismus zu durchleuchten.
Doch ist es weniger die Software, die das Ganze zu einem machtvollen Instrument machen könnte, sondern vielmehr die schiere Größe der Datenbank. Denn hier ist ziemlich Unerwartetes geschehen: Alle 83 Verleger mussten zustimmen ihre eigenen Manuskript-Datenbanken mit CrossCheck zu teilen – und sie taten es. Auf diese Weise ist CrossCheck inzwischen auf 25,5 Millionen Volltext-Artikel aus nahezu 50.000 Zeitschriften und Büchern angeschwollen, mit denen die Verlage nun „verdächtige“ Manuskripte relativ bequem abgleichen können.
Und „verdächtige“ Manuskripte scheint es genug zu geben. Testläufe verschiedener Journals brachten einen Anteil von 6 bis 23 % „Verdächtigen“ unter allen eingereichten Manuskripten. Diesen Beitrag weiterlesen »
Ich mag Forscher-Biographien. Immer interessant, welche Persönlichkeiten mit welchen Prinzipien oder ‘Philosophien’ hinter mehr oder weniger erfolgreichen Forscher-Karrieren stecken.
So ‘stolperte’ ich auch kürzlich in einen Essay über Enid MacRobbie. 1991 hatte ich während eines Meetings selbst das Vergnügen eine kleine Weile mit der kantigen >1,80m-Dame zu diskutieren. Doch stopp, Sie kennen Enid MacRobbie nicht? Okay, dann sind Sie sicherlich kein Pflanzenforscher. Lange Jahre leitete sie bis zu ihrer Emeritierung 1999 das Department of Plant Sciences an der University of Cambridge und gilt nicht erst seitdem als Pionierin des pflanzlichen Ionentransports und der damit verbundenen physiologischen Prozesse, wie etwa die Regulation der Spaltöffnungen.
Aber es sind nicht ihre Forschungsleistungen, die mich bei der Lektüre besonders aufmerken ließen. (Der Essay ist übrigens einer von 15 in der Serie “Woman Pioneers in Plant Biology” auf den Seiten der American Society of Plant Biologists). Besonders angetan war ich vor allem von folgendem Absatz:
An unusual feature of Enid’s approach is that she has actively encouraged the majority of the people who have worked with her to publish papers without her name on them. Thus only about 25% of the papers published by her colleagues during their time in her lab have included her as a co-author. Diesen Beitrag weiterlesen »
Ist es reine Eitelkeit, wenn ein Forscher öfter als andere nachschaut, wie oft seine Arbeiten zitiert werden? Oder gibt es dafür ganz simple und naheliegende Gründe — wie etwa, dass Forscher X bald ‘Zählbares’ für seine nächste Bewerbung braucht?
Wie auch immer, die US-Bloggerin hinter dem Pseudonym FemaleScienceProfessor bat ihre Kolleginnen und Kollegen in einer Umfrage anzugeben wie oft sie ihre eigenen Zitationsdaten prüfen — völlig unabhängig davon, welche Bedeutung man ihnen beimisst.
Hier das vorläufige Ergebnis:
How often do you check your citation statistics?
Selection
Votes
As often as possible
7%
44
Quite regularly, but not obsessively
16%
103
Every once in a while, when I think of it
40%
253
Maybe once a year, if that
23%
147
Never
14%
88
635 votes total
Jetzt wäre doch mal interessant, ob das Ergebnis unter Deutschlands Forschern tendenziell anders ausfallen würde. Kommentare bitte unten!
(Kürzlich erhielten wir unten folgende Mail, deren Inhalt wir hiermit zur Diskussion stellen:)
Liebe Laborjournal-Redaktion,
[...] die kritischen Anmerkungen zu angeblich bahnbrechenden Forschungsergebnissen und deren hanebüchener Entstehung erfeuen uns immer wieder. Danke dafür!
In diesem Kontext ist mir neulich folgende Veröffentlichung in die Hände gefallen: Lee, J-L., E. L. Levin: A comparative study of the ability of EMA and PMA to distinguish viable from heat killed mixed bacterial flora from fish fillets (J of Microbiological Methods 76 (2009) 93-96). Sicherlich läßt sich darüber streiten, ob ich für derartige Versuche gleich mit Mischkulturen arbeiten sollte. Man könnte auch verschiedener Meinung sein darüber, ob ich zur Untersuchung der Wirkung einer Substanz auf lebende und tote Keime nicht NUR lebende oder NUR tote Keime einsetzen sollte (in der Veröffentlichung wurden gleich Mixturen lebender und toter untersucht).
Was aber in meinen Augen GAR NICHT GEHT, liest sich auf Seite 94 so, ich zitiere: “Interestingly, we consistently obtained a Ct value from the negative controls where no DNA was added to Rti-PCR reagents (data not shown). The false positive of this Ct value was presumably derived from bacterial contamination of PCR reagents (Greisen et al., 1994, Corless et al., 2000)” Wir finden: nicht INTERESTINGLY, sondern durch einfache Schlamperei zu erklären. Dafür würden wir uns zwei Wochen im Keller schämen, aber VERÖFFENTLICHEN würden wir sowas nicht! Gut allerdings, dass es dafür noch Literaturstellen dazu gibt… Und WAS geben denn eigentlich alle anderen Ergebnisse her, wenn die Kontrollen nicht das halten, was ihr Name verspricht??
Kollege Rehm bat mich gerade, auch hier im Blog auf Alexander Lerchls Fortsetzungs-Reportage „Komische Kometen“ auf Laborjournal online hinzuweisen. Hier ist Hubert Rehms aktuelle Zusammenfassung:
Alexander Lerchl hat in seine zehnteiligen Folge „Komische Kometen“ die Hintergründe der Wiener Handy-Studien dargestellt. Er hat zudem die (Nicht-) Reaktionen der Verlage und Zeitschriften beschrieben und die zweifelhaften Reaktionen der Institution Universität. Seine Recherchen, Erlebnisse und Erfahrungen brachten Lerchl zu dem Schluß, daß die „Selbstreinigungskräfte“ der Wissenschaft nicht wirken. Es brauche, so Lerchl in seiner letzten Folge 10, eine Europaweite Agentur nach Vorbild des US-amerikanischen Office of Research Intergrity. Diese Agentur sollte nicht nur eine Beratungs- und Vermittlungseinrichtung sein, sondern auch Aufklärungsarbeit leisten und Weisungsbefugnis haben: gegenüber den wissenschaftlichen Zeitschriften, gegenüber den Universitäten und gegenüber anderen wissenschaftlichen Einrichtungen.
Laborjournal schließt sich Lerchls Appell an und merkt zudem an, daß eine solche Agentur nicht von vielbeschäftigten ehrenamtlichen Lehrstuhlinhabern betrieben werden kann, die für die zu untersuchenden Vorgänge am Feierabend pro Woche ein viertel- oder halbes Stündchen aufwenden können und sich alle drei Monaten einmal auf einer Sitzung mit den Angelegenheiten befassen. Hier müssen Leute ran, denen die Aufklärung eines Falles ein zentrales Anliegen ist, dem sie sich ganztägig widmen. Dann würden sich die Untersuchungen auch nicht mehr über Jahre hinziehen — was für alle Beteiligten unerträglich ist — sondern in ein paar Wochen erledigt sein.
Esoterische Wundermittel sind ein Dauerthema, ebenso der sogenannte Publikationsbias (kurz: die Verfälschung der Datenlage durch selektive Veröffentlichung von Publikationen).
7%
16%
40%
23%
14%
lädt ...