Von Wissenschaft und Pfannen

21. Juli 2016 von Laborjournal

nonstickypanWorin unterscheidet sich die Wissenschaft von Pfannen? Zugegeben, der Kalauer mag an den Haaren herbeigezogen sein — aber sei‘s drum: Pfannen reinigen sich immer besser selbst, in der Wissenschaft dagegen…

Seit Jahrzehnten beschwören Forscher sie fast schon gebetsmühlenartig, die Selbstreinigungskraft der Wissenschaft — vor allem wenn es gilt, die Forschungsfreiheit als ihr höchstes Gut vor ungebetenem Regulierungseifer zu schützen. Schließlich habe man schon lange ein dreifaches Sicherheitsnetz gesponnen, um schlampige, schlechte oder gar unehrenhafte Forschung frühzeitig auszusortieren:

Netz Nummer eins bilden die Gutachter, die entscheiden, welche Forschung überhaupt Geld erhält. Ziemlich grobmaschig, zugegeben — aber allzu tumbes Zeug dürfte trotzdem darin hängenbleiben.

Netz Nummer zwei ist das Peer Review-System der Journale. Fachkundige Kollegen prüfen hierbei vor — und neuerdings auch immer öfter nach — einer Veröffentlichung peinlich genau, ob die im Manuskript beschriebene Forschung überhaupt wissenschaftlichen Standards genügt. So wenigstens das Ideal.

Wer nicht bereits in einem dieser beiden Netze zappelt, der sieht sich bald dem dritten gegenüber: der Replikation der Ergebnisse. Taugen diese was, so säen und ernten Kollegen nachfolgend weitere Resultate auf ihnen. Will auf deren Basis jedoch partout nichts mehr sprießen, so werden sie im Nachgriff oftmals selbst als fauliges Fundament enttarnt. Und stinkt dieses gar zu arg, zieht man die entsprechenden Paper zurück — und entsorgt deren Inhalt damit offiziell aus dem wissenschaftlichen Bewusstsein.

Immer öfter ist solches zuletzt geschehen. Irgendwer entdeckte plötzlich Widersprüche in den publizierten Daten, oder aber nachfolgende wollten einfach nicht dazu passen. Und da man den mitgeteilten Ergebnissen daher nicht mehr trauen konnte, zog man das betreffende Paper zurück.

Na also, funktioniert doch — könnte man meinen. Allerdings sind solche Arbeiten nicht selten bis zu ihrem Rückzug schon viele, viele Male zitiert worden, offenbar ohne dass jemand Verdacht geschöpft hatte. In einem solchen Fall versuchte ein Kollege kürzlich, diese Unstimmigkeit folgendermaßen zu begründen: „Frage und Techniken waren viel zu komplex, als dass bis dahin irgendjemand sonst die Ergebnisse in vollem Umfang hätte replizieren können.“

Nun ja, so weit kann es mit Pfannen nicht kommen — noch ein Unterschied.

Paper zurückgezogen — und wen soll ich jetzt zitieren?

11. Dezember 2015 von Laborjournal

Schon seit einiger Zeit muss der Zürcher Pflanzenforscher Olivier Voinnet ein Paper nach dem anderen wegen inkorrekter Abbildungen zurückziehen oder zumindest großflächig korrigieren. Zwischenstand sind momentan zwölf „Corrections“ und sieben „Retractions“.

Dennoch sticht die letzte Retraction heraus. Mitte November zog The Plant Journal den Artikel „An enhanced transient expression system in plants based on suppression of gene silencing by the p19 protein of tomato bushy stunt virus“ in Übereinkunft mit den Autoren Olivier Voinnet, Susana Rivas, Pere Mestre und David Baulcombe vollends zurück, nachdem sie ihn bereits im Juni erstmals korrigiert hatten. Das jedoch ist nicht wirklich der Punkt. Viel erstaunlicher ist die Tatsache, dass der Artikel bis dahin bereits über 900-mal zitiert worden war.

Was heißt das?

Der Artikel beschreibt erstmals eine neue und einfache Methode zur effektiven Steigerung der transienten Expression von eingebrachten Fremdgenen in Pflanzen. Basis dafür ist die Ko-Transfektion mit dem Gen für das Virusprotein P19, welches allgemein das posttranslationale Gene Silencing in Pflanzenzellen hemmt. Das P19-System steigert also die Expression des Fremdgens, indem es die natürliche Expressionsbremse der Pflanzenzelle blockiert.

Über 900 Zitierungen, wie gesagt. Die muss es doch großteils dafür gegeben haben, dass trotz der unzulässig manipulierten Abbildungen die Methode funktioniert. Und tatsächlich twitterte Sophien Kamoun, Laborleiter am Sainsbury Lab in Norwich/UK:

Das scheint also tatsächlich nicht die Frage. Allerdings ergibt sich daraus ein ganz anderes Problem, das Dmitri Nusinow vom Donald Danforth Plant Science Center in Creve Coer, Missouri/USA, via Twitter folgendermaßen ausdrückt:

 

Berechtigte Frage — denn schließlich gilt ein zurückgezogenes Paper per definitionem als augenblicklich aus dem Scientific Record gelöscht. Wen sollen die zahlreichen P19-Anwender also künftig zitieren? Die Erstbeschreibung der Methode gilt — aus guten Gründen! — als gelöscht. Woanders steht sie offensichtlich nicht in ausreichendem Detail beschrieben, da alle nachfolgenden Anwender — zu Recht — auf die Erstbeschreibung verwiesen.

Soll man sich jetzt also darauf einigen, stattdessen einen der ersten Anwender zu zitieren? Wohl kaum — denn zum einen stünde die Methode dort auch nicht vollständig drin, und zum anderen bekäme der betreffende Artikel auf diese Art sicher viel mehr Zitierungen als er tatsächlich verdient. Oder erklärt man die Methode einfach zum allgemeinen Wissen, das man nicht mehr zu zitieren braucht — und muss wegen der Details trotzdem weiter in das zurückgezogene Paper schielen, weil sie ja nirgendwo sonst aufgeschrieben stehen.

Eigentlich müsste jemand die Methode nochmals „neu“ mit allen Details veröffentlichen — vielleicht ja sogar noch mit einigen neuen. Das wäre dann zwar ordnungsgemäß zitierbar, aber wie oben schon gesagt: Ordnungsgemäß verdiente Zitierungen wären das nicht.

Hmm — hat vielleicht jemand einen anderen Vorschlag?

Ein Review zur falschen Zeit

3. November 2015 von Laborjournal

Reviews sind wichtig, keine Frage. Oftmals macht der breite Blick auf’s Feld erst richtig klar, wo es wirklich steht — und viel wichtiger: welches die drängendsten offenen Fragen sind.

Reviews können aber noch etwas anderes, eher unangenehmes: Zur falschen Zeit veröffentlicht, können sie die verdiente Anerkennung für so manchen Originalartikel deutlich schmälern. Und gerade in diesen Zeiten der Zitatezählerei kann das sehr unangenehm sein. Wie genau das geschehen kann, sei mit folgendem fiktiven Beispiel illustriert, in welches durchaus einige reale Muster und Begebenheiten hineinkondensiert wurden:

———————

[…] Das Feld war „heiß“, seit Jahren schon. Wer wirklich Neues zur regulatorischen RNAs in einem der Edel-Bätter publizieren konnte, durfte mit einem Haufen Zitierungen rechnen. Mehrere Hundert in den zwei bis drei folgenden Jahren waren üblich.

Nachwuchsgruppenleiter Müller war kurz davor. Die Resultate waren neu, eindeutig und bestätigt, das Manuskript gestern an Nature geschickt. Und insgeheim sah Müller schon allwöchentlich die Zahlen durch die Datenbank rattern: „Times cited: 23“, … „Times cited: 78“, … „Times cited: 145“, … „Times cited: 238“, …

Doch es gab etwas, das ihm ein wenig Sorgen machte. Rockman, der große, alte Emeritus und RNA-Pionier aus Berkeley, hatte ihn vor vier Wochen angerufen. Er schreibe einen Review für Cell, erzählte er ihm. Ob er nicht etwas Neues habe, das er ihm jetzt schon mitteilen könne — oder gar als „Draft“ schicken. Schließlich dauere es ja noch eine ganze Weile, bis der Review käme.

Müller war platt ob solcher Ehre. Dass Rockman ihn überhaupt kannte. DER Rockman, der in den letzten Jahren regelmäßig als heißer Kandidat für Stockholm gehandelt wurde. Fast schwindelig ob solcher Wertschätzung hatte sich Müller umgehend an den Rechner gesetzt und Rockman „mit besten Grüßen“ sein Manuskript gemailt.

Nature stellte sich quer. Ungewöhnlich lange dauerte es, bis Müller überhaupt etwas hörte. Und dann sollte er sogar noch ein paar Experimente nachliefern. Reine Gutachter-Schikane, fluchte er.

Müller schrieb nur geringfügig um und schickte das Manuskript stattdessen zu Science. Doch hier das gleiche Spiel. Absichernde Experimente forderten die Gutachter. Als ob die Sache nicht klar wäre. Aber was sollte er machen? Zwei Monate dauerte die „überflüssige“ Arbeit. Und Müller ärgerte sich. Verschwörungstheorien nahmen Gestalt an: „Ob Rockman…? Einfluss hat er ja… Ach Quatsch, der ist doch emeritiert.“

Als Müller schließlich vier Monate später das Science-Heft mit seinem Artikel in den Händen hielt, war aller Ärger weg geblasen. Jetzt also Zitierungen zählen. Nach zwei Monaten war er bereits bei 18, das war viel für die kurze Zeit. Nach vier Monaten waren es 26, — hm, na ja. Nach sechs Monaten waren es … immer noch nur 32? Was war los?

Rockmans Review war erschienen. Unerwartet schnell. Nur zwei Monate nach Müllers Paper. Eigentlich kein Wunder, denn Rockman war immer noch im Editorial Board von Cell. Der Review hatte alle Schlüsseldaten von Müller. Und die wurden jetzt bei Rockman zitiert. Wer kannte schon Müller, trotz frischem Science-Paper?

Zwei Jahre später schwebte der Rockman-Review satten 600 Zitierungen entgegen, Müllers Originalarbeit dümpelte immer noch bei unter 60 […]

———————

Ohne den Review wäre Müllers Originalarbeit sicher um einiges häufiger gelesen und zitiert worden — und sein Name hätte deutlich mehr Aufmerksamkeit erhalten. Gewichtige „Pfunde“, mit denen unser Nachwuchsgruppenleiter beim nächsten Karriereschritt gut hätte wuchern können. Ganz abgesehen davon, dass er sie sowieso verdient gehabt hätte.

Irgendwelche Anmerkungen dazu?

 

Wann ist Schluss mit Zitieren?

4. November 2014 von Laborjournal

Ihn muss man schon lange nicht mehr zitieren

Jeder Labor-Biologe stellt mit dem pH-Meter seine Puffer ein. Muss er daher später in seinen Veröffentlichungen den dänischen Chemiker Søren Peder Lauritz Sørensen zitieren — weil dieser 1909 erstmals das Konzept der pH-Skala vorstellte?

Oder nehmen wir Johannes Thal. 1577 beschrieb der Erfurter Arzt und Botaniker erstmals die Ackerschmalwand Arabidopsis thaliana. Gut vierhundert Jahre später avancierte Thals „Pflänzchen“ bekanntlich zu dem Modellorganismus der Pflanzenforschung schlechthin. Allein die Literaturdatenbank Web of Science listet heute 95.000 Artikel unter dem Stichwort „Arabidopsis„. Wahrscheinlich hat nicht einer Thal in der Referenzliste.

Sørensen und Thal könnten folglich zu den meistzitierten Männer der wissenschaftlichen Literatur gehören — tun sie aber nicht. Und das ist auch richtig so. Denn irgendwann gehören Dinge einfach zum allgemeinen (Fach-)Wissen oder Handwerk, so dass die entsprechenden Zitierungen ziemlich überflüssig, ja sogar eher peinlich wirken.  Diesen Beitrag weiterlesen »

Wachsweiche Zitierzahlen

8. Mai 2013 von Laborjournal

Aus der Reihe „Spontane Interviews, die es nie gab — die aber genau so hätten stattfinden können”. Heute: Prof. C.H. Eck, Ordinologisches Institut TU Prüftal.

LJ: Frau Professor Eck, Sie scheinen amüsiert. Falls es so ist — darf ich fragen, worüber Sie sich amüsieren? 

Eck: Über Zitate.

LJ: Ach ja? Aber Zitierungen sind doch ein ernstes Geschäft in der heutigen Wissenschaft. Was ist denn passiert?

Eck: Ich habe mir mal sämtliche Paper genauer angeschaut, die einen gewissen Artikel von mir zitieren.

LJ: Was heißt „genauer angeschaut“?

Eck: Das heißt, ich habe nachgesehen, in welchem Zusammenhang sie mein Paper zitieren. Und ob das gerechtfertigt ist oder nicht, ob richtig oder falsch,…

LJ: Interessant. Und was kam raus, dass es Ihnen dieses süffisante Lächeln auf Ihr Gesicht zaubert?

Eck: Mein Artikel wurde laut Google Scholar 32-mal zitiert. Ich selbst sehe es jedoch in nur 60 Prozent der Fälle als tatsächlich passend und gerechtfertigt an, dass und wie ich in dem jeweiligen Paper zitiert wurde. Diesen Beitrag weiterlesen »

„Vorab Online“ verzerrt Impact-Faktoren

21. Januar 2013 von Laborjournal

Journals greifen ja mitunter zu allen möglichen Tricks, um ihre Impact-Faktoren (IF) zu erhöhen — zu lauteren, unlauteren und zu welchen, die irgendwie dazwischen liegen.

Ein solcher Trick eröffnete sich durch die Einführung, Artikel vorab online zu veröffentlichen, bevor sie in print erscheinen. Man nehme zunächst etwa Journal A, das dies nicht tut. Dessen IF des Jahres 2012 berechnet sich bekanntlich daraus, wie oft sämtliche Artikel des Journals aus den Jahren 2010 und 2011 insgesamt im darauf folgenden Jahr , also 2012, zitiert worden sind. Diesen Wert teilt man durch die Gesamtzahl der Artikel aus 2010/11 — und erhält den IF 2012.

Schauen wir uns im Vergleich Zeitschrift B an. Diese stellt schon seit geraumer Zeit die Artikel sofort nach Annahme durch die Gutachter online. Diesen Beitrag weiterlesen »

Titelschacherei

23. Oktober 2012 von Laborjournal

Wie sahne ich mit meinen Artikeln möglichst viele Zitierungen ab? Eine Frage, die sich Forscher sicherlich nicht gerade selten stellen. Kein Wunder, dass einige sogar versuchen, mit mehr oder weniger wissenschaftlichen Methoden belastbare Antworten darauf zu finden. Über eine frische Studie, nach der offenbar eine leicht höhere Wahrscheinlichkeit auf das eine oder andere zusätzliche Zitat besteht, wenn die Gutachter das Manuskript im ersten Durchgang ablehnen, berichteten wir beispielsweise erst vor kurzem im Laborjournal-Blog.

Etwas, das man selbst besser im Griff hat als die Entscheidung der Gutachter, sind die Titel der eigenen Werke. Seit einigen Jahren weiß man in diesem Zusammenhang etwa, dass humorige Überschriften bezüglich nachfolgender Zitierraten offenbar eher von Nachteil sind (J. Inform. Sci. 34: 680-7). Insbesondere Artikel mit vermeintlich richtig witzigen Titeln, so die Autoren, würden  im Schnitt vergleichsweise deutlich weniger zitiert. Diesen Beitrag weiterlesen »

Peer Review macht Paper besser

16. Oktober 2012 von Laborjournal

Anekdoten über die Ineffizienz und Willkür des Peer-Review-Systems gibt es massenweise. Dennoch scheint die klassische Begutachtung vor Veröffentlichung die biowissenschaftliche Literatur insgesamt tatsächlich zu verbessern — wenigstens ein bisschen. Zu diesem Ergebnis kommt eine kürzlich veröffentlichte Mammutstudie französischer Ökologen um Vincent Calgagno (Science, Publ. Online 11. Okt. 2012, DOI: 10.1126/science.1227833).

Mit entsprechenden Datenbanken und Software zur Hand „meta-analysierten“ die Autoren insgesamt 80.748 Artikel der Jahre 2006 bis 2008 aus 923 biowissenschaftlichen Zeitschriften, recherchierten deren jeweilige „Submission History“ — und konstruierten aus den Daten ein „Netzwerk der Manuskriptflüsse“. Diesen Beitrag weiterlesen »

Über Zufall und Willkür beim Peer Review

31. August 2012 von Laborjournal

Publizieren scheint immer schwerer zu werden. Denn nicht nur Nature oder Science, nein auch viele Medium-Impact-Journals nehmen offenbar immer weniger Manuskripte zur Publikation an. Ein Herunterdrehen von 40% akzeptierter Manuskripte vor 15 Jahren auf heutzutage unter 15% ist beispielsweise keine Seltenheit.

In einem Editorial in Ideas in Ecology and Evolution (vol. 5: 9-12, 2012) beschrieb die Kanadierin Lonnie W. Aarssen solch „drakonische Standards“ nicht gerade schmeichelhaft als:

… product of gate-keeping elitism, motivated by self-serving goals of journal publishers and editors to elevate impact factor as a symbol of status, and to compete with other journals for that status.

Der Ökologe David Wardle von der Universität Umeå in Schweden untersuchte nun beispielhaft, welche Konsequenzen dieser „Gatekeeping Elitism“ für die Qualität ökologischer Veröffentlichungen hat (Ideas in Ecology and Evolution vol. 5: 13-15, 2012). Was er herausfand, ist durchaus alarmierend. Diesen Beitrag weiterlesen »

Autoren am Rande des Nervenzusammenbruchs (16)

14. August 2012 von Laborjournal

Schon mal zitiert worden, bevor das Paper überhaupt offiziell veröffentlicht war?

Wie einem dies passieren kann, beschrieb vor kurzem der Bioinformatiker C. Titus Brown in seinem Blog Living in an Ivory Basement. Demnach unternahm er den „unüblichen Schritt“, ein Manuskript über ein neues Software-Tool zur Metagenomik-Analyse nicht nur bei PNAS einzureichen, sondern dieses parallel auf dem Preprint-Server arXiv zu posten, der sich insbesondere unter Physikern und Mathematikern großer Beliebtheit erfreut.

Ein paar Wochen danach erhielt Brown die Anfrage, seinerseits ein bestimmtes Manuskript zu begutachten — unter anderem deswegen, weil die Autoren sein arXiv-Paper bereits zitiert hatten. Diesen Beitrag weiterlesen »

Information 4


Information 5