Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Mehr Zitate durch Open Data

18. Juli 2019 von Laborjournal

Wie kann ich mit jedem Artikel 25 Prozent mehr Zitierungen ein­sammeln? Jedenfalls im Schnitt, und ohne allzu großen Mehraufwand…

Hand auf’s Herz — das klingt verlockend, oder? Welcher Forscher checkt heutzutage nicht regel­mäßig sein Zitatekonto — auch wenn es viele nicht wirklich zugeben? Und wenn dann einer ganze 25 Prozent „Rendite“ verspricht…

Das Rezept, wie man sich diese Rendite „ver­dienen“ kann, hat gerade ein englisch-nie­der­lädisches Team unter dem Titel „The citation advantage of linking publications to research data“ in arXiv verkündet (arXiv:1907.02565v1) — und es ist denkbar einfach: Stelle sämtliche Daten, die deinem Paper zugrunde liegen, öffentlich für alle zur Verfügung — und schon wirst du dafür durchschnittlich ein Viertel mehr an Zitierungen einstreichen.

Für ihre Studie nahmen sich die Autoren über eine halbe Million Artikel vor, die zwischen 1997 und 2018 in 350 Open-Access-Zeitschriften der Verlage Public Library of Science (PLoS) und BioMed Central (BMC) erschienen waren. Etwa ein Drittel davon enthielt Data Availability Statements und beinhaltete somit jeweils einen Link zu einem Repositorium, in dem die Autoren sämtliche relevante Originaldaten öffentlich zugänglich hinterlegt hatten. Ganz im Sinne von Open Data also. Und siehe da, dieses Drittel an Papern wurde nachfolgend im Schnitt um 25 Prozent häufiger zitiert als die anderen zwei Drittel, die keine Daten offengelegt hatten.

Schöne Sache, oder? Zumal dadurch die Forscher landauf landab erst recht dazu motiviert werden könnten, ihre Daten für alle offenzulegen. Sicher, man sollte das Konzept von Open Data eigentlich aus ganz anderen Beweggründen beherzigen, als dass ich dadurch ein paar Zitate mehr auf mein Konto hieve — aber hier kann man es vielleicht einfach mal so stehen lassen, dass über nicht ganz saubere Incentives am Ende dennoch das Richtige gepusht wird. Der Zweck heiligt bekanntlich die Mittel.

Zumal die Studie der wahren Bedeutung von Zitierzahlen ja eigentlich kein gutes Zeugnis ausstellt, wenn man nur ein bisschen weiter denkt. Schließlich bleibt das publizierte Paper mit den präsentierten Ergebnissen und Schlussfolgerungen ja punktgenau dasselbe — ob ich nun die zugrundeliegenden Daten dahinter offenlege oder nicht. Dennoch bekomme ich dadurch 25 Prozent mehr Zitierungen. Womöglich nur, weil die Open Data hinter dem Paper etwas mehr Aufmerksamkeit darauf lenken? Wie auch immer, bei derart leicht verursachbaren Schwankungen kann die Zitierzahl eines bestimm­ten Papers wohl kaum ein direktes Maß für die Qualität der darin beschriebenen Ergebnisse sein.

Aber das wissen wir ja eigentlich schon lange — siehe etwa hier, hier und hier.

Ralf Neumann

Eine kleine (nicht ganz) fiktive Geschichte über „meistzitierte Paper“

25. Juni 2019 von Laborjournal

Joseph Cooper war schon einige Jahre im Ruhestand. Zufrieden blickte er zurück auf ein jahrzehntelanges Forscherleben, in dem er durchaus einiges erreicht hatte. Vor allem zum Aufbau des Cytoskeletts hatte sein Labor der Forscherwelt eine ganze Reihe beteiligter Proteine und Mechanismen geliefert.

Ja, damals hatte das Forscherleben noch Spaß gemacht, dachte Cooper oft. Und dass er das Glück gehabt hatte, genau zur rechten Zeit aufhören zu können. „Rat race“, „Publish or perish“, „Apply or die“ — all diese üblen Schlag­worte, die heute große Teile des For­schungs­geschäftes charakterisieren, kamen erst ganz zum Ende seiner Karriere auf. Genau­so wie der Wahn um bibliometrische Zahlen und Evaluationen.

Gerade gestern war er wieder auf eines dieser regelmäßigen „Paper-Rankings“ gestoßen. Cooper störte daran nicht nur, dass dort verglichen wurde, was nicht verglichen werden kann — also etwa unter der Überschrift „Life Sciences“ kunterbunt die Zitierzahlen von Apoptose-Artikeln mit denjenigen von Papern über den pflanzlichen Sekundärstoffwechsel oder Multi-Center-Studien über Schuppenflechte verglichen wurden. Nein, da war noch eine andere Sache, von der er sich ganz besonders betroffen fühlte…

Zum x-ten Male präsentierten die Autoren unter anderem eine Liste der meistzitierten wissen­schaftlichen Paper aller Zeiten. Und ganz vorne standen natürlich wieder einmal die allseits bekannten „Methoden-Paper“ zur Proteinmessung von Lowry et al. sowie zur Polyacrylamid-Gelelektrophorese von Ulrich Karl Laemmli. Diese beiden hatten offenbar das Glück, dass deren Methoden auch Jahrzehnte später noch nahezu unmodifiziert und breitflächig angewendet wurden. Und dass man sie dafür immer noch brav zitierte. Das Lowry-Paper, so hieß es in dem Artikel, sammele, obwohl bereits 1951 publiziert, immer noch mehrere hundert Zitate jährlich.

Dass das nicht die Regel ist, wusste Cooper nur zu gut. Auch er hatte 1969 solch einen metho­di­sches „Überflieger-Paper“ geschrieben — zur Bestimmung der Molekulargewichte von Proteinen in SDS-Poly­acryl­amidgelen. Doch dieses erlitt das eher typische Schicksal: Zehn Jahre lang wurde es zitiert wie der Teufel, dann nahm die Zitierrate plötzlich ab, und zwanzig Jahre — oder 20.000 Zitate — später tauchte die Arbeit kaum noch in den Referenzlisten aktueller Artikel auf.

Das allerdings nicht, weil Protein-Molekulargewichte nicht mehr via SDS-Gele bestimmt wurden. Auch nicht, weil jemand ein besseres Gel-Verfahren entwickelt hatte. Nein, die Methode war im weltweiten Experimentieralltag einfach selbstverständlich geworden. Wie das Einstellen von pH-Werten. Und Selbstverständliches braucht keine Referenzen mehr.

„Ist ja auch gut und richtig so“, dachte Cooper. „Sonst würden die Referenzlisten ja irgendwann länger als die Artikel. Es zitiert schließlich auch keiner mehr Watson und Crick, wenn er was über die DNA-Struktur schreibt.“ Dennoch gibt es aus irgendwelchen Gründen, die Cooper nicht verstand, hin und wieder Ausreißer aus diesem Schema. Siehe Lowry und Laemmli.

Das ärgerte ihn zwar nur wenig, aber es relativierte für ihn doch erheblich deren Ruf als „meistzitierte Paper weltweit“.

Ralf Neumann

Bild: „White Wings“, Ölgemälde von Sylvain Loisant

Journal-Tuning

3. April 2019 von Laborjournal

Wir recherchieren gerade einen Fall, in dem ein Journal seinen Impact-Faktor offenbar auf unlautere Weise aufgeblasen hat — konkret durch übermäßiges Selbstzitieren. Dabei fiel uns ein, dass wir mal vor Jahren in einem fiktiven Stück beschrieben hatten, wie ein Chief Editor den Impact-Faktor „seines“ Journals auch ohne unlautere Mittel deutlich nach oben treiben könnte. Wir stellen es daher hier nochmals zur Diskussion:

——-

Zwanzig Jahre waren es bald, die Badguy nun Herausgeber von Molecular Blabology war. Eine Zeit, in der er viele Veränderungen erlebte. Vor allem in den letzten Jahren.

Lange war der „Chief Editor“ ein ungeheuer befriedigender Job gewesen. Immerhin war Molecular Blabology die offizielle Zeitschrift der größten blabologischen Fachgesellschaft der Welt — und vielen galt sie auch als die beste. Klar dass auch Badguy selbst im Licht der Zeitschrift erstrahlte, war er damit doch unzweifelhaft ein wichtiger und mächtiger Mann in der Szene.

Lange konnte er dieses Gefühl genießen — bis die Journal-Impact-Faktoren aufkamen. Und die bereiteten ihm eine herbe Überraschung: Molecular Blabology war in der Kategorie „Blabology and Gabblistics“ völlig unerwartet nur auf Platz sechs. Fünf Journals hatten bessere Impact-Faktoren. Und was das Schlimmste war: Auf Platz eins rangierte mit dem European Journal of Molecular Blabology ausgerechnet das Organ der konkurrierenden europäischen Fachgesellschaft.

Doch Badguy konnte nicht nur genießen, er konnte auch anpacken. Schnell wusste er bescheid, wie die Impact-Faktoren berechnet wurden — und bald hatte er auch einige Schwachstellen ausgekundschaftet, die er auf dem Weg zu einem besseren Faktor gnadenlos auszuschlachten gedachte.

Fallstudien und Essays bringen im Schnitt bei weitem nicht so viele Zitierungen wie Originalarbeiten und Technical Reports, hatte Badguy schnell herausgefunden. Zwar brachte Molecular Blabology keine Fallstudien, dafür aber vier Essays pro Heft. So schön diese in der Regel waren, Badguy würde sie streichen und statt dessen mehr Technical Reports aufnehmen. Oder besser noch: Die Zahl der Reviews pro Heft von bisher 2 auf 6 anheben, denn die bringen noch mehr Zitierungen.

Ebenso hatte Badguy spitz bekommen, dass die Zahl der Zitierungen in etwa proportional zu der Länge der einzelnen Artikel ist. Er würde also die Short Communications rausschmeißen und für die Artikel mehr Text — und damit zitierbaren „Content“ — verlangen. Seine einfache Rechnung: Weniger, aber längere Artikel, die zugleich jeder für sich häufiger zitiert werden — damit müsste der Impact-Faktor sofort einen Sprung machen. 

Badguy blieb auch nicht verborgen, dass die „Herren der Impact-Faktoren“ nur Artikel, Reviews und Notes für die Gesamtzahl der Artikel eines Journals berücksichtigten — „Citable Items“ nannten sie diese. Meeting Reports, Editorials und Correspondence-Briefe dagegen zählten sie nicht, obwohl deren Zitierungen wiederum in den Impact-Faktor eingingen. Eigentlich nicht zu verstehen, für Badguy war aber klar: Möglichst viele Meeting Reports, eine große Correspondence-Rubrik und knackige Editorials — das bringt noch mal zusätzlichen Schub.

Und dann hatte Badguy noch eine besondere Idee: Zweimal im Jahr wollte er eine Nomenklatur-Konferenz einberufen, deren Ergebnisse natürlich umgehend in Molecular Blabology erscheinen würden. Die bringen — das ist bekannt — wahnsinnig viele Zitierungen, da sämtliche nachfolgenden Originalarbeiten im betreffenden Feld diese zitieren müssen. 

Schnell hatte Badguy also ein feines „Maßnahmenbündel“ geschnürt. Der „Umbau“ würde zwar noch ein kleine Weile dauern. Aber dann wollte Badguy doch mal sehen, ob er dieses European Journal of Molecular Blabology nicht doch bald… 

——-

Tatsächlich nur Fiktion? Weit weg von der Realität?

Grafik: iStock / Jossdim

Gebt uns bitte mehr Wörter!

10. Januar 2019 von Laborjournal

Ob bei Paper-Manuskripten oder Konferenzen — überall werden einem strenge Limits für Sprechzeiten oder Wörterzahlen gesetzt. Die Autorin des folgenden Gastbeitrags hat sich gerade ganz besonders darüber geärgert…

Okay, vielleicht ist es mein ganz persönliches Problem. Denn ja, ich gebe zu: Bereits in der Schule habe ich mit Vorliebe ausschweifend Gedichte interpretiert und mit Freude lange Diskussionen über biologische Fragestellungen verfasst. Und dennoch, mit zunehmender Reife habe ich mittlerweile auch etwas gegen Geschwafel und unnötige Repetitionen oder Füllwörter — sei es in Text- oder Sprechform — und versuche diese grundlegend zu vermeiden. Auch ist es klar, dass man zur besseren Verständlichkeit und „Verdaulichkeit“ für Außenstehende komplexe Sachverhalte in klare, präzise und eindeutige kurze Sätze fassen (können) sollte — zumal dies überdies den Eindruck von besonderer Kompetenz in dem jeweiligen Gebiet vermittelt.

Dennoch befinde ich mich diesbezüglich gerade in einem Zwiespalt. Und bin zunehmend frustrierter.

In Journal Clubs beschweren wir uns über Publikationen, bei denen unserer Meinung nach unerhörterweise wichtige Details „nirgendwo erwähnt werden — nein, auch nicht in den Supplements!“. Ebenso ärgern wir uns bei der Etablierung oder Optimierung von Methoden und Fragestellungen über all die Publikationen, in denen Zellzahlen, Konzentrationen, Antikörper-IDs, usw. nicht oder nur unzureichend angegeben werden. Im Gegensatz dazu bricht Freude aus, wenn wir tatsächlich eine komplette Doktorarbeit (!) zu dem gewünschten Thema im Netz finden, mit der man nun endlich Schritt für Schritt sämtliche Abläufe und Details komplett nachvollziehen kann.

Wir alle arbeiten an komplexen Themen und Fragestellungen. Und um diese einem Außenstehenden ausreichend erklären zu können, bedarf es nun mal eines Mindestmaßes an Zeit oder Worten. Aber nein, gerade wir jüngeren Wissenschaftler bekommen auf Fachkonferenzen ganze drei, fünf oder — welch’ ein Glück! — zehn Minuten zur Verfügung gestellt, um unser Projekt und unsere Ergebnisse vorzustellen (oder gar uns selbst und unsere Kompetenzen?).

Sicherlich, man sollte diese Präsentationen als „Teaser“ verstehen, in denen man kurz und knackig auf sich aufmerksam macht — das Interesse weckt, um dann in der darauffolgenden Pause oder Poster-Session auf mehr und konkretere Resonanz zu hoffen. Wenn es aber um Publikationen geht, frustriert mich die Lage endgültig.

Natürlich kann ich mein Manuskript kürzen, indem ich Aussagen sinnvoll konkretisiere oder aber mit List und Tücke (etwa Bindestrichen…) die Wortzahl künstlich drücke. Aber allem ist irgendwo eine Grenze gesetzt. Und so sehe ich mich letztlich gezwungen, Details im Material- und Methodenteil rauszustreichen, da dies alles ja offenbar „Common Knowledge“ sei. Oder ich verbitte mir jeden tieferen Gedankengang oder Einblick in meine Daten, nur um der lieben Wörter willen.

Irgendwann befinde ich mich dann an dieser kritischen Grenze, ab der sich mein Manuskript durch weiteres Kürzen zwar mehr und mehr der gewünschten Wortzahl nähert, es mit jedem Wort aber auch an Stärke, an Tiefe und letztlich an lebensnotwendiger Substanz verliert. Und ich beginne mich zu fragen, ob und wo ich wohl jemals genug Zeit bekommen werde und genug Wörter verwenden werden darf, um die viele Arbeit, die ich geleistet habe, in angemessenem Maße darlegen zu dürfen? Inklusive all meiner daraus resultierenden Daten sowie den zu Grunde liegenden wichtigen Details und Erkenntnissen. Oder muss ich dafür eigens einen YouTube-Kanal einrichten beziehungsweise extra ein Buch schreiben (quasi eine weitere Dissertation)?

Doch was bleibt mir anderes übrig? Ich beuge mich dem Druck, denn Publikationen „sind alles, was zählt“ — sagen „sie“. Und so sitze ich hier und kürze mein Manuskript, von 4.000 Wörtern auf 3.000, auf 2.500 Wörter,… — ganz nach dem Geschmack des jeweiligen Journals. Und die ganze Zeit trauere ich jedem Absatz, jedem einzelnen Wort hinterher, das doch so wichtig gewesen wäre, um von vorne bis hinten eine verständliche, nachvollziehbare und reproduzierbare Geschichte zu erzählen…

Britta Klein
Institut für Anatomie und Zellbiologie der Universität Gießen

Information 1


Information 2


Info

Info

Mit dem HandyStep® Touch bringt BRAND® den Touchscreen auch für handgehaltene Geräte ins Labor. mehr

Info

Info

cobas® pro integrated solutions – das neue System von Roche für den Serumarbeitsplatz. mehr

Info

Info

Die WLAN-Funktion der Olympus Kamera ermöglicht ein interaktives Zusammen­arbeiten der Studierenden. mehr