Referenzlisten auf Schmalspur

2. Oktober 2019 von Laborjournal

Es gibt Dinge, die ärgern Forscher ganz besonders. Mit zu den „Highlights“ ge­hört sicherlich, wenn man ein frisches Paper liest, dessen Inhalt klar erfordert, dass es die ein oder andere eigene Ar­beit zitiert — aber nichts, nicht ein einziges Mal wird man in der Referenz­liste erwähnt.

Manchmal ruft man daraufhin den verantwortlichen Autor an. Schließlich arbeitet er im gleichen Feld, und man kennt sich ja. Doch die Antwort, die man dann bisweilen erhält, lässt den For­scherkamm nur noch dicker an­schwel­len:

„Ja, tut mir leid. Das war uns natürlich bewusst. Aber das blöde Journal akzeptiert nur maximal 25 Referenzen — da mussten wir zwangsweise das eine oder andere wichtige Paper weglassen.“

Ganz toll! Und dann fügt er noch hinzu:

„Weißt du, was mir zuletzt mit einem anderen Paper passiert ist? Da hat das Journal die Referenzliste sogar eigenmächtig auf Layout-freundliches Maß zurechtgestutzt.“

Geht‘s eigentlich noch?

Um das jetzt mal ganz klarzumachen: Life-Science-Forschung ist ein derart vielfältiges Gebiet, da können die Verlage unmöglich einfach mal festlegen, dass sich ein jedes Paper auf dieser Erde auf den Ergebnissen von nicht mehr als 25 oder 30 Referenzen aufbauen ließe. Manche brauchen die Vorarbeit von mehr als hundert, wobei jedes einzelne davon zu Recht in der Referenzliste steht!

Und ganz abgesehen davon: Sollte es nicht zu den Hauptaufgaben der Forschungsblätter gehören, dem geneigten Leser die Möglichkeit zu bieten, genauestmöglich nachvollziehen zu können, auf wessen „Schultern“ die präsentierten Ergebnisse tatsächlich stehen?

Klar, eine weitere Schlüsselaufgabe der Gutachter ist natürlich, gleichsam unnötige oder unverdiente Referenzen wieder auszusortieren — gerade um nicht immer ganz lautere „Über­zitie­rung“ zu vermeiden. Aber hier geht es um die vorweg festgelegten Limits für die Referenzlisten — und die sind oftmals viel zu niedrig.

Was daraus resultiert, klingt fast schon wie ein schlechter Witz: Für die Forscher sind Zitierungen heute so wichtig wie noch nie (wenn auch infolge eines zugegebenermaßen fehlgeleiteten Belohnungssystems) — während die Zeitschriften mit solchen schmalspurigen Maßnahmen den tieferen Zweck des wissenschaftlichen Referenzierens mit Füßen treten.

Ralf Neumann

(Eine etwas andere Version dieses Textes erschien bereits in unserer Printausgabe Laborjournal 12/2015.)

x

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Steuert Google Scholar, was wir zitieren?

17. September 2019 von Laborjournal

Na ja, ganz so ist es natürlich nicht. Schließlich sind es immer noch die Autoren, die bestimmen, welche Paper sie in die Referenz­listen ihrer eigenen Manuskripte aufnehmen. Allerdings sind Autoren manchmal auch einfach faul — und dann bestimmt die allseits beliebte Literatur-Such­ma­schi­ne Google Scholar deren Zitierverhalten womöglich wirklich ganz schnell mit.

Vorletzte Woche tweetete beispielsweise der Scientific-American-Reporter George Musser folgendes über einen Vortrag beim Metascience 2019 Symposium an der Stanford University:

Demnach zeigte der Informationswissenschaftler Jevin D. West von der University of Washington („@jevinwest“) in seinem Vortrag Daten, nach denen Forscher wohl öfter schlichtweg diejenigen Paper zitieren, die Google Scholar ihnen bei oberflächlicher Recherche gleich „vorne“ anzeigt — auch wenn „weiter hinten“ in den Suchergebnissen womöglich Artikel folgen, die es viel mehr verdient hätten, für die jeweilige Studie zitiert zu werden.

Fachleute bezeichnen dies als “First Results Page Syndrome”, nach dem Suchmaschinen-Nutzer diejenigen Dokumente stark bevorzugen, die ihnen gleich auf der ersten Ergebnisseite angezeigt werden. Und im Gegensatz zu anderen wissenschaftlichen Literatur-Datenbanken sortiert Google Scholar eben nicht nach Datum, sondern nach Relevanz. Wobei Google Scholar „Rele­vanz“ insbesondere anhand der Zitierungen der einzelnen Artikel misst.

Zusammen mit dem First Results Page Syndrome und der Bequemlichkeit der Autoren sorgt dies dafür, dass die Zitierungen sich insgesamt immer stärker auf immer weniger sowieso schon viel­zitier­te Artikel konzentrieren. Diesen Beitrag weiterlesen »

Schlagworte: , , , , , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Schlagworte: , , , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Mehr Zitate durch Open Data

18. Juli 2019 von Laborjournal

Wie kann ich mit jedem Artikel 25 Prozent mehr Zitierungen ein­sammeln? Jedenfalls im Schnitt, und ohne allzu großen Mehraufwand…

Hand auf’s Herz — das klingt verlockend, oder? Welcher Forscher checkt heutzutage nicht regel­mäßig sein Zitatekonto — auch wenn es viele nicht wirklich zugeben? Und wenn dann einer ganze 25 Prozent „Rendite“ verspricht…

Das Rezept, wie man sich diese Rendite „ver­dienen“ kann, hat gerade ein englisch-nie­der­lädisches Team unter dem Titel „The citation advantage of linking publications to research data“ in arXiv verkündet (arXiv:1907.02565v1) — und es ist denkbar einfach: Stelle sämtliche Daten, die deinem Paper zugrunde liegen, öffentlich für alle zur Verfügung — und schon wirst du dafür durchschnittlich ein Viertel mehr an Zitierungen einstreichen.

Für ihre Studie nahmen sich die Autoren über eine halbe Million Artikel vor, die zwischen 1997 und 2018 in 350 Open-Access-Zeitschriften der Verlage Public Library of Science (PLoS) und BioMed Central (BMC) erschienen waren. Etwa ein Drittel davon enthielt Data Availability Statements und beinhaltete somit jeweils einen Link zu einem Repositorium, in dem die Autoren sämtliche relevante Originaldaten öffentlich zugänglich hinterlegt hatten. Ganz im Sinne von Open Data also. Und siehe da, dieses Drittel an Papern wurde nachfolgend im Schnitt um 25 Prozent häufiger zitiert als die anderen zwei Drittel, die keine Daten offengelegt hatten.

Schöne Sache, oder? Zumal dadurch die Forscher landauf landab erst recht dazu motiviert werden könnten, ihre Daten für alle offenzulegen. Sicher, man sollte das Konzept von Open Data eigentlich aus ganz anderen Beweggründen beherzigen, als dass ich dadurch ein paar Zitate mehr auf mein Konto hieve — aber hier kann man es vielleicht einfach mal so stehen lassen, dass über nicht ganz saubere Incentives am Ende dennoch das Richtige gepusht wird. Der Zweck heiligt bekanntlich die Mittel.

Zumal die Studie der wahren Bedeutung von Zitierzahlen ja eigentlich kein gutes Zeugnis ausstellt, wenn man nur ein bisschen weiter denkt. Schließlich bleibt das publizierte Paper mit den präsentierten Ergebnissen und Schlussfolgerungen ja punktgenau dasselbe — ob ich nun die zugrundeliegenden Daten dahinter offenlege oder nicht. Dennoch bekomme ich dadurch 25 Prozent mehr Zitierungen. Womöglich nur, weil die Open Data hinter dem Paper etwas mehr Aufmerksamkeit darauf lenken? Wie auch immer, bei derart leicht verursachbaren Schwankungen kann die Zitierzahl eines bestimm­ten Papers wohl kaum ein direktes Maß für die Qualität der darin beschriebenen Ergebnisse sein.

Aber das wissen wir ja eigentlich schon lange — siehe etwa hier, hier und hier.

Ralf Neumann

Schlagworte: , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Eine kleine (nicht ganz) fiktive Geschichte über „meistzitierte Paper“

25. Juni 2019 von Laborjournal

Joseph Cooper war schon einige Jahre im Ruhestand. Zufrieden blickte er zurück auf ein jahrzehntelanges Forscherleben, in dem er durchaus einiges erreicht hatte. Vor allem zum Aufbau des Cytoskeletts hatte sein Labor der Forscherwelt eine ganze Reihe beteiligter Proteine und Mechanismen geliefert.

Ja, damals hatte das Forscherleben noch Spaß gemacht, dachte Cooper oft. Und dass er das Glück gehabt hatte, genau zur rechten Zeit aufhören zu können. „Rat race“, „Publish or perish“, „Apply or die“ — all diese üblen Schlag­worte, die heute große Teile des For­schungs­geschäftes charakterisieren, kamen erst ganz zum Ende seiner Karriere auf. Genau­so wie der Wahn um bibliometrische Zahlen und Evaluationen.

Gerade gestern war er wieder auf eines dieser regelmäßigen „Paper-Rankings“ gestoßen. Cooper störte daran nicht nur, dass dort verglichen wurde, was nicht verglichen werden kann — also etwa unter der Überschrift „Life Sciences“ kunterbunt die Zitierzahlen von Apoptose-Artikeln mit denjenigen von Papern über den pflanzlichen Sekundärstoffwechsel oder Multi-Center-Studien über Schuppenflechte verglichen wurden. Nein, da war noch eine andere Sache, von der er sich ganz besonders betroffen fühlte…

Zum x-ten Male präsentierten die Autoren unter anderem eine Liste der meistzitierten wissen­schaftlichen Paper aller Zeiten. Und ganz vorne standen natürlich wieder einmal die allseits bekannten „Methoden-Paper“ zur Proteinmessung von Lowry et al. sowie zur Polyacrylamid-Gelelektrophorese von Ulrich Karl Laemmli. Diese beiden hatten offenbar das Glück, dass deren Methoden auch Jahrzehnte später noch nahezu unmodifiziert und breitflächig angewendet wurden. Und dass man sie dafür immer noch brav zitierte. Das Lowry-Paper, so hieß es in dem Artikel, sammele, obwohl bereits 1951 publiziert, immer noch mehrere hundert Zitate jährlich.

Dass das nicht die Regel ist, wusste Cooper nur zu gut. Auch er hatte 1969 solch einen metho­di­sches „Überflieger-Paper“ geschrieben — zur Bestimmung der Molekulargewichte von Proteinen in SDS-Poly­acryl­amidgelen. Doch dieses erlitt das eher typische Schicksal: Zehn Jahre lang wurde es zitiert wie der Teufel, dann nahm die Zitierrate plötzlich ab, und zwanzig Jahre — oder 20.000 Zitate — später tauchte die Arbeit kaum noch in den Referenzlisten aktueller Artikel auf.

Das allerdings nicht, weil Protein-Molekulargewichte nicht mehr via SDS-Gele bestimmt wurden. Auch nicht, weil jemand ein besseres Gel-Verfahren entwickelt hatte. Nein, die Methode war im weltweiten Experimentieralltag einfach selbstverständlich geworden. Wie das Einstellen von pH-Werten. Und Selbstverständliches braucht keine Referenzen mehr.

„Ist ja auch gut und richtig so“, dachte Cooper. „Sonst würden die Referenzlisten ja irgendwann länger als die Artikel. Es zitiert schließlich auch keiner mehr Watson und Crick, wenn er was über die DNA-Struktur schreibt.“ Dennoch gibt es aus irgendwelchen Gründen, die Cooper nicht verstand, hin und wieder Ausreißer aus diesem Schema. Siehe Lowry und Laemmli.

Das ärgerte ihn zwar nur wenig, aber es relativierte für ihn doch erheblich deren Ruf als „meistzitierte Paper weltweit“.

Ralf Neumann

Bild: „White Wings“, Ölgemälde von Sylvain Loisant

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines | Keine Kommentare »

Journal-Tuning

3. April 2019 von Laborjournal

Wir recherchieren gerade einen Fall, in dem ein Journal seinen Impact-Faktor offenbar auf unlautere Weise aufgeblasen hat — konkret durch übermäßiges Selbstzitieren. Dabei fiel uns ein, dass wir mal vor Jahren in einem fiktiven Stück beschrieben hatten, wie ein Chief Editor den Impact-Faktor „seines“ Journals auch ohne unlautere Mittel deutlich nach oben treiben könnte. Wir stellen es daher hier nochmals zur Diskussion:

——-

Zwanzig Jahre waren es bald, die Badguy nun Herausgeber von Molecular Blabology war. Eine Zeit, in der er viele Veränderungen erlebte. Vor allem in den letzten Jahren.

Lange war der „Chief Editor“ ein ungeheuer befriedigender Job gewesen. Immerhin war Molecular Blabology die offizielle Zeitschrift der größten blabologischen Fachgesellschaft der Welt — und vielen galt sie auch als die beste. Klar dass auch Badguy selbst im Licht der Zeitschrift erstrahlte, war er damit doch unzweifelhaft ein wichtiger und mächtiger Mann in der Szene.

Lange konnte er dieses Gefühl genießen — bis die Journal-Impact-Faktoren aufkamen. Und die bereiteten ihm eine herbe Überraschung: Molecular Blabology war in der Kategorie „Blabology and Gabblistics“ völlig unerwartet nur auf Platz sechs. Fünf Journals hatten bessere Impact-Faktoren. Und was das Schlimmste war: Auf Platz eins rangierte mit dem European Journal of Molecular Blabology ausgerechnet das Organ der konkurrierenden europäischen Fachgesellschaft.

Doch Badguy konnte nicht nur genießen, er konnte auch anpacken. Schnell wusste er bescheid, wie die Impact-Faktoren berechnet wurden — und bald hatte er auch einige Schwachstellen ausgekundschaftet, die er auf dem Weg zu einem besseren Faktor gnadenlos auszuschlachten gedachte.

Fallstudien und Essays bringen im Schnitt bei weitem nicht so viele Zitierungen wie Originalarbeiten und Technical Reports, hatte Badguy schnell herausgefunden. Zwar brachte Molecular Blabology keine Fallstudien, dafür aber vier Essays pro Heft. So schön diese in der Regel waren, Badguy würde sie streichen und statt dessen mehr Technical Reports aufnehmen. Oder besser noch: Die Zahl der Reviews pro Heft von bisher 2 auf 6 anheben, denn die bringen noch mehr Zitierungen.

Ebenso hatte Badguy spitz bekommen, dass die Zahl der Zitierungen in etwa proportional zu der Länge der einzelnen Artikel ist. Er würde also die Short Communications rausschmeißen und für die Artikel mehr Text — und damit zitierbaren „Content“ — verlangen. Seine einfache Rechnung: Weniger, aber längere Artikel, die zugleich jeder für sich häufiger zitiert werden — damit müsste der Impact-Faktor sofort einen Sprung machen. 

Badguy blieb auch nicht verborgen, dass die „Herren der Impact-Faktoren“ nur Artikel, Reviews und Notes für die Gesamtzahl der Artikel eines Journals berücksichtigten — „Citable Items“ nannten sie diese. Meeting Reports, Editorials und Correspondence-Briefe dagegen zählten sie nicht, obwohl deren Zitierungen wiederum in den Impact-Faktor eingingen. Eigentlich nicht zu verstehen, für Badguy war aber klar: Möglichst viele Meeting Reports, eine große Correspondence-Rubrik und knackige Editorials — das bringt noch mal zusätzlichen Schub.

Und dann hatte Badguy noch eine besondere Idee: Zweimal im Jahr wollte er eine Nomenklatur-Konferenz einberufen, deren Ergebnisse natürlich umgehend in Molecular Blabology erscheinen würden. Die bringen — das ist bekannt — wahnsinnig viele Zitierungen, da sämtliche nachfolgenden Originalarbeiten im betreffenden Feld diese zitieren müssen. 

Schnell hatte Badguy also ein feines „Maßnahmenbündel“ geschnürt. Der „Umbau“ würde zwar noch ein kleine Weile dauern. Aber dann wollte Badguy doch mal sehen, ob er dieses European Journal of Molecular Blabology nicht doch bald… 

——-

Tatsächlich nur Fiktion? Weit weg von der Realität?

Grafik: iStock / Jossdim

Schlagworte: , , , , , , , ,
Veröffentlicht in Allgemeines, Publikationswesen | 1 Kommentar »

Gebt uns bitte mehr Wörter!

10. Januar 2019 von Laborjournal

Ob bei Paper-Manuskripten oder Konferenzen — überall werden einem strenge Limits für Sprechzeiten oder Wörterzahlen gesetzt. Die Autorin des folgenden Gastbeitrags hat sich gerade ganz besonders darüber geärgert…

Okay, vielleicht ist es mein ganz persönliches Problem. Denn ja, ich gebe zu: Bereits in der Schule habe ich mit Vorliebe ausschweifend Gedichte interpretiert und mit Freude lange Diskussionen über biologische Fragestellungen verfasst. Und dennoch, mit zunehmender Reife habe ich mittlerweile auch etwas gegen Geschwafel und unnötige Repetitionen oder Füllwörter — sei es in Text- oder Sprechform — und versuche diese grundlegend zu vermeiden. Auch ist es klar, dass man zur besseren Verständlichkeit und „Verdaulichkeit“ für Außenstehende komplexe Sachverhalte in klare, präzise und eindeutige kurze Sätze fassen (können) sollte — zumal dies überdies den Eindruck von besonderer Kompetenz in dem jeweiligen Gebiet vermittelt.

Dennoch befinde ich mich diesbezüglich gerade in einem Zwiespalt. Und bin zunehmend frustrierter.

In Journal Clubs beschweren wir uns über Publikationen, bei denen unserer Meinung nach unerhörterweise wichtige Details „nirgendwo erwähnt werden — nein, auch nicht in den Supplements!“. Ebenso ärgern wir uns bei der Etablierung oder Optimierung von Methoden und Fragestellungen über all die Publikationen, in denen Zellzahlen, Konzentrationen, Antikörper-IDs, usw. nicht oder nur unzureichend angegeben werden. Im Gegensatz dazu bricht Freude aus, wenn wir tatsächlich eine komplette Doktorarbeit (!) zu dem gewünschten Thema im Netz finden, mit der man nun endlich Schritt für Schritt sämtliche Abläufe und Details komplett nachvollziehen kann.

Wir alle arbeiten an komplexen Themen und Fragestellungen. Und um diese einem Außenstehenden ausreichend erklären zu können, bedarf es nun mal eines Mindestmaßes an Zeit oder Worten. Aber nein, gerade wir jüngeren Wissenschaftler bekommen auf Fachkonferenzen ganze drei, fünf oder — welch’ ein Glück! — zehn Minuten zur Verfügung gestellt, um unser Projekt und unsere Ergebnisse vorzustellen (oder gar uns selbst und unsere Kompetenzen?).

Sicherlich, man sollte diese Präsentationen als „Teaser“ verstehen, in denen man kurz und knackig auf sich aufmerksam macht — das Interesse weckt, um dann in der darauffolgenden Pause oder Poster-Session auf mehr und konkretere Resonanz zu hoffen. Wenn es aber um Publikationen geht, frustriert mich die Lage endgültig.

Natürlich kann ich mein Manuskript kürzen, indem ich Aussagen sinnvoll konkretisiere oder aber mit List und Tücke (etwa Bindestrichen…) die Wortzahl künstlich drücke. Aber allem ist irgendwo eine Grenze gesetzt. Und so sehe ich mich letztlich gezwungen, Details im Material- und Methodenteil rauszustreichen, da dies alles ja offenbar „Common Knowledge“ sei. Oder ich verbitte mir jeden tieferen Gedankengang oder Einblick in meine Daten, nur um der lieben Wörter willen.

Irgendwann befinde ich mich dann an dieser kritischen Grenze, ab der sich mein Manuskript durch weiteres Kürzen zwar mehr und mehr der gewünschten Wortzahl nähert, es mit jedem Wort aber auch an Stärke, an Tiefe und letztlich an lebensnotwendiger Substanz verliert. Und ich beginne mich zu fragen, ob und wo ich wohl jemals genug Zeit bekommen werde und genug Wörter verwenden werden darf, um die viele Arbeit, die ich geleistet habe, in angemessenem Maße darlegen zu dürfen? Inklusive all meiner daraus resultierenden Daten sowie den zu Grunde liegenden wichtigen Details und Erkenntnissen. Oder muss ich dafür eigens einen YouTube-Kanal einrichten beziehungsweise extra ein Buch schreiben (quasi eine weitere Dissertation)?

Doch was bleibt mir anderes übrig? Ich beuge mich dem Druck, denn Publikationen „sind alles, was zählt“ — sagen „sie“. Und so sitze ich hier und kürze mein Manuskript, von 4.000 Wörtern auf 3.000, auf 2.500 Wörter,… — ganz nach dem Geschmack des jeweiligen Journals. Und die ganze Zeit trauere ich jedem Absatz, jedem einzelnen Wort hinterher, das doch so wichtig gewesen wäre, um von vorne bis hinten eine verständliche, nachvollziehbare und reproduzierbare Geschichte zu erzählen…

Britta Klein
Institut für Anatomie und Zellbiologie der Universität Gießen

Schlagworte: , , , , , , ,
Veröffentlicht in Publikationswesen | Keine Kommentare »

Neuere Einträge »