Gutachter-Statistik

9. Oktober 2019 von Laborjournal

Unser „Forscher Ernst“ bekommt den Gutachter-Blues…

(Jede Menge weiterer Labor-Abenteuer von „Forscher Ernst“ gibt es hier.)

x

Referenzlisten auf Schmalspur

2. Oktober 2019 von Laborjournal

Es gibt Dinge, die ärgern Forscher ganz besonders. Mit zu den „Highlights“ ge­hört sicherlich, wenn man ein frisches Paper liest, dessen Inhalt klar erfordert, dass es die ein oder andere eigene Ar­beit zitiert — aber nichts, nicht ein einziges Mal wird man in der Referenz­liste erwähnt.

Manchmal ruft man daraufhin den verantwortlichen Autor an. Schließlich arbeitet er im gleichen Feld, und man kennt sich ja. Doch die Antwort, die man dann bisweilen erhält, lässt den For­scherkamm nur noch dicker an­schwel­len:

„Ja, tut mir leid. Das war uns natürlich bewusst. Aber das blöde Journal akzeptiert nur maximal 25 Referenzen — da mussten wir zwangsweise das eine oder andere wichtige Paper weglassen.“

Ganz toll! Und dann fügt er noch hinzu:

„Weißt du, was mir zuletzt mit einem anderen Paper passiert ist? Da hat das Journal die Referenzliste sogar eigenmächtig auf Layout-freundliches Maß zurechtgestutzt.“

Geht‘s eigentlich noch?

Um das jetzt mal ganz klarzumachen: Life-Science-Forschung ist ein derart vielfältiges Gebiet, da können die Verlage unmöglich einfach mal festlegen, dass sich ein jedes Paper auf dieser Erde auf den Ergebnissen von nicht mehr als 25 oder 30 Referenzen aufbauen ließe. Manche brauchen die Vorarbeit von mehr als hundert, wobei jedes einzelne davon zu Recht in der Referenzliste steht!

Und ganz abgesehen davon: Sollte es nicht zu den Hauptaufgaben der Forschungsblätter gehören, dem geneigten Leser die Möglichkeit zu bieten, genauestmöglich nachvollziehen zu können, auf wessen „Schultern“ die präsentierten Ergebnisse tatsächlich stehen?

Klar, eine weitere Schlüsselaufgabe der Gutachter ist natürlich, gleichsam unnötige oder unverdiente Referenzen wieder auszusortieren — gerade um nicht immer ganz lautere „Über­zitie­rung“ zu vermeiden. Aber hier geht es um die vorweg festgelegten Limits für die Referenzlisten — und die sind oftmals viel zu niedrig.

Was daraus resultiert, klingt fast schon wie ein schlechter Witz: Für die Forscher sind Zitierungen heute so wichtig wie noch nie (wenn auch infolge eines zugegebenermaßen fehlgeleiteten Belohnungssystems) — während die Zeitschriften mit solchen schmalspurigen Maßnahmen den tieferen Zweck des wissenschaftlichen Referenzierens mit Füßen treten.

Ralf Neumann

(Eine etwas andere Version dieses Textes erschien bereits in unserer Printausgabe Laborjournal 12/2015.)

x

Steuert Google Scholar, was wir zitieren?

17. September 2019 von Laborjournal

Na ja, ganz so ist es natürlich nicht. Schließlich sind es immer noch die Autoren, die bestimmen, welche Paper sie in die Referenz­listen ihrer eigenen Manuskripte aufnehmen. Allerdings sind Autoren manchmal auch einfach faul — und dann bestimmt die allseits beliebte Literatur-Such­ma­schi­ne Google Scholar deren Zitierverhalten womöglich wirklich ganz schnell mit.

Vorletzte Woche tweetete beispielsweise der Scientific-American-Reporter George Musser folgendes über einen Vortrag beim Metascience 2019 Symposium an der Stanford University:

Demnach zeigte der Informationswissenschaftler Jevin D. West von der University of Washington („@jevinwest“) in seinem Vortrag Daten, nach denen Forscher wohl öfter schlichtweg diejenigen Paper zitieren, die Google Scholar ihnen bei oberflächlicher Recherche gleich „vorne“ anzeigt — auch wenn „weiter hinten“ in den Suchergebnissen womöglich Artikel folgen, die es viel mehr verdient hätten, für die jeweilige Studie zitiert zu werden.

Fachleute bezeichnen dies als “First Results Page Syndrome”, nach dem Suchmaschinen-Nutzer diejenigen Dokumente stark bevorzugen, die ihnen gleich auf der ersten Ergebnisseite angezeigt werden. Und im Gegensatz zu anderen wissenschaftlichen Literatur-Datenbanken sortiert Google Scholar eben nicht nach Datum, sondern nach Relevanz. Wobei Google Scholar „Rele­vanz“ insbesondere anhand der Zitierungen der einzelnen Artikel misst.

Zusammen mit dem First Results Page Syndrome und der Bequemlichkeit der Autoren sorgt dies dafür, dass die Zitierungen sich insgesamt immer stärker auf immer weniger sowieso schon viel­zitier­te Artikel konzentrieren. Diesen Beitrag weiterlesen »

Mehr Zitate durch Open Data

18. Juli 2019 von Laborjournal

Wie kann ich mit jedem Artikel 25 Prozent mehr Zitierungen ein­sammeln? Jedenfalls im Schnitt, und ohne allzu großen Mehraufwand…

Hand auf’s Herz — das klingt verlockend, oder? Welcher Forscher checkt heutzutage nicht regel­mäßig sein Zitatekonto — auch wenn es viele nicht wirklich zugeben? Und wenn dann einer ganze 25 Prozent „Rendite“ verspricht…

Das Rezept, wie man sich diese Rendite „ver­dienen“ kann, hat gerade ein englisch-nie­der­lädisches Team unter dem Titel „The citation advantage of linking publications to research data“ in arXiv verkündet (arXiv:1907.02565v1) — und es ist denkbar einfach: Stelle sämtliche Daten, die deinem Paper zugrunde liegen, öffentlich für alle zur Verfügung — und schon wirst du dafür durchschnittlich ein Viertel mehr an Zitierungen einstreichen.

Für ihre Studie nahmen sich die Autoren über eine halbe Million Artikel vor, die zwischen 1997 und 2018 in 350 Open-Access-Zeitschriften der Verlage Public Library of Science (PLoS) und BioMed Central (BMC) erschienen waren. Etwa ein Drittel davon enthielt Data Availability Statements und beinhaltete somit jeweils einen Link zu einem Repositorium, in dem die Autoren sämtliche relevante Originaldaten öffentlich zugänglich hinterlegt hatten. Ganz im Sinne von Open Data also. Und siehe da, dieses Drittel an Papern wurde nachfolgend im Schnitt um 25 Prozent häufiger zitiert als die anderen zwei Drittel, die keine Daten offengelegt hatten.

Schöne Sache, oder? Zumal dadurch die Forscher landauf landab erst recht dazu motiviert werden könnten, ihre Daten für alle offenzulegen. Sicher, man sollte das Konzept von Open Data eigentlich aus ganz anderen Beweggründen beherzigen, als dass ich dadurch ein paar Zitate mehr auf mein Konto hieve — aber hier kann man es vielleicht einfach mal so stehen lassen, dass über nicht ganz saubere Incentives am Ende dennoch das Richtige gepusht wird. Der Zweck heiligt bekanntlich die Mittel.

Zumal die Studie der wahren Bedeutung von Zitierzahlen ja eigentlich kein gutes Zeugnis ausstellt, wenn man nur ein bisschen weiter denkt. Schließlich bleibt das publizierte Paper mit den präsentierten Ergebnissen und Schlussfolgerungen ja punktgenau dasselbe — ob ich nun die zugrundeliegenden Daten dahinter offenlege oder nicht. Dennoch bekomme ich dadurch 25 Prozent mehr Zitierungen. Womöglich nur, weil die Open Data hinter dem Paper etwas mehr Aufmerksamkeit darauf lenken? Wie auch immer, bei derart leicht verursachbaren Schwankungen kann die Zitierzahl eines bestimm­ten Papers wohl kaum ein direktes Maß für die Qualität der darin beschriebenen Ergebnisse sein.

Aber das wissen wir ja eigentlich schon lange — siehe etwa hier, hier und hier.

Ralf Neumann

Lustig oder nicht – Welcher Titel für mein Paper?

12. Juli 2019 von Laborjournal

Unser „Forscher Ernst“ hat jüngst darüber nachgedacht…

 

(Über 150 weitere „Abenteuer“ aus mehr als zwanzig Jahren „Forscher Ernst“ gibt’s hier.)

x

Warum Selbstzitate öfter mal nicht „böse“ sind …

2. Juli 2019 von Laborjournal

(Über 150 weitere „Abenteuer“ aus mehr als zwanzig Jahren „Forscher Ernst“ gibt’s hier.)

Eine kleine (nicht ganz) fiktive Geschichte über „meistzitierte Paper“

25. Juni 2019 von Laborjournal

Joseph Cooper war schon einige Jahre im Ruhestand. Zufrieden blickte er zurück auf ein jahrzehntelanges Forscherleben, in dem er durchaus einiges erreicht hatte. Vor allem zum Aufbau des Cytoskeletts hatte sein Labor der Forscherwelt eine ganze Reihe beteiligter Proteine und Mechanismen geliefert.

Ja, damals hatte das Forscherleben noch Spaß gemacht, dachte Cooper oft. Und dass er das Glück gehabt hatte, genau zur rechten Zeit aufhören zu können. „Rat race“, „Publish or perish“, „Apply or die“ — all diese üblen Schlag­worte, die heute große Teile des For­schungs­geschäftes charakterisieren, kamen erst ganz zum Ende seiner Karriere auf. Genau­so wie der Wahn um bibliometrische Zahlen und Evaluationen.

Gerade gestern war er wieder auf eines dieser regelmäßigen „Paper-Rankings“ gestoßen. Cooper störte daran nicht nur, dass dort verglichen wurde, was nicht verglichen werden kann — also etwa unter der Überschrift „Life Sciences“ kunterbunt die Zitierzahlen von Apoptose-Artikeln mit denjenigen von Papern über den pflanzlichen Sekundärstoffwechsel oder Multi-Center-Studien über Schuppenflechte verglichen wurden. Nein, da war noch eine andere Sache, von der er sich ganz besonders betroffen fühlte…

Zum x-ten Male präsentierten die Autoren unter anderem eine Liste der meistzitierten wissen­schaftlichen Paper aller Zeiten. Und ganz vorne standen natürlich wieder einmal die allseits bekannten „Methoden-Paper“ zur Proteinmessung von Lowry et al. sowie zur Polyacrylamid-Gelelektrophorese von Ulrich Karl Laemmli. Diese beiden hatten offenbar das Glück, dass deren Methoden auch Jahrzehnte später noch nahezu unmodifiziert und breitflächig angewendet wurden. Und dass man sie dafür immer noch brav zitierte. Das Lowry-Paper, so hieß es in dem Artikel, sammele, obwohl bereits 1951 publiziert, immer noch mehrere hundert Zitate jährlich.

Dass das nicht die Regel ist, wusste Cooper nur zu gut. Auch er hatte 1969 solch einen metho­di­sches „Überflieger-Paper“ geschrieben — zur Bestimmung der Molekulargewichte von Proteinen in SDS-Poly­acryl­amidgelen. Doch dieses erlitt das eher typische Schicksal: Zehn Jahre lang wurde es zitiert wie der Teufel, dann nahm die Zitierrate plötzlich ab, und zwanzig Jahre — oder 20.000 Zitate — später tauchte die Arbeit kaum noch in den Referenzlisten aktueller Artikel auf.

Das allerdings nicht, weil Protein-Molekulargewichte nicht mehr via SDS-Gele bestimmt wurden. Auch nicht, weil jemand ein besseres Gel-Verfahren entwickelt hatte. Nein, die Methode war im weltweiten Experimentieralltag einfach selbstverständlich geworden. Wie das Einstellen von pH-Werten. Und Selbstverständliches braucht keine Referenzen mehr.

„Ist ja auch gut und richtig so“, dachte Cooper. „Sonst würden die Referenzlisten ja irgendwann länger als die Artikel. Es zitiert schließlich auch keiner mehr Watson und Crick, wenn er was über die DNA-Struktur schreibt.“ Dennoch gibt es aus irgendwelchen Gründen, die Cooper nicht verstand, hin und wieder Ausreißer aus diesem Schema. Siehe Lowry und Laemmli.

Das ärgerte ihn zwar nur wenig, aber es relativierte für ihn doch erheblich deren Ruf als „meistzitierte Paper weltweit“.

Ralf Neumann

Bild: „White Wings“, Ölgemälde von Sylvain Loisant

Zehnmal #Forscherfrust

28. Februar 2019 von Laborjournal

In der vergangenen Woche eröffneten wir auf Twitter den Hashtag #Forscherfrust. Unsere zehn Beispiele für entsprechende Frusterlebnisse rund um das Forscher-Dasein sind hier nochmals zusammengetragen:

x

x

Wenn jemand noch weitere Beispiele loswerden will — entweder hier unten im Kommentarfenster oder unter dem Hashtag #Forscherfrust auf Twitter.

x

Von verdienten aber verschwiegenen Co-Autoren

4. Dezember 2018 von Laborjournal

Schau mal an! Wieder eine E-Mail eines… — nun ja, verärgerten Nachwuchsforschers. Be­schwert sich, dass er nicht als Co-Autor mit auf das jüngste Paper seiner Gruppe genommen wurde. Totaler Skandal, weil er das natürlich klar verdient gehabt hätte — mehr noch als der konkrete Zweitautor. Ob wir das nicht öffentlich machen könnten. Solches Unrecht gehöre schließlich mal an den Pranger gestellt. Und nein — ihm selbst könne nix mehr passieren, da er inzwischen die Gruppe gewechselt habe. Aber sauer sei er natürlich immer noch…

Etwa ein Dutzend solcher E-Mails bekommen wir im Jahr. Einige Male haben wir tatsächlich nachgefragt. Und stets war „der Fall“ kaum objektiv darstellbar. Bisweilen schien es sogar ziemlich plausibel, warum der „Kläger“ letztlich nicht mit auf dem besagten Paper stand.

Dabei werden offenbar tatsächlich die Nachwuchsforscher vom Postdoc bis zum Master-Studenten mit am ehesten aus den Autorenlisten draußen gelassen. Zumindest war dies eines der Ergebnisse einer Umfrage der beiden US-Soziologen John Walsh und Sahra Jabbehdari aus dem Jahr 2017. Und die hatten dazu in den USA einige Leute mehr befragt als wir hier: Am Ende konnten sie die Angaben von 2.300 Forschern zu deren eigenen Publikationen auswerten (Sci. Technol. Human Values 42(5): 872-900).

Machen wir’s kurz:

» Nach Walsh und Jabbehdari listete ein Drittel der Artikel aus Biologie, Physik und Sozialwissenschaften mindestens einen „Gastautor“ mit auf, dessen Beitrag die Anforderungen für eine Co-Autorenschaft eigentlich nicht erfüllte. Angesichts von Ehren- und Gefälligkeits-Autorschaften wie auch ganzen Co-Autor-Kartellen war ein solch hoher Anteil womöglich zu erwarten.

» Viel erstaunlicher dagegen mutet jedoch der noch höhere Anteil an Artikeln an, auf denen ein oder mehrere Co-Autoren verschwiegen wurden, die wegen ihres Beitrags zur Studie eigentlich mit aufgelistet gehört hätten. Die befragten Forscher gaben an, dass hinter ganzen 55 Prozent ihrer Artikel noch mindestens ein weiterer „Geister-Autor“ gestanden hätte. Biologie und Medizin lagen genau in diesem Schnitt, während Ingenieurs-, Umwelt- und Agrarwissenschaften noch deutlich höher lagen. Den niedrigsten Anteil an „Geister-Autoren“ ermittelten die Verfasser mit 40 Prozent für die Mathematik und Computerwissenschaften.

» Und wer wurde hierbei bevorzugt „verschwiegen“? Neben Technischen Angestellten interes­san­ter­wei­se eher Postdocs als „Graduate Students“, also Doktoranden und Master-Studenten. In der Medizin lag der Anteil der Postdocs unter den „Verschwiegenen“ etwa bei 28 Prozent gegenüber 16 Prozent „Graduate Students“; in der Biologie betrug dasselbe Verhältnis 21 gegenüber 15 Prozent.

In der Summe heißt das also, dass in den Autorenzeilen jeder fünften Veröffentlichung aus den Medizin- und Biowissenschaften mindestens ein Nachwuchsforscher fehlt, der die Nennung eigentlich verdient gehabt hätte. Sicher lässt sich einwerfen, dass die gleiche Befragung in Europa womöglich andere Zahlen liefern würde. Aber würden Sie, liebe Leser, eine Voraussage wagen, in welche Richtung sich die geschilderten US-Verhältnisse dann verschieben könnten?

Wir meinen, angesichts der Bedeutung, die Co-Autorenschaften heutzutage für wissenschaftliche Karrieren haben, liefern bereits die US-Zahlen alleine ziemlich verstörende Erkenntnisse. Und für uns daher ein Grund mehr, um E-Mails wie der oben erwähnten tatsächlich nachzugehen.

Ralf Neumann

Zeichnung: Rafael Florés

Monolog vor dem Paperschreiben

18. Oktober 2018 von Laborjournal

„Okay, erstmal kurz nachdenken! Wie pack ich’s jetzt an? Wie schreibe ich all das nette Zeug jetzt auf?

Dass ich das alles nicht so bringen kann, wie es sich wirklich abgespielt hat, ist klar. Die ganzen Irrungen und Wirrungen, die Umwege, Rückbesinnungen und Neustarts, bis wir endlich am Ziel waren — da wird der Leser ja wahnsinnig.

Warum also die Einzelteile nicht neu ordnen und das Ganze wie einen Thriller aufziehen? Zuerst beschreibe ich die Reise unseres kleinen Trupps zum Ort des Geschehens (und illustriere sie in Fig. 1), um dann dort eingehend die Umgebung zu erkunden (Fig. 2). Dabei stoßen wir natürlich — Trommelwirbel! — zielsicher auf ein ziemlich unerwartetes und dunkles Mysterium (Fig. 3).

Mit allen Mitteln der Kunst untersuchen wir den rätselhaften Ort — und sammeln tatsächlich einen Hinweis nach dem anderen, was hier eigentlich vor sich gehen könnte (Fig. 4 A bis H). Bis wir an den Punkt kommen, an dem wir innehalten und versuchen, all diese Hinweise zu einem sinnvollen Muster zu ordnen (Fig. 5 A bis D). Und dabei fällt es uns plötzlich wie Schuppen von den Augen, so dass wir — nochmal Tata! — die logische Antwort auf unser Mysterium schließlich glasklar vor uns liegen sehen (Fig. 6).

Zum endgültigen Abrunden der Story bleibt dann nur noch der Epilog, der das finale Fazit noch mal schön klar zusammenfasst (Fig. 7). Et violá!“

(… Kurzes Innehalten, dann weiter…)

„Hm… Klingt zwar gut, keine Frage. Allerdings… Ich befürchte, dass wohl nur die Allerwenigsten mein ausgefeiltes Präsentationskonzept inklusive perfekt arrangiertem Spannungsaufbau überhaupt registrieren werden. Denn wie mache ich es denn selbst als Leser? Bei der wenigen Zeit, die man für die Literatur hat? Eigentlich läuft es doch immer etwa so:

Ich schaue mir jedes Paper gerade mal bis zur Fig. 1 an, höchstens bis zur Fig. 2. Da muss es mich schon ganz schön packen, dass ich mir mehr anschaue… Was eigentlich nie passiert, da die Auflösung ja sowieso schon vorne im Abstract steht. Also schaue ich mir lieber schnell das nächste Paper an… und das nächste… und das nächste….

Vielleicht sollte ich es also doch lieber andersherum aufziehen und den großen Clou der Story gleich vorne in die Fig. 1 stecken. Dann würden all die potenziellen „Schnellgang-Drüberschauer“ vielleicht wenigstens die Hauptbotschaft mitnehmen. Und wer aus irgendeinem Grund dennoch weiter liest, bekommt dann eben noch die ganzen Hintergründe dazu…

Hm… Ich glaube, so mach‘ ich’s! Man muss am Ende eben doch nach dem gehen, wie die Leute ticken, die man erreichen will.“

Ralf Neumann

x

Information 1


Information 2


Info

Info

Info

Erhalten Sie Top Angebote auf eine Vielzahl von Eppendorf Laborgeräten – einfach online einkaufen! mehr