Eine kleine (nicht ganz) fiktive Geschichte über „meistzitierte Paper“

25. Juni 2019 von Laborjournal

Joseph Cooper war schon einige Jahre im Ruhestand. Zufrieden blickte er zurück auf ein jahrzehntelanges Forscherleben, in dem er durchaus einiges erreicht hatte. Vor allem zum Aufbau des Cytoskeletts hatte sein Labor der Forscherwelt eine ganze Reihe beteiligter Proteine und Mechanismen geliefert.

Ja, damals hatte das Forscherleben noch Spaß gemacht, dachte Cooper oft. Und dass er das Glück gehabt hatte, genau zur rechten Zeit aufhören zu können. „Rat race“, „Publish or perish“, „Apply or die“ — all diese üblen Schlag­worte, die heute große Teile des For­schungs­geschäftes charakterisieren, kamen erst ganz zum Ende seiner Karriere auf. Genau­so wie der Wahn um bibliometrische Zahlen und Evaluationen.

Gerade gestern war er wieder auf eines dieser regelmäßigen „Paper-Rankings“ gestoßen. Cooper störte daran nicht nur, dass dort verglichen wurde, was nicht verglichen werden kann — also etwa unter der Überschrift „Life Sciences“ kunterbunt die Zitierzahlen von Apoptose-Artikeln mit denjenigen von Papern über den pflanzlichen Sekundärstoffwechsel oder Multi-Center-Studien über Schuppenflechte verglichen wurden. Nein, da war noch eine andere Sache, von der er sich ganz besonders betroffen fühlte…

Zum x-ten Male präsentierten die Autoren unter anderem eine Liste der meistzitierten wissen­schaftlichen Paper aller Zeiten. Und ganz vorne standen natürlich wieder einmal die allseits bekannten „Methoden-Paper“ zur Proteinmessung von Lowry et al. sowie zur Polyacrylamid-Gelelektrophorese von Ulrich Karl Laemmli. Diese beiden hatten offenbar das Glück, dass deren Methoden auch Jahrzehnte später noch nahezu unmodifiziert und breitflächig angewendet wurden. Und dass man sie dafür immer noch brav zitierte. Das Lowry-Paper, so hieß es in dem Artikel, sammele, obwohl bereits 1951 publiziert, immer noch mehrere hundert Zitate jährlich.

Dass das nicht die Regel ist, wusste Cooper nur zu gut. Auch er hatte 1969 solch einen metho­di­sches „Überflieger-Paper“ geschrieben — zur Bestimmung der Molekulargewichte von Proteinen in SDS-Poly­acryl­amidgelen. Doch dieses erlitt das eher typische Schicksal: Zehn Jahre lang wurde es zitiert wie der Teufel, dann nahm die Zitierrate plötzlich ab, und zwanzig Jahre — oder 20.000 Zitate — später tauchte die Arbeit kaum noch in den Referenzlisten aktueller Artikel auf.

Das allerdings nicht, weil Protein-Molekulargewichte nicht mehr via SDS-Gele bestimmt wurden. Auch nicht, weil jemand ein besseres Gel-Verfahren entwickelt hatte. Nein, die Methode war im weltweiten Experimentieralltag einfach selbstverständlich geworden. Wie das Einstellen von pH-Werten. Und Selbstverständliches braucht keine Referenzen mehr.

„Ist ja auch gut und richtig so“, dachte Cooper. „Sonst würden die Referenzlisten ja irgendwann länger als die Artikel. Es zitiert schließlich auch keiner mehr Watson und Crick, wenn er was über die DNA-Struktur schreibt.“ Dennoch gibt es aus irgendwelchen Gründen, die Cooper nicht verstand, hin und wieder Ausreißer aus diesem Schema. Siehe Lowry und Laemmli.

Das ärgerte ihn zwar nur wenig, aber es relativierte für ihn doch erheblich deren Ruf als „meistzitierte Paper weltweit“.

Ralf Neumann

Bild: „White Wings“, Ölgemälde von Sylvain Loisant

Wie Poster-Sessions wieder lohnenswerter werden könnten

18. Juni 2019 von Laborjournal

Idealerweise seien die Poster-Sessions großer wissenschaftlichen Tagungen ein unglaublich fruchtbarer Boden für kreative Einsichten — so dozierte vor ein paar Tagen der Psychologie-Doktorand Mike Morrison gegenüber NPR. Und erklärte weiter:

Du gehst in einen Raum, bist völlig aufgeschlossen und bereit, Erkenntnisse über Dinge zu hören und zu lesen, an die du vorher nicht einmal gedacht hast. Wenn es hier fünfzig Poster gibt, dann sollten auf diese Weise fünfzig neue Erkenntnisse in dein Gehirn fließen.

Wie gesagt, idealerweise! Morrison weiß selbst, dass die Realität so gut wie immer eine ganz andere ist:

Für gewöhnlich sind Poster-Sessions eine völlig entmutigende Zeitverschwendung für alle Beteiligten. […] Statt eines Bildes und einer einprägsamen Schlagzeile gibt es massenweise Text auf den Plakaten. Wir gehen also durch einen Raum voller Poster mit Texten, die man unmöglich aufnehmen kann, wenn man nicht gezielt und lange davor stehen bleibt, um sie zu lesen. Aber es gibt so viele Poster — und so laufen wir einfach weiter. […] Es ist hauptsächlich ein eintöniges Rauschen. Und du versuchst verzweifelt, alles zu überfliegen — doch im Vorbeigehen wird dir zwangsläufig der größte Teil entgehen.

(Ein weiteres Dilemma solcher Poster-Sessions hatten wir hier im Blog übrigens mal unter dem Titel „Nie wieder Poster“ thematisiert.)

Doch Morrison meckert nicht nur, er macht auch sehr konkrete Vorschläge für ein radikal neues Poster-Format glasklarem Design. Doch bevor wir sie hier erklären… — beschrieben hat er all dies in dem folgenden Video mit dem Titel „How to create a better research poster in less time (including templates)“:

 

 

Sicher, die Poster-Sessions auf wissenschaftlichen Tagungen hätten es verdient, endlich wieder lohnenswerter und inspirierender für alle Beteiligten zu werden. Ob aber Morrisons Vorschlag rund um fette zentrale Schlagzeile samt QR-Code (siehe unten) tatsächlich ein erster Schritt dorthin sein könnten?

 

 

Die Meinungen darüber dürften auseinander gehen.

Ralf Neumann

x

Bessere Forscher nach frühen Fehlschlägen?

12. Juni 2019 von Laborjournal

Über Wohl und Wehe eines erfolgreichen Förderantrags entscheidet einzig und allein die wissen­schaftliche Exzellenz des Kandidaten und seines beantragten Projekts. Gerade die Programme zur Förderung des wissenschaftlichen Nachwuchses betonen dies immer wieder neu als oberste Maxime. Der Gedanke dahinter ist klar: Die Besten von heute werden ziemlich sicher auch die Besten von morgen sein — gerade, wenn man sie schon früh identifiziert und fördert. Hinterfragt hat das bislang nahezu niemand.

Umso überraschender verkünden jetzt drei Herren namens Wang, Jones & Wang von der North­western University in Evanston/USA, dass diese These von „Früh top, immer top“ womöglich stärker wackeln könnte als gedacht (arXiv:1903.06958v1).

Wie kommen sie darauf? Diesen Beitrag weiterlesen »

Die Angst des Forschers vor dem Kommentieren

5. Juni 2019 von Laborjournal

… Dieses Schicksal unseres Forschers Ernst teilt bislang offenbar die große Mehrheit der Kollegen, die in einer Open-Access-Zeitschrift mit Post-Publication-Peer-Review (PPPR) veröffentlichten. Zumindest ist dies das Ergebnis einer Studie, die englische Informations­wis­sen­­schaftler Anfang des Jahres unter dem Titel „‘No comment’? A study of commenting on PLOS articles“ im Journal of Information Science (doi: 10.1177/0165551518819965) publizierten.

Für die Studie durchforsteten die Autoren sämtliche Artikel, die zwischen 2003 und 2016 in allen PLOS-Journalen erschienen waren, und analysierten die Kommentare, die in gewünschter PPPR-Manier dazu abgegeben wurden. Die Ergebnisse waren — kurz gesagt — enttäuschend:

  • Alle untersuchten 15.362 Artikel zusammen zogen insgesamt 30.034 Kommentare nach sich, die sich allerdings auf nur 7,4 Pro­zent der Artikel verteilten.
  • Das heißt im Umkehrschluss, dass 92,6 Prozent der Artikel überhaupt nicht kommentiert wurden und somit — abgesehen von einer groben Soliditätsprüfung vor der Veröffentlichung — prinzipiell unbegutachtet blieben.
  • Von diesen „kommentierten“ Artikeln erhielten zwei Drittel lediglich einen Kommentar.
  • Ein Drittel der Kommentare hatte ausschließlich prozeduralen Inhalt — so wurden etwa Druckfehler, kleinere Irr­tümer oder die Autorenreihenfolge korrigiert sowie auf weiter­füh­ren­de Links oder nachfolgende Medien­bericht­erstattung hingewiesen.
  • Zwei Drittel beschäftigten sich tatsächlich „akademisch“ mit dem jeweiligen Artikel, wobei ein guter Teil davon lediglich aus Fragen an die Autoren oder Hinweisen auf zusätzliches „Material“ bestand. Nur gut die Hälfte dieser Kommentare diskutierte tatsächlich den Inhalt des jeweiligen Papers in Form von Lob oder Kritik.
  • Von diesen „akademischen“ Kommenta­ren wiederum beschränkten sich zwei Drittel auf die rein technische Solidität des Papers. Nur ein Drittel widmete sich mindestens einem der Aspekte „Neuheit“, „Relevanz für das betreffende Journal“ und „Bedeutung der Ergebnisse“ — also genau denjenigen Aspekten, die ein gesunder Peer Review eigentlich abschließend beurteilen soll.

Nach alldem scheint es also gewaltig mit der Praxis des PPPR zu hapern — und das ironischerweise gerade dort, wo er schon lange möglich ist.

Die Autoren schreiben denn auch selbst im Blog Scholarly Kitchen über ihre Studie:

Teilweise bestätigt unsere Forschung, was viele Verlage bereits wissen: Wissenschaftler kommentieren Paper nur selten.

Und als Hauptursache dafür machen sie schließlich das allzu feste Kleben an langjährigen akademischen Traditionen aus. So schreiben sie am Ende weiter:

Unsere Forschung zeigt, dass […] akademische Kommentare meist Fragen der techni­schen Solidität ansprechen — ironischerweise gerade der Aspekt, der [bei PLOS] bereits in der Vorab-Beurteilung geprüft wird. Damit PPPR-Modelle aber funktionieren wie ursprünglich konzipiert, müssen die Verlage nicht einfach nur mehr Wissenschaftler davon überzeugen, dass sie häufiger kommentieren — was sowieso schon eine große Herausforderung darstellt —, sondern zugleich auch, dass diese auf eine andere Art kommentieren. Leider stößt sich vieles davon an den langjährigen akademischen Kulturen, die notorisch schwer zu verändern sind. Dennoch müssen gerade die Bereitschaft zum Kommentieren sowie die grundsätzliche Teilnahme am Peer Review viel stärker als Beiträge zum Dialog innerhalb der Forschergemeinde anerkannt und belohnt werden.

Hört sich an, als hätte praktischer PPPR immer noch einen weiten Weg vor sich.

 

(Dieser Beitrag erscheint in unserer Print-Ausgabe 6/2019 ab dem 19. Juni. Hier im Blog ver­öffent­li­chen wir ihn vorab.)

x