Über Zufall und Willkür beim Peer Review

31. August 2012 von Laborjournal

Publizieren scheint immer schwerer zu werden. Denn nicht nur Nature oder Science, nein auch viele Medium-Impact-Journals nehmen offenbar immer weniger Manuskripte zur Publikation an. Ein Herunterdrehen von 40% akzeptierter Manuskripte vor 15 Jahren auf heutzutage unter 15% ist beispielsweise keine Seltenheit.

In einem Editorial in Ideas in Ecology and Evolution (vol. 5: 9-12, 2012) beschrieb die Kanadierin Lonnie W. Aarssen solch „drakonische Standards“ nicht gerade schmeichelhaft als:

… product of gate-keeping elitism, motivated by self-serving goals of journal publishers and editors to elevate impact factor as a symbol of status, and to compete with other journals for that status.

Der Ökologe David Wardle von der Universität Umeå in Schweden untersuchte nun beispielhaft, welche Konsequenzen dieser „Gatekeeping Elitism“ für die Qualität ökologischer Veröffentlichungen hat (Ideas in Ecology and Evolution vol. 5: 13-15, 2012). Was er herausfand, ist durchaus alarmierend.

Zur Methodik. Aus den vier ökologischen Mainstream-Journals Ecology, Oikos, Functional Ecology and Ecology Letters, deren Akzeptanzraten allesamt zuletzt scharf auf 10 bis 20% abknickten, suchte Wardle jeweils 30 Artikel aus dem Jahr 2009 heraus. Zum Vergleich selektierte er ebenso 30 ähnlich gestrickte Ökologie-Artikel desselben Jahres aus der Open Access-Zeitschrift PLoS ONE, die aufgrund ihres offeneren Review- und Publikationskonzepts ganze 69% aller eingereichten Manuskripte akzeptiert.

Wie oft wurden die ausgewählten Artikel nun bis Mai 2012 zitiert? Wardle schreibt:

The results of the analysis […] show that ecological papers published in PLoS ONE, which accepts 69% of submissions, publishes work that on average has a greater impact than papers published in Oikos which accepts 15% of submissions, and has a comparable impact to those in Ecology and Functional Ecology which respectively accept 20% and 15% of submissions. Ecological papers published in PLoS ONE are on average cited less than those in Ecology Letters (with an 11% acceptance rate) but even here there is considerable overlap; 20% and 23% respectively of ecological papers published in PLoS ONE have been cited more often than the mean and median research paper published in Ecology Letters, and 27% and 17% respectively of research papers published in Ecology Letters have been cited less often than the mean and median ecological research paper published in PLoS ONE.

Das heißt, die ökologischen Journals mit Akzeptanzraten von 15-20% haben im Schnitt einen vergleichbaren oder gar niedrigeren Impact als ökologische Artikel in PLoS ONE, obwohl letztere Zeitschrift nur eine Minderheit der eingereichten Manuskripte ablehnt.

Dafür gibt es laut Wardle nur zwei mögliche Erklärungen. Die eine ist, dass die Qualität der bei PLoS ONE eingereichten Artikel durchschnittlich höher ist als diejenige der Manuskripte, welche die vier Ökologie-Journals zur Veröffenlichung erhalten. Mit der logischen Folge, dass die Top 69% der eingereichten Artikel bei PLoS ONE auf einer Stufe mit den Top 15-20% der Manuskripte bei den „ökologischen Vier“ stünden — und somit ähnlich viele Zitierungen auf sich zögen.

Das jedoch hält Wardle für unwahrscheinlich:

This is scarcely credible; I suspect that few ecologists submit to PLoS ONE in preference to say Ecology (indeed I have heard ecologists sneer about PLoS ONE as the journal that will publish ‘anything’), and my own observation is that authors often submit to that journal only after having had their work rejected by the main ecological journals.

Bleibt also Erklärung Nummer zwei, und die ist nicht gerade eine positive. Denn nach Abschmettern der Erklärung Nummer eins muss diese ja davon ausgehen, dass die Qualität aller eingereichter Ökologie-Artikel — sei es, bei PLoS ONE oder in einem der ökologischen Journals — etwa gleich ist. Laut Wardle erlaubt dies wiederum nur ein logisches Fazit. Nämlich, dass…:

… rejections by the main ecological journals to maintain a low acceptance rate are often arbitrary and independent of scientific merit, and that a large proportion of papers rejected by ecological journals are just as important for the scientific record and just as likely to be well cited as those that they do accept. If this is the case, then the assumption that rejecting a large proportion of submissions will result in a higher average quality of published papers that garner a larger numbers of citations and boost the journal’s impact factor, is largely unsupported from this analysis.

Ist das tatsächlich so, dann ergeben sich eher düstere Implikationen für den Fortschritt der Forschung. Denn das heißt prinzipiell, dass die vielen Artikel, welche die vier Öko-Zeitschriften ablehnen, offenbar keineswegs weniger gut und wichtig sind als die wenigen, die sie akzeptieren. In Wardles Worten:

Given that the plummeting acceptance rates of major journals is impeding dissemination of research results and thus progress in ecology, and that there is no evidence that when journal acceptance rates are in the order of 10-20% the papers that they accept are any better than many of those that they reject, a substantial change in culture regarding publication is needed.

Eine Änderung der Publikationskultur also. Etwa indem man alternative Online-Publikationsmodelle ohne Platzbegrenzung unterstützt, die sich zudem einen weniger rigiden Peer Review leisten können, da sie nicht so sehr auf Elitismus und Impact-Punkte schielen. Ganz à la PLoS ONE also.

Schlagworte: , , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...