Nicht mehr ein Herausgeber und meist anonyme Gutachter sollen über Publikation, Revision oder rüde Ablehnung eines Manuskripts entscheiden. An die Stelle der frustrierenden und fehleranfälligen Prozedur des traditionellen Peer Review soll die geballte Intelligenz der Crowd treten. Jedes Manuskript könnte sofort publiziert werden. Korrekturen und Erwiderungen auf kritische Fragen fachkundiger Leser könnten die Autoren schließlich auch nachträglich einarbeiten.
Schon vor einigen Jahren gab es vereinzelt Enthusiasmus für diese offene, transparente Form der Bewertung des akademischen Outputs. Innovative Verlage richteten damals erstmals Kommentarmöglichkeiten unter ihren Artikeln ein. Schade nur, dass das Angebot kaum angenommen wurde, die Diskussionsboxen der Journals sind bis heute weitgehend verwaist.
Jetzt aber ist eine zweite Welle des PPPR-Enthusiasmus ins Rollen gekommen. Diesmal scheinen die Erfolgsaussichten größer zu sein; denn das Online-Verhalten auch der Wissenschaftler hat sich in den letzten Jahren verändert. Auch Forscher sind nicht mehr nur passive Internet-Konsumenten, sie sind zunehmend in sozialen Medien aktiv (siehe diese aktuelle Analyse von Richard van Noorden).
Diverse Plattformen für PPPR gibt es bereits: PubPeer, PubMedCommons, F1000, The Winnower und noch einige mehr. Nicht unterschätzen darf man auch Wissenschaftler, die neue Fachartikel in individuellen, selbst betriebenen Blogs auseinander nehmen, oft detailliert und kenntnisreich.
Die Möglichkeit, diese öffentlichen Besprechungen über soziale Medien rasch zu verbreiten, lenkt Aufmerksamkeit auf besonders intelligente Arbeiten, auf besonders wichtige Ergebnisse; aber auch auf übel zusammengepfuschte, besonders kontroverse, besonders unethische Manuskripte, die früher vielleicht ignoriert worden wären. Dies alles ist begrüßenswert, auch wenn konservative Knochen noch so vehement gegen den „Internet-Mob“ wettern und einen traditionellen Letter to the Editor einer hitzigen Online-Diskussion vorziehen.
Naiv ist dagegen die revolutionäre Idee, dass PPPR sämtliche Funktionen des (zugegebenermaßen reichlich kaputten) traditionellen Peer Review der Journals ersetzen könnte. Demnach könnten doch alle Studien sofort ohne weitere Prüfung publiziert werden; die Bewertung von Stärken und Schwächen ergebe sich nach und nach durch die eintrudelnden Kommentare. Die umständliche, intransparente – und den Verlagen teuer bezahlte – Prozedur des Pre-Publication Peer Review könnte also entfallen.
Mir scheint, diese Vision ist weder realistisch noch wünschenswert, unter anderem aus folgenden Gründen:
1. Die Publikationsflut
Jährlich erscheinen weit über eine Million neue Fachaufsätze, in mehr als 20.000 verschiedenen Journals (siehe z.B. hier). Wie wird diese Paper-Flut eigentlich möglichst lückenlos und kenntnisreich begutachtet? Woher nehmen Wissenschaftler dafür die Zeit und wie finden Reviewer und Artikel zueinander? Dass Peer Review als universelles Prinzip akademischen Publizierens nach wie vor stattfindet, grenzt angesichts der immensen Artikel-Produktion fast an ein Wunder.
Wichtig sind dabei die soziologischen Details der traditionsreichen Prozedur: Meist fragt ein vom Journal bestellter Herausgeber (der Editor), oft selbst ein angesehener Forscher des jeweiligen Fachgebiets, gezielt Peers an, manchmal in einer persönlich gehaltenen Nachricht. Die Angefragten fühlen sich häufig verpflichtet, die Mühe des unbezahlten Begutachtens auf sich zu nehmen – zum Beispiel, weil der umworbene Reviewer vor kurzem im selben Journal publiziert hat oder in Zukunft vorhat, dort zu veröffentlichen; weil er den Editor persönlich kennt (und ihm vielleicht einen Gefallen schuldet); oder einfach, weil sich der Angesprochene als Teil der „Community“ dem Journal besonders verbunden fühlt.
Ohne diese sanften Daumenschrauben wäre es gerade für „durchschnittliche“ Journals schwer, Gutachten einzusammeln. Und ja, das kann manchmal ein wenig nach Kumpanei riechen. Aber dieses Sich-gegenseitig-verpflichtet-fühlen sorgt dafür, dass es, oft nach Bitten und Betteln, meist doch gelingt, Zusagen von zwei bis drei halbwegs hilfreichen Peers an Land zu ziehen (bevor der Herausgeber vielleicht erneut zum Hörer greifen muss, um säumige Gutachter an den verpassten Abgabetermin zu erinnern).
Vielleicht könnte man diese Netzwerke auch auf PPPR-Basis nachbilden (der Ansatz von F1000Research geht in diese Richtung). Aber in der Praxis kann man jetzt schon erkennen: Das öffentliche Besprechen ohne gezielte Einladungen ausgewählter Experten funktioniert nicht für "langweilige", also alltägliche Artikel. Welche Paper ziehen zum Beispiel bei PubPeer Kommentatoren in großer Zahl an? Im Moment sind das insbesondere kontroverse Arbeiten in Nature, Science und Cell. Oft geht es den Kommentatoren dabei weniger um die Wissenschaft selbst, als vielmehr um den Verdacht auf groben Pfusch oder unerlaubte Praktiken, wie z.B. das leidige Kopieren von Western-Blot-Banden.
Bitte nicht falsch verstehen: Die bei PubPeer veröffentlichte Kritik ist ein wertvoller Beitrag zur Hygiene der wissenschaftlichen Literatur. Aber neben aufgeregten Debatten um einige wenige herausgehobene Publikationen gibt es den großen Stapel „langweiliger“ Wissenschaft. Mal mehr, mal weniger solide Arbeiten also, die nicht bahnbrechend und auch nicht immer fehlerfrei sind. Auch und gerade diese alltägliche Arbeit verdient aber den prüfenden Blick der Kollegen, wenn sich schon sonst kaum einer dafür interessiert.
2. Expertenwissen ist dünn gesät und nicht jeder Experte ist auch ein guter Gutachter
Editors sind vor allem für ihre Macht berüchtigt, den Daumen über ein Paper zu heben oder zu senken. Eine andere Rolle wird dabei oft fast übersehen: Der Herausgeber wählt die Gutachter aus; wobei es, wenn er oder sie den Job ernst nimmt, einiges zu beachten gilt. So sollten die eingeladenen Gutachter untereinander alle Aspekte des Papers abdecken. Wenn sich Gutachter A mit Labormethoden auskennt, wird der Editor vielleicht eine Gutachterin B auswählen, die sich die Statistik vorknöpft. Darüber hinaus wird ein umsichtiger Herausgeber darauf achten, dass die Reviewer keine Interessenskonflikte haben und mit den Autoren weder zu eng verbandelt noch verfeindet sind. Manchmal gleichen diese Anforderungen einer Quadratur des Kreises.
All dies entfällt typischerweise bei PPPR, die Auswahl der Kommentatoren ist mehr oder weniger dem Zufall überlassen. Wenn also beispielsweise von zehn Kommentatoren neun ein Paper verreißen und nur einer lobende Worte findet (oder umgekehrt), so sagt das erst mal gar nichts über die Qualität des Papers aus. Es kommt eben auf die Motive und die jeweilige Expertise der Verfasser an, die aber oft für Aussenseiter gar nicht ersichtlich sind. Nicht jeder ist kompetent und objektiv genug, über die tatsächlichen Stärken und Schwächen einer Studie zu urteilen. Bewertung wissenschaftlicher Arbeit nach Anzahl der „Likes“ ist Schwachsinn.
3. Wer kümmert sich um Forschungs- und Publikationsethik?
Gelegentlich trudeln Studien auf dem Schreibtisch eines Journal-Herausgebers ein, die zum Grausen sind. Zum Beispiel, wenn sich die Autoren nicht darum gekümmert hatten, eine pharmakologische Studie mit menschlichen Subjekten von einer Ethik-Kommission absegnen zu lassen. Auch erkennbare Plagiate oder Daten-Fabrikation sind hochproblematisch.
Veröffentlicht man Arbeiten solcher schwarzer Schafe ohne vorherige Prüfung, so sendet man ein fatales Signal an potentielle Nachahmer. Wer als Verleger oder Betreiber einer PPPR-Plattform wissenschaftliche Arbeiten veröffentlicht, trägt deshalb meiner Meinung nach eine Mitverantwortung dafür, dass ethische Standards, z.B. zum Schutz von Patienten und Versuchstieren, eingehalten werden; erkennbar unethische Arbeiten sollten in der Regel gar nicht erst verbreitet werden (dass auch die bestehenden Strukturen solche Arbeiten zu oft durchrutschen lassen, steht auf einem anderen Blatt).
4. Filterfunktion der Journals als Service für den Leser
So berechtigt die Kritik am Mißbrauch des Journal Impact Factor ist, wenn es darum geht, individuelle Arbeiten oder gar Forscher zu bewerten: Die „Hierarchie der Journals“ hilft dem Leser schon bei der Auswahl der Lektüre. Kein Forscher will Zeit damit verschwenden, großen Mist oder (für die Ziele des jeweiligen Lesers) irrelevante Informationen zu durchkämmen. Der Leser kann sich dabei in der Regel darauf verlassen, dass die Fachjournale des Vertrauens ein halbwegs gleichbleibendes Qualitätsniveau halten.
Die Debatte dreht sich auch hier viel zu sehr um die Renommierblätter, die Sensation nach Sensation verkünden (und später einige dieser Pseudo-Durchbrüche in Form von „Retractions“ wieder einsammeln müssen). Wichtiger für das Alltagsgeschäft der Forschung sind doch die spezialisierten Journals, die einen wichtigen Service für ihre jeweilige Community leisten, indem sie einen großen Teil der irrelevanten und technisch unsauber gemachten Studien herausfiltern.
Zusammengefasst: PPPR kann wissenschaftliche Diskussionen und Kritik aus engen, um sich selbst kreisenden Forscher-Zirkeln nach draußen tragen – das ist neu und spannend. Aber den Service der Journals und ihrer „Pre Publication Reviews" wird PPPR in absehbarer Zeit nicht ersetzen, so kaputt und reformbedürftig die überkommenen Publikationswege auch sind.
Hans Zauner
Abb: unter Verwendung einer Grafik v. © Perytskyy (fotolia.com)