Corona und der Wert des Peer Review

30. März 2022 von Laborjournal

Aus unserer Reihe „Gut gesagt!“ zum Thema Corona-Pandemie und Peer Review:

 

__________________________

 

[…] Wie replizierbar werden die Forschungsergebnisse zu COVID-19 sein? Das wissen wir noch nicht, aber eine Erfahrung, die mir im Rahmen der letzten Wochen stärker präsent geworden ist […], ist die Verletzlichkeit und Wichtigkeit des Peer-Review-Systems. Verletzlich – denn bewusste Täuschungen sind auch von kompetenten Reviewern schwer zu entdecken. Wichtig – denn ich glaube nach wie vor nicht, dass wir auf die erhebliche Mühe dieser Expertenarbeit zur Qualitätssicherung verzichten können. Wir müssen, denke ich, diese selbstlose und unentgeltliche Arbeit besser und vielleicht auch anders honorieren, denn sonst laufen wir Gefahr, die wesentlichen Ergebnisse in der Flut des Publizierten ebensowenig erkennen zu können, wie das in der unmoderierten Welt der (Online-)Informationen schon jetzt gebietsweise der Fall ist. […]

__________________________

 

 

… Sagte Andreas Meyer-Lindenberg, Direktor des Zentralinstituts für Seelische Gesundheit, Klinik für Psychiatrie und Psychotherapie, in Mannheim sowie Mitglied der Ständigen DFG-Senatskommission für Grundsatzfragen in der Klinischen Forschung, in Laborjournal 7-8/2020 („Translationale Forschung in Pandemiezeiten“, S. 10-13).

 

Mainstream-Falle Peer Review

5. Januar 2022 von Laborjournal

Schon länger hat man den Eindruck, die Diskussionen über eine Reform oder Alternativen zum Peer-Review-System treten auf der Stelle. Dabei wird wohl kaum jemand bestreiten, dass der Peer Review ein Kernproblem beherbergt, das trivialer klingt, als es ist – und zwar unabhängig davon, ob es sich um den klassischen Pre- oder um Post-Publikation-Peer-Review handelt: Er funktioniert nur, wo es auch wirkliche Peers gibt.

Kann das in den Wissenschaften überhaupt nahtlos der Fall sein? Gibt es tatsächlich immer und überall solche „ebenbürtige Experten“? Ganz sicher nicht.

Fragen wir daher zunächst einmal: Wer ist „Experte“? Klar – jemand, der sich in einem bestimmten Gebiet besonders gut auskennt. Was zunächst bedeutet, dass ein Peer vor allem den Status quo eines Gebietes umfassend kennt; womöglich hat er bei dessen Etablierung sogar entscheidend mitgeholfen.

Jetzt geht es aber in der Wissenschaft nicht nur um den Status quo – es geht nicht mal vor allem um den Status quo. Vor allem geht es in der Wissenschaft um das, was jenseits des Status quo liegt. Neue Pfade beschreiten, Licht ins Dunkel bringen, Horizonte erweitern, zu neuen Ufern aufbrechen – das sind die Metaphern, die beschreiben, was vor allem Ziel der Wissenschaft ist. Oder, schlichter formuliert: neue Erkenntnisse gewinnen.

Das Paradoxon dabei ist nun, dass es da, wo einer erstmals Neuland beschreitet, keine Experten geben kann. Das heißt zwar nicht, dass jeder Experte des Status quo grundsätzlich nicht mehr adäquat bewerten kann, was er von jenseits der bekannten Grenzen seines Gebietes zu hören bekommt. Aber es ist natürlich ungleich schwieriger zu beurteilen, ob jemand tatsächlich Handfestes oder eben nur Blödsinn aus absolutem Neuland berichtet. Und da die Experten des Status quo auch gerne Bewahrer des Status quo sind, kippen sie schon öfter mal das Kind mit dem Bade aus, wenn sie vermeintlich allzu abenteuerliche Berichte abschmettern.

Beispiele gibt es genug, wie letztlich richtige Ergebnisse und Schlussfolgerungen aus totalem wissenschaftlichem Neuland sehr lange brauchten, um sich gegen den „Experten“-Mainstream durchzusetzen: Barbara McClintocks springende Gene, Stanley Prusiners Prionen, Lynn Margulis und die Endosymbiontentheorie, Günter Blobels Signalpeptide, die Helicobacter-Geschichte,… – alles Fälle, bei denen die Peers seinerzeit schlichtweg unfähig oder unwillig waren, grundlegend Neues und Richtiges zu erkennen.

Nicht zuletzt deshalb zog der englische Soziologe Steve Fuller das Fazit: „Peer Review funktioniert bei ‚normaler Wissenschaft‘, hat aber auch die Macht radikale Ideen zu unterdrücken.“

Ralf Neumann

(Foto: fona.com)

 

Milliarden-Spende Peer Review

14. Dezember 2021 von Laborjournal

Der Peer Review ist das Herzstück der wissenschaftlichen Qualitätskontrolle. Egal, ob Publikationen, Evaluationen oder Förderanträge – stets zerbrechen sich Fachkollegen die Köpfe über den jeweiligen Inhalt, um abschließend ihre Daumen darüber zu heben oder zu senken.

Als Gutachter im Rahmen eines Peer Reviews tätig zu sein, gilt daher als Ehrensache. Die meisten Forscherinnen und Forscher begreifen es gar als inhärenten Teil ihrer Dienstpflicht – auch wenn Juristen dies formal verneinen. Wie auch immer, unter dem Strich opfern sie auf diese Weise viel von ihrer wertvollen Zeit, um der Wissenschaft das Begutachtungswesen letztlich als große, selbstlose Spende zu überreichen.

 

 

Welchem Betrag diese „Spende“ der Forscherinnen und Forscher an das System entspricht, haben unlängst die drei Psychologen Balazs Aczel, Barnabas Szaszi (beide Budapest) und Alex O. Holcombe (Sydney) abgeschätzt. Schon der Titel ihrer Publikation lässt die Dimension erahnen: „A billion-dollar donation: estimating the cost of researchers’ time spent on peer review“ (Res. integr. peer rev. 6: 14). Ihr Abstract startet denn auch:

Umfang und Wert der Peer-Review-Arbeit von Forschern sind für die Wissenschaft und die Veröffentlichung in Zeitschriften von entscheidender Bedeutung. Jedoch wird diese Arbeit zu wenig anerkannt. Überdies ist ihr Ausmaß unbekannt. Und zu selten werden alternative Wege zur Organisation der Peer-Review-Arbeit in Betracht gezogen.

Mit diesem Statement zog das Trio los, um „auf der Grundlage öffentlich zugänglicher Daten […] eine Schätzung des Zeitaufwands von Forschern und des gehaltsbezogenen Beitrags zum Peer-Review-System von Zeitschriften“ zu liefern. Also nur für die Begutachtung von zur Veröffentlichung eingereichten Manuskripten!

Ihre Ergebnisse fassten sie dann folgendermaßen zusammen:

Wir fanden, dass im Jahr 2020 die Gutachter weltweit über 100 Millionen Stunden mit Peer Reviews verbrachten – was mehr als 15.000 Jahren entspricht. Der geschätzte monetäre Wert der Zeit, die die Reviewer allein in den USA für die Begutachtung aufwenden, betrug 2020 über 1,5 Milliarden US-Dollar. Für in China tätige Gutachter liegt die analoge Schätzung bei über 600 Millionen US-Dollar, und für die Kollegen im Vereinigten Königreich bei fast 400 Millionen US-Dollar.

So gesehen entspricht also allein schon die Begutachtung von Manuskripten innerhalb eines Jahres einer Milliarden-Spende der Forschergemeinde! Wobei die Autoren sogar noch einschränken:

Es ist sehr wahrscheinlich, dass unsere Ergebnisse zu niedrig angesetzt sind, da sie nur einen Teil aller Zeitschriften weltweit widerspiegeln.

Und sie machen zum Abschluss nochmals klar:

Die Zahlen verdeutlichen den enormen Arbeits- und Zeitaufwand, den Forscher für das Publikationssystem aufbringen. Und sie machen deutlich, wie wichtig es ist, über alternative Möglichkeiten der Strukturierung und Bezahlung von Peer Reviews nachzudenken.

Oder man reformiert das Peer-Review-System gleich komplett von Grund auf. So wie es unser Wissenschaftsnarr beispielsweise gerade im Zusammenhang mit der breitflächigen Etablierung von Preprints vorschlägt – siehe seine Kolumne „Heilsbringer oder apokalyptische Reiter“. Und wie man überdies die ebenso aufwendigen Peer-Review-Verfahren bei der Verteilung von Fördergeldern eindampfen könnte, hatte er ja zuvor schon im Visier – siehe „Werden Sie Forschungsförderer!“ oder „Liebe DFG, verlost doch Eure Fördergelder!“.

Nur ein Beispiel, dass schon längst über Alternativen nachgedacht wird.

Ralf Neumann

(Illustr.: AdobeStock / jesussans)

 

Frauen schreiben lieber anonyme Gutachten

17. November 2021 von Laborjournal

Traditionell bleibt anonym, wer ein Manuskript als Reviewer für ein Forschungsblatt begutachtet. Bestrebungen, mit personalisiertem Peer-Review für höhere Transparenz und weniger Missbrauchspotenzial zu sorgen, gibt es zwar schon seit einiger Zeit, allerdings kommen sie nur schleppend voran.

Über die Gründe kann man viel spekulieren. Man kann aber auch versuchen zu ana­ly­sie­ren, wie Gutachterinnen und Gutachter es mit „Open-Identity“-Peer-Review halten, wo er bereits seit einiger Zeit auf freiwilliger Basis möglich ist. Der Entomologe Charles W. Fox von der University of Kentucky in Lexington hat genau dies mit Daten aus der Zeitschrift Functional Ecology getan (Proc. R. Soc. Lond. B. Biol. Sci., doi: 10.1098/rspb.2021.1399). Im Abstract fasst er die Ergebnisse sinngemäß wie folgt zusam­men:

Ein Peer-Review-Verfahren mit Offenlegung der Gutachter-Identität ist derzeit noch nicht weit verbreitet, wird aber gemeinhin als Mittel propagiert, um die Transparenz und Rechenschaftspflicht im Peer-Review-Prozess zu erhöhen. Jedoch lehnen die Gutachter selbst dies im Allgemeinen ab. Um einen Einblick in die Faktoren zu erhalten, die beeinflussen, wann Reviewer zur Preisgabe ihrer Identität bereit sind, habe ich untersucht, welche Gutachter in der Zeitschrift Functional Ecology dies konkret getan haben. Zwar ist auch hier die Identität der Gutachter generell vertraulich, allerdings können sie ihre Kommentare unterzeichnen – und damit den Autoren ihre Identität freiwillig preisgeben.

Ich fand heraus, dass 5,6 Prozent der Gutachter ihre Kommentare tatsächlich unterzeichneten. Dieser Anteil stieg im Laufe der Zeit leicht an, von 4,4 Prozent zwischen 2003 und 2005 auf 6,7 Prozent im Zeitraum 2013 bis 2015. Männliche Gutachter unterzeichneten ihre Kommentare 1,8-mal häufiger als weibliche. Dieser Unterschied blieb im Lauf der Zeit bestehen.

Nur wenige Gutachter unterschrieben alle ihre Gutachten; sie taten dies eher, wenn ihre Bewertung des Manuskripts grundsätzlich positiv ausfiel.

Manuskripte, die mindestens ein unterschriebenes Gutachten erhielten, wurden eher zu einer Überarbeitung aufgefordert. Zudem waren unterzeichnete Gutachten im Durchschnitt länger und empfahlen den Autoren mehr Referenzen.

Diesen Beitrag weiterlesen »

Manuskript verbessern? Muss nicht wirklich sein!

27. Oktober 2021 von Laborjournal

Peer-Review soll bekanntlich die Qualität und Klarheit der Forschungsberichte verbessern. Doch Hand auf’s Herz – adressieren Sie bei der Überarbeitung eines zurückgeschickten Manuskripts tatsächlich in diesem Sinne alle substantiellen Einwände und Vorschläge der Reviewer, um es besser zu machen? Damit das Journal es im zweiten Anlauf womöglich akzeptiert?

Oft kommt es gar nicht so weit, weil viele das Manuskript gar nicht mehr zur selben Zeitschrift schicken, sondern es gleich beim nächsten Journal unterzubringen versuchen. Das muss zwar nicht automatisch heißen, dass die Reviewer-Vorschläge zur Verbesserung der Erstversion dafür gar nicht aufgegriffen werden. Allerdings liegt es schon nahe, dass viele Manuskripte genau aus diesem Grund bei einem anderen Journal zweiteingereicht werden: Um sich die Zeit und die Mühe von teilweise aufwendigen Änderungen zu sparen.

Ein Chirurgen-Trio von der University of Texas in Austin hat dieses Thema mal genauer untersucht – und die Ergebnisse in Accountability in Research vorgestellt („The effect of peer review on the improvement of rejected manuscripts“, Vol 28(8): 517-27). Zum Studiendesign schreiben sie im Abstract:

Zunächst haben wir alle umsetzbaren Vorschläge in den Ablehnungsschreiben von 250 zufällig ausgewählten Manuskripten einer bekannten orthopädischen Fachzeitschrift aus dem Jahr 2012 identifiziert. Danach durchsuchten wir PubMed und Google Scholar und verglichen den letztlich veröffentlichten Text mit der ursprünglichen Einreichung, um festzustellen, ob die Vorschläge der Gutachter berücksichtigt wurden.

Die Ergebnisse fassen sie zunächst wie folgt zusammen:  Diesen Beitrag weiterlesen »

Werden Corona-Artikel schlampiger begutachtet?

8. September 2021 von Laborjournal

 

Vor einem Jahr schrieben wir in unserem Heft 10/2020 auf Seite 10:

Die Qualität wissenschaftlicher Veröffentlichungen sinkt zu Zeiten der SARS-CoV­2-Pandemie. Das legt eine Metastudie aller COVID19-Publikationen des ersten Halbjahres 2020 nahe (Scientometrics 126831-42). Von 23.594 in Web of Science oder Scopus gelisteten Publikationen mussten 1,3 Prozent korrigiert oder binnen kurzer Zeit zurückgezogen werden, trotz vorherigem Peer Review. Vor 2020 traf dieses Schicksal im Durchschnitt nur vier von zehntausend Publikationen, also 0,04 Prozent. Infiziert SARS-CoV-2 zu allem Überfluss auch noch unsere wissenschaftliche Integrität?

In Heft 6/2021 legten wir dann auf Seite 8 unter „Inkubiert“ folgendermaßen nach:

Leider steht es mit [der Qualität] der Corona-Forschung bekanntlich nicht zum Allerbesten – auch wegen der enormen Dringlichkeit, Ergebnisse zu liefern. So sagen Experten, dass von der enormen Flut an Corona-Preprints rund siebzig Prozent deutliche Mängel aufweisen. Folgerichtig hielt schon vor einiger Zeit eine Metastudie fest, dass von tausend weltweit duchgeführten Studien zur Infection Fatality Rate von COVID-19 nur eine „sehr geringe Zahl“ den normalen methodischen Standards entsprach. Und selbst nach Peer Review und „ordentlicher“ Publikation in einem „richtigen“ Journal bleibt es oft zumindest schwammig. Nicht umsonst wurden innerhalb des letzten Jahres bereits über hundert Originalartikel rund um Corona wieder zurückgezogen.

Der Peer Review war also unter Verdacht. Diesen Beitrag weiterlesen »

„Schreiben? — Ich hasste jede Minute davon“

24. Juni 2021 von Laborjournal

Wer verbringt eigentlich mehr Zeit mit Schreiben? Wissenschaftler oder Wissen­schafts­jour­na­lis­ten?

Klingt blöd – aber der sich diese Frage vor einiger Zeit tatsächlich stellte, war unser Chefredakteur. Zwar rechnet wohl kaum einer Wissenschaftler – ganz im Gegensatz zu Journalisten – zur sogenannten „schreibenden Zunft“. Dennoch las er zuletzt einige Dinge, die ihn darüber zum Grübeln brachten.

Es ging los mit dem Bericht eines Industrie-Forschers, der in einem Blog-Beitrag auf seine Zeit als Harvard-Wissenschaftler zurückblickte. Darin schrieb er:

Die größte Überraschung war, wieviel Zeit ich damit verbringen musste, überhaupt Fördergelder zu bekommen. Ich schätze, dass etwa 40 Prozent meiner Zeit für die Jagd nach Förderung draufgingen – entweder direkt (Anträge schreiben) oder indirekt (Firmenbesuche, Vorträge, Netzwerke pflegen). Es war eine riesige Zeitinvestition, die nicht immer direkt zu meiner Forschungsarbeit beitrug. Sie diente nur dazu, die Räder überhaupt am Laufen zu halten.

40 Prozent! Auf exakt die gleiche Zahl kam schon 2007 eine entsprechende Studie der US-Regierung, die der Scientific American später in seinem Artikel Dr. No Money folgendermaßen zusammenfasste:

Öffentliche und private Fördergelder zu beantragen, ist zu einem zeitfressenden Monster geworden. 2007 ermittelte eine Studie der US-Regierung, dass Universitätsforscher etwa 40 Prozent ihrer Zeit in den entsprechenden bürokratischen Labyrinthen verbringen. Und in Europa ist die Situation nicht besser.

Sicher, das ist nicht alles direkte Schreibarbeit – aber auch der Journalist muss ja erst recherchieren, bevor er schreiben kann. Und überhaupt betreffen die 40 Prozent ja nur die Förderanträge. Unser Wissenschaftler hat dann noch kein Paper-Manuskript geschrieben – keinen Forschungsbericht, kein Gutachten, kein Gremienpapier, nicht mal eine E-Mail,…  Diesen Beitrag weiterlesen »

Gezwitscherte Paper-Probleme

28. April 2021 von Laborjournal

Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers – so lautet der Titel eines frischen Scientometrics-Papers von Robin Haunschild und Lutz Bornmann, beide Forschungsevaluations- und Bibliometrie-Spezialisten bei der Max-Planck-Gesellschaft. Ob man methodische Fehler, Daten-Irrtümer, falsche Interpretationen oder gar gezielte Manipulationen in Forschungsartikeln aufgrund entsprechender Hinweise auf Twitter womöglich frühzeitig erkennen könne, wollten sie also wissen.

Übersetzt fassen sie im Abstract als Ergebnis zusammen:

[…] In dieser Fallstudie analysierten wir Tweet-Texte von drei zurückgezogenen Publikationen über COVID-19 […] und deren Retraction Notices. Hinsichtlich einer dieser Publikationen fanden wir keine Frühwarnzeichen in Tweet-Texten, dagegen fanden wir aber Tweets, die bereits kurz nach dem jeweiligen Veröffentlichungsdatum Zweifel an der Gültigkeit der beiden anderen Publikationen aufkommen ließen.

Und sie schlagen daher vor:

Eine Erweiterung unserer aktuellen Arbeit könnte zu einem Frühwarnsystem führen, das die wissenschaftliche Gemeinschaft auf Probleme mit bestimmten Publikationen aufmerksam macht. Andere Quellen, wie beispielsweise Blogs oder Post-Publication-Peer-Review-Seiten könnten in ein solches Frühwarnsystem einbezogen werden. Die in dieser Fallstudie vorgeschlagene Methodik sollte daher anhand größerer Publikationsmengen validiert werden – und zudem Publikationen als Kontrollgruppe enthalten, die nicht zurückgezogen wurden.

Damit unterfüttern die beiden Autoren das, was unser „Wissenschaftsnarr“ in seiner Laborjournal-Kolumne vor einem halben Jahr folgendermaßen als Beobachtung preisgab:

[…] Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt.

Gerade in der Forschung finden ja nicht wenige Twitter und Co. „eher nervig“. Von solcher Art „Gezwitscher“ könnten wir uns aber dennoch alle sicherlich mehr wünschen.

Weitere Beobachtungen oder Meinungen dazu?

Ralf Neumann

 

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Hauptsache, man braucht Förderanträge!

17. Dezember 2019 von Laborjournal

Was wäre, wenn jeder Forscher einfach erstmal Geld bekäme? Ganz ohne Antrag, geschweige denn Peer Review? So wie einst­mals Otto Warburg, der lediglich schrieb: „Ich benötige 10.000 Mark. Otto Warburg“. Und sie tatsächlich bekam.

„Ja ja, träum‘ weiter“, mögen jetzt viele denken. Doch gemach, blättern wir hierzu ruhig mal in ein etwas älteres Heft von Accountability in Research — und reiben uns angesichts einer kanadischen Studie ungläubig die Augen (Band 16(1), S. 13-40). Da teilen uns die Autoren mit, dass ein sogenannter „Direct Baseline Discovery Grant“ des Natural Science and Engineering Research Council Canada (NSERC) im Durchschnitt 30.000 kanadische Dollar wert ist. Und dem setzen sie entgegen, was der ganze Prozess des Antragschreibens samt anschließender Bewilligung oder Ablehnung (!) durch Peer Review — nach Arbeitszeit et cetera bemessen — insgesamt kostet: nämlich satte 40.000 kanadische Dollar pro Antrag.

Selbst nach mehrmaligem Augenreiben bleibt somit das Fazit: Ein abgelehnter Antrag verbrät 10.000 Dollar mehr, als das Projekt bei Bewilligung überhaupt bekommen könnte. Da muss doch was faul sein! Und natürlich brauchen die Autoren auch keine höhere Mathematik um zu folgern, dass der NSERC sogar noch Geld sparen würde, wenn er jedem „qualifizierten Forscher“ den 30.000-Dollar-Baseline Grant einfach auf Anfrage direkt in die Hand drücken würde.

Sicher, 30.000 Dollar sind für diejenigen, die materialaufwändige Forschung betreiben, nicht viel. Dennoch spekulieren die Autoren, dass durch solcherart „effizientere“ Verteilung von Fördermitteln deutlich mehr und bessere Forschung laufen könnte — insbesondere im „Critical-Idea-or-Discovery“-Stadium. Wenn dann die ersten Ergebnisse tatsächlich vielversprechend wären, hätte man immerhin schon etwas in der Hand, um nachfolgend einen größeren — und natürlich begutachteten — Grant zu beantragen.

Bleibt noch die Frage, ob nach diesem Schema nicht Hinz und Kunz Geld bekommen könnten — und eben nicht nur „qualifizierte Forscher“. Dazu lediglich folgender Blog-Kommentar eines Forschers:

Bei jedem Karriereschritt, bei jedem einzelnen Paper werden wir immer wieder neu evaluiert. So sorgfältig und eindringlich, dass man uns doch irgendwann einmal genau in diesem einen Punkt trauen können sollte — nämlich dann, wenn wir neue Forschung anpacken.

Ralf Neumann

[Addendum: Fairerweise muss abschließend noch erwähnt werden, dass ein kanadischer Physiker die Kalkulation des Arbeitsaufwands von 40.000 kanadischen Dollar pro Antrag nachfolgend als viel zu hoch kritisierte (Accountability in Research 16(4): 229-31). Ein weiteres Paper dagegen kalkulierte für die Bearbeitung von Forschungsanträgen in Australien ähnlich hohe Ausgaben (BMJ Open 2013;3:e002800).]