Problemfall Peer-Review-Missbrauch

17. April 2024 von Laborjournal

Nicht nur einschlägige Umfragen kommen zu dem Schluss, dass ein guter Teil derjeniger, die Manuskripte für Veröffentlichungen begutachten, das Peer-Review-System für unlautere Zwecke missbraucht. Auch uns wurden immer wieder entsprechende Fälle berichtet. Zuletzt schrieb uns etwa eine Genetikerin [der Name ist der Redaktion bekannt] die folgenden Zeilen:

In den vergangenen sechs Jahren musste ich bei drei Manuskripten erleben, dass die Gutachter ihre Position eindeutig missbrauchten, um deren Veröffentlichung zu verhindern. Im ersten Fall rief ich den Editor an und sagte ihm, dass ich wüsste, wer der Gutachter sei – und dass er mit sehr schwachen Argumenten versuche, unsere Veröffentlichung zu verhindern. Der Editor gab am Ende zwar zu, dass es sich tatsächlich um diese Person handelte. Trotzdem lehnte er das Manuskript ab.

In den nächsten Fall war interessanterweise wieder derselben Editor verwickelt, den ich mir leider nicht aussuchen konnte. Diesmal verhinderte ein anderer Gutachter unsere Veröffentlichung, indem er zunächst zwei langwierige Überarbeitungen verlangte – um schließlich doch alles abzulehnen. Vier Wochen später veröffentliche er in einer anderen Zeitschrift einen Artikel zum selben Thema. Seine Resultate hatten zwar nicht direkt etwas mit unseren Ergebnissen zu tun, aber offenbar wollte er dennoch einfach schneller sein.

Der letzte Fall ereignete sich vor zwei Jahren, als ein Gutachter, der zu den führenden Wissenschaftlern auf unserem Gebiet gehört, unser Manuskript mit ungewöhnlich seltsamen Argumenten ablehnte. Glücklicherweise bemerkte der Editor dies jedoch – und nahm die Arbeit an, da die beiden anderen Gutachter positiv urteilten.

Ich glaube, dass einige Wissenschaftler das Peer-Review-System auf diese Weise missbrauchen, da sie als Gutachter anonym bleiben und sie daher glauben, dass die Autoren ihre Identität nicht herausfinden werden. Dennoch habe ich keine Lösung für dieses Problem. Zwar veröffentlichen einige Zeitschriften inzwischen die Namen der Gutachter, allerdings befürchte ich, dass vor diesem Hintergrund vermehrt Manuskripte angenommen werden, die nicht den eigentlichen Standards der Zeitschriften entsprechen – einfach weil die Gutachter kritische Argumente, auch wenn sie berechtigt sind, zurückhalten könnten, um nicht ihre eigenen Beziehungen zu den Autoren zu gefährden.

Das lassen wir jetzt mal so stehen, nehmen aber gerne andere Erfahrungen, Meinungen und Vorschläge zum Thema entgegen …

(Illustr.: Adobe Firefly)

Preprint- statt Journal-Clubs

8. November 2023 von Laborjournal

Die Zahl der Vorab-Ver­öf­fent­li­chungen von Forschungsergebnissen auf Preprint-Servern hat zuletzt rasant zugenommen – unter anderem auch stark befeuert durch die COVID-19-Pandemie. Zugleich betreiben die meisten akademischen Institutionen seit vielen Jahrzehnten die guten, alten „Journal Clubs“, in denen bereits begutachtete und publizierte Studienresultate kritisch besprochen werden. Warum angesichts dessen nicht zwei Fliegen mit einer Klappe schlagen, dachten sich offenbar vor drei Jahren eine Handvoll Jungforschende: Warum nicht gewisse Synergien erzeugen, indem man den „Journal Club“ in einen „Preprint Club“ umwandelt?

Ungefähr so entstand 2020 die Idee zu einem institutionsübergreifenden Preprint Club (preprintclub.com), um via Online-Treffen neue immunologische Studien zu bewerten, die auf den Preprint-Servern bioRxiv und medRxiv erschienen waren. Keimzelle waren junge Immunologinnen und Immunologen an der Icahn School of Medicine at Mount Sinai in New York City und der University of Oxford, später kamen weitere vom Stockholmer Karolinska-Institut und der University of Toronto hinzu.

Fünf von ihnen haben den Gründungsprozess und die Idee dahinter gerade in Nature (doi: 10.1038/d41586-023-01819-y) genauer beschrieben. Darin halten sie fest:   Diesen Beitrag weiterlesen »

Publizieren Editoren allzu leicht im eigenen Journal?

25. Januar 2023 von Laborjournal

 

 

Veröffentlichungen sind das Brot des Wissenschaftlers. Doch wer bestimmt, was veröffentlicht wird? In erster Linie die Editoren der betreffenden Forschungsblätter.

Über diese schreiben die fünf Autoren eines frischen Artikels mit dem Titel „Gender inequality and self-publication are common among academic editors“ (Nat Hum Behav, doi: 10.1038/s41562-022-01498-1):

Die Editoren spielen in diesem Prozess eine Schlüsselrolle, da sie das letzte Wort darüber haben, was veröffentlicht wird – und somit den Kanal kontrollieren, über den Wissenschaftler Prestige und Anerkennung erhalten. Darüber hinaus gehören die Herausgeber selbst zu den wissenschaftlichen Eliten, die von ihrer Community als Experten auf ihrem Gebiet anerkannt sind.

Editoren seien auf diese Weise nicht nur die „Gatekeeper“ der Wissenschaft, sondern suchen vielmehr selbst aktiv nach Möglichkeiten zur Veröffentlichung, führen die Autoren weiter aus. Schließlich arbeite die überwiegende Mehrheit von ihnen als aktive Forscher. Und da die Bewertung von Wissenschaftlern in hohem Maße von bibliometrischen Ergebnissen abhänge, stünden sie selbst unter einem gewissen Zwang, weiterhin eigene Originalarbeiten zu veröffentlichen.

Und wo tun sie das? Oftmals in den von ihnen herausgegebenen Zeitschriften. Was fast genauso oft zu Kontroversen führt. Denn wie die Autoren schreiben:

Solche Kontroversen werden durch die Möglichkeit angeheizt, dass die Beiträge der Editoren bevorzugt behandelt werden.

Und dies könne man durchaus als „Missbrauch des wissenschaftlichen Publikationssystems“ werten.  Diesen Beitrag weiterlesen »

Milliarden-Spende Peer Review

14. Dezember 2021 von Laborjournal

Der Peer Review ist das Herzstück der wissenschaftlichen Qualitätskontrolle. Egal, ob Publikationen, Evaluationen oder Förderanträge – stets zerbrechen sich Fachkollegen die Köpfe über den jeweiligen Inhalt, um abschließend ihre Daumen darüber zu heben oder zu senken.

Als Gutachter im Rahmen eines Peer Reviews tätig zu sein, gilt daher als Ehrensache. Die meisten Forscherinnen und Forscher begreifen es gar als inhärenten Teil ihrer Dienstpflicht – auch wenn Juristen dies formal verneinen. Wie auch immer, unter dem Strich opfern sie auf diese Weise viel von ihrer wertvollen Zeit, um der Wissenschaft das Begutachtungswesen letztlich als große, selbstlose Spende zu überreichen.

 

 

Welchem Betrag diese „Spende“ der Forscherinnen und Forscher an das System entspricht, haben unlängst die drei Psychologen Balazs Aczel, Barnabas Szaszi (beide Budapest) und Alex O. Holcombe (Sydney) abgeschätzt. Schon der Titel ihrer Publikation lässt die Dimension erahnen: „A billion-dollar donation: estimating the cost of researchers’ time spent on peer review“ (Res. integr. peer rev. 6: 14). Ihr Abstract startet denn auch:

Umfang und Wert der Peer-Review-Arbeit von Forschern sind für die Wissenschaft und die Veröffentlichung in Zeitschriften von entscheidender Bedeutung. Jedoch wird diese Arbeit zu wenig anerkannt. Überdies ist ihr Ausmaß unbekannt. Und zu selten werden alternative Wege zur Organisation der Peer-Review-Arbeit in Betracht gezogen.

Mit diesem Statement zog das Trio los, um „auf der Grundlage öffentlich zugänglicher Daten […] eine Schätzung des Zeitaufwands von Forschern und des gehaltsbezogenen Beitrags zum Peer-Review-System von Zeitschriften“ zu liefern. Also nur für die Begutachtung von zur Veröffentlichung eingereichten Manuskripten!

Ihre Ergebnisse fassten sie dann folgendermaßen zusammen:

Wir fanden, dass im Jahr 2020 die Gutachter weltweit über 100 Millionen Stunden mit Peer Reviews verbrachten – was mehr als 15.000 Jahren entspricht. Der geschätzte monetäre Wert der Zeit, die die Reviewer allein in den USA für die Begutachtung aufwenden, betrug 2020 über 1,5 Milliarden US-Dollar. Für in China tätige Gutachter liegt die analoge Schätzung bei über 600 Millionen US-Dollar, und für die Kollegen im Vereinigten Königreich bei fast 400 Millionen US-Dollar.

So gesehen entspricht also allein schon die Begutachtung von Manuskripten innerhalb eines Jahres einer Milliarden-Spende der Forschergemeinde! Wobei die Autoren sogar noch einschränken:

Es ist sehr wahrscheinlich, dass unsere Ergebnisse zu niedrig angesetzt sind, da sie nur einen Teil aller Zeitschriften weltweit widerspiegeln.

Und sie machen zum Abschluss nochmals klar:

Die Zahlen verdeutlichen den enormen Arbeits- und Zeitaufwand, den Forscher für das Publikationssystem aufbringen. Und sie machen deutlich, wie wichtig es ist, über alternative Möglichkeiten der Strukturierung und Bezahlung von Peer Reviews nachzudenken.

Oder man reformiert das Peer-Review-System gleich komplett von Grund auf. So wie es unser Wissenschaftsnarr beispielsweise gerade im Zusammenhang mit der breitflächigen Etablierung von Preprints vorschlägt – siehe seine Kolumne „Heilsbringer oder apokalyptische Reiter“. Und wie man überdies die ebenso aufwendigen Peer-Review-Verfahren bei der Verteilung von Fördergeldern eindampfen könnte, hatte er ja zuvor schon im Visier – siehe „Werden Sie Forschungsförderer!“ oder „Liebe DFG, verlost doch Eure Fördergelder!“.

Nur ein Beispiel, dass schon längst über Alternativen nachgedacht wird.

Ralf Neumann

(Illustr.: AdobeStock / jesussans)

 

Peer Review überflüssig, Preprint ist bestätigt

12. Februar 2020 von Laborjournal

Es dauert einfach zu lange! So lautet ein Standardvorwurf an das klassische Peer-Review-Verfahren. Und das ist nur zu verständlich. Denn es ärgert tatsächlich, dass es manchmal ein ganzes Jahr dauert, bis man nach allem Hin und Her zwischen Editoren, Reviewern und Autoren die längst vorhandenen Ergebnisse end­lich lesen kann. „Frisch“ sind sie dann schon lange nicht mehr — gerade angesichts des heut­zu­tage maximal beschleunigten Forschungs­trei­bens.

Das Dilemma ist also offensichtlich: Einerseits sollen frische Resultate schnellstmöglich in den wissenschaftlichen Erkenntnisfluss gelangen — andererseits will man aber auch an einer Quali­täts­kon­trolle vor deren offizieller Präsentation festhalten.

Hier allerdings bilden bekanntermaßen Preprints schon länger eine Lösung. Sobald Forscher ihre Manuskripte fertig haben, stellen sie diese umgehend online — etwa auf speziellen PreprintServern wie arXiv oder bioRxiv —, sodass jeder die Ergebnisse während des laufenden Peer Reviews schon mal Open Access einsehen kann.

Doch ganz problemfrei ist das auch nicht. Eine Frage ist etwa, ob man Preprints überhaupt zitieren kann? Schließlich sind sie zu diesem Zeitpunkt ja in aller Regel noch unbegutachtet.

Aus diesem Grund untersagten die meisten Journals erst einmal, dass die Autoren Preprints in den Referenzlisten ihrer eingereichten Manuskripte zitieren. Doch da diese inzwischen auch mit di­gi­ta­len Identifikationssystemen à la Digital Object Identifier (DOI) oder arXiv Identifier versehen werden, lassen viele Journals dies heute zu.

So mancher Forscher scheint dagegen jedoch weiterhin Probleme mit dem Zitieren von Preprints zu haben. Vor kurzem berichtete etwa einer in einem Forum, dass er erfolgreich eine Methode angewendet habe, die bis dahin lediglich auf einem Preprint-Server einzusehen war. Laut seinem Verständnis handelte es sich demnach um eine „unpublizierte Methode“, welche die Qua­li­täts­kon­trolle (noch) nicht bestanden hatte. Und als solche wollte er sie eben nicht zitieren.

Wen aber dann, denn seine Methode war es ja nicht?

Wie er das Problem letztlich löste, ist nicht bekannt. Interessant war aber der folgende Kom­men­tar dazu im Forum:

Ist die erfolgreiche Anwendung der Methode in einem ganz anderen Projekt nicht eine viel bessere Qualitätskontrolle, als wenn zwei Reviewer sie einfach nur durchlesen? Ist damit vielmehr nicht sogar bewiesen, dass sie funktioniert?

Wahre Worte! Falls das Methoden-Manuskript also immer noch in der Begutachtungsschleife irgendeines Journals rotiert: Eigentlich braucht’s das jetzt nicht mehr.

Ralf Neumann

(Foto: ASAPbio)

Die Geschichte eines idealen Peer Review

19. August 2019 von Laborjournal

Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie — und ange­sichts der Möglichkeiten des Internets sowieso nicht mehr zeitgemäß. Vom Missbrauchs-Potenzial ganz zu schwei­gen. Abschaffen solle man es daher, fordern sie. Ein jeder veröffentliche ohne Vorab-Begutachtung, was er habe — die Community würde schon schnell und kompetent darüber urteilen.

Dazu die folgende, wahre Peer-Review-Geschichte:

Ein der Redaktion gut bekannter Forscher schickte in seinen frühen Jahren das fertige Manuskript eines Kooperationsprojekts an das Journal seiner Wahl — und wartete… Es dauerte etwa drei Monate, bis die Nachricht des Editorial Office eintraf, inklusive den Urteilen und Kommentaren zweier anonymer Gutachter.

Reviewer No. 1 machte es kurz. Sehr kurz. In zwei Sätzen schrieb er sinngemäß: „Gutes Paper. Genau so veröffentlichen.“ Natürlich war dies das erhoffte Ergebnis, aber trotzdem war unser Forscher nicht wirklich glücklich über diese Art und Weise. Tatsächlich kroch ihm ein Gefühl der Enttäuschung in die Eingeweide: „Nur zwei Sätze? Keine Kommentare zum Inhalt? Hat der das Manuskript überhaupt gelesen?“

Plötzlich hatte unser Forscher einen Verdacht. „Könnte es sein, dass Reviewer No. 1 Professor Schneider ist? Vor über dreißig Jahren war er einer der Pioniere des gesamten Feldes, ist aber heute schon längst im Ruhestand…“ Es sprachen einige Indizien dafür. Aber eigentlich war es auch egal. Diesen Beitrag weiterlesen »

Zehnmal #Forscherfrust

28. Februar 2019 von Laborjournal

In der vergangenen Woche eröffneten wir auf Twitter den Hashtag #Forscherfrust. Unsere zehn Beispiele für entsprechende Frusterlebnisse rund um das Forscher-Dasein sind hier nochmals zusammengetragen:

x

x

Wenn jemand noch weitere Beispiele loswerden will — entweder hier unten im Kommentarfenster oder unter dem Hashtag #Forscherfrust auf Twitter.

x

Monolog von einem, der sich auf die Sitzung einer Berufungskommission vorbereiten will

30. Januar 2019 von Laborjournal

(Szene: Professor Schneider sinnierend am Schreibtisch, seine Stimme ertönt aus dem Off…)

„Okay, die Zellbiologie-Professur — also schauen wir mal… Wie viele Bewerbungen waren es noch mal insgesamt? Egal, mehrere Dutzend. Jetzt sind also noch acht im Rennen. Hmm… nach Prüfung der Unterlagen schenken sie sich nix. Alle in etwa auf der gleichen Stufe.

Was also tun? Soll ich jetzt etwa die Publikationen jedes einzelnen studieren? Klar, damit würde ich den einzelnen Bewerbern am ehesten gerecht werden. Aber andererseits ist das wahre „Monsterarbeit“, da brauch’ ich ja ewig für…

Am besten schaue ich mir erstmal die einschlägigen Kennwerte an. Zitierzahlen zum Beispiel… Obwohl — dass hohe Zitierraten nicht unbedingt brillante Forschung widerspiegeln, weiß man ja inzwischen. Andererseits stehen hohe Zitierzahlen natürlich jeder Fakultät gut zu Gesicht — egal, wie sie zustande kommen.

 

Auch mit teurer Methodik erntet man zuweilen nur tiefhängende Früchte.

 

Aber was macht man beispielsweise mit einem Forscher, der viel zitiert wird, weil er eine ganz bestimmte Technik ziemlich exklusiv beherrscht — und wenn dann diese Technik zwei Jahre später wegen einer brandneuen, besseren und billigeren Methode plötzlich obsolet wird? Ist schließlich alles schon vorgekommen…

Na gut, dann schau’ ich mir doch mal an, wie viele Drittmittel die einzelnen Bewerber für ihre bisherigen Projekte eingeworben haben. Schließlich profitiert doch die gesamte Fakultät von Leuten, die ordentlich Fördermittel bei DFG & Co. loseisen können.

Allerdings wird nicht zu Unrecht kritisiert, dass eine zu starke Gewichtung von Drittmittelvolumen bei Berufungsverfahren die Forscher erst recht dazu treibt, vor allem teure Projekte zu verfolgen. Ob da nicht vielleicht doch manchmal eine brillante, aber „billige“ Idee zugunsten eines teuren Low Hanging Fruit-Projekts geopfert wird? Eben weil man dann mit dickerem Drittmittel-Volumen protzen kann?

Viele Kollegen lästern ja auch schon darüber. Da fällt mir ein, wie Kollege Maier das Ganze bei unserem Stammtisch mal als „wissenschaftlichen Benzinverbrauch“ betitelt hat — und weiter gespottet, dass einige Fahrer auch mit viel verfahrenem Benzin nur im nächsten Ort landen. War schon witzig. Und Kollege Müller ergänzte süffisant, dass man ja auch die Qualität eines Gemäldes nicht nach den Kosten für Pinsel, Farbe, Leinwand und so weiter beurteilt…

Tja, ganz klar: Da ist was dran, dass diese Kennzahlen allzu oft nicht das liefern, was man sich von ihnen erhofft. Ganz im Gegenteil! Es hilft also nichts, ich werde mir wohl doch zumindest einige Publikationen der Kandidaten etwas genauer anschauen müssen…“

Ralf Neumann

x

Zehn ketzerische Gebote zur wunderbaren Welt der Leistungsorientierten Mittelvergabe (LOM)

4. Oktober 2018 von Laborjournal

(Den folgenden Beitrag bekam unsere Redaktion unaufgefordert zugeschickt. Der Autor ist der Redaktion bekannt.)


"Every valuable human being
must be a radical and a rebel,
for what he must aim at
is to make things better than they are."

Niels Henrik David Bohr
(Dänischer Physiker, 1885-1962, Physik-Nobelpreis 1922)

 

Vor 14 Jahren konzipierte und propagierte die DFG die sogenannte Leistungsorientierte Mittel­ver­gabe (LOM) und entließ sie als groß angelegten Freilandversuch in die medizinische For­schungs­landschaft. Oder besser gesagt: Sie ließ sie auf die Forscher in den Medizinischen Fakultäten los.

Bei der LOM konkurrieren in der Regel die verschiedenen Institute einer Fakultät um einen fixen Geldtopf. Das heißt, wenn Institut A nach irgendwelchen Kriterien, deren Sinn zumindest zweifelhaft ist, besser „produziert“ als Institut B, dann bekommt Institut B weniger Geld zugeteilt. Auch innerhalb einzelner Institute werden in vielen Fällen Kollegen direkt miteinander verglichen — sowohl in der Forschung, wie auch teilweise in der Lehre (wo der dominante Parameter allerdings häufig Quantität ist). Typischerweise spielen Impact-Faktoren von Zeitschriften eine wesentliche Rolle bei der LOM-Berechnung von „Forschungsleistungen“, obwohl deren Eignung zur Evaluation von Instituten und Einzelpersonen inzwischen selbst von Top-Journalen wie Nature oder Science klar verneint wird.

Dennoch haben viele Fakultäten die LOM-Richtlinie der DFG geflissentlich umgesetzt, ohne dass nachfolgend jemals geklärt wurde, ob sie wirklich sinnvoll ist — das heißt, ob ein messbarer positiver Effekt erzielt wird. Ob die LOM nützlich war bzw. ist, oder ob sie vielleicht vielmehr insbesondere das kollegiale Klima vergiftet, bleibt daher bis heute ungeklärt. Was aber auf jeden Fall erreicht wurde, ist, dass mehr Verwaltungspersonal zur Datenbankpflege et cetera benötigt wird. Die Relation von Forschern zu Verwaltern verschiebt sich zu Ungunsten der Forschung.

Nachfragen an die DFG mit der Bitte um Stellungnahme über mögliche Hinweise zum belegbaren Nutzen (oder Schaden) der Impact-Faktor-basierten LOM zeigen deutlich, dass die DFG sich bis auf Weiteres nicht ihrer Verantwortung für die Folgen der LOM stellt — ja sogar, dass sie auch in absehbarer Zukunft keine rigorose Evaluation durchführen will, obwohl ihr die Problematik sehr wohl bewußt ist.

Wenn man das dennoch ändern möchte, darf man also nicht weiter stillhalten. Deshalb nachfolgend eine ketzerische Liste von zehn LOM-Geboten zur wohlfeilen Reflexion. Sie könnte leicht noch länger sein, aber die Zahl 10 ist ja so schön biblisch — und 10 Gebote sollten letztlich mehr als genug sein, um potenziell LOM-induzierte Denkweisen des Homo laborensis nonsapiens darzustellen:x

Die 10 Gebote der LOM


  1. Du sollst den Kollegen vom Nachbar-Institut nicht helfen, in hochrangigen Journalen zu publizieren — vor allem, wenn die Gefahr besteht, dass sie in der LOM an Deinem Institut vorbei ziehen könnten.
  2. Du sollst Deinen LOM-Mitbewerbern nur solche Experimente vorschlagen, die viel Zeit kosten und letztendlich möglichst nicht funktionieren.
  3. Du sollst die Drittmittel-Anträge Deiner lokalen Kollegen nur oberflächlich kritisieren und eklatante Schwachstellen nicht aufdecken. Ihr Erfolg ist Dein LOM-Verlust!
  4. Du sollst Verbund-Initiativen nur gerade soweit unterstützen, wie sie Dir selbst nützen. Erfolge in diesem Bereich bringen den leitenden Kollegen in der Regel viele LOM-Punkte — was wiederum heißt, dass Du schlechter aussiehst.
  5. Du sollst in Berufungskommissionen dafür sorgen, dass in Nachbar-Instituten möglichst zweitklassige Kollegen angeheuert werden. Deren LOM-Schwäche wird Deine LOM-Stärke.
  6. Wenn Du eine Core Facility leitest, sorge dafür, dass vor allem die Kollegen Deines Instituts, am meisten aber Deine eigenen Leute von den sauteuren Gerätschaften profitieren.
  7. Du sollst Gutachtern bei Begehungen unauffällig subtile Hinweise zuspielen, die Deine LOM-Konkurenten in schlechterem Licht darstellen. Auch nonverbale Kommunikation kann hier wahre Wunder wirken.
  8. Falls Review-Artikel LOM-fähig sind, hau‘ möglichst viel davon raus! Selbst wenn deren echter „Nährwert“ oft äußerst limitiert ist, ersetzen sie doch für die LOM-Kalkulation wunderbar die deutlich mühsameren und kreativeren Originalartikel.
  9. Du sollst Kontrollexperimente und Wiederholungen von Experimenten auf ein absolutes Minimum beschränken, da diese nichts zur LOM beitragen.
  10. Du sollst Deine Ergebnisse in möglichst viele Artikel aufspalten, da dies zu einer Optimierung Deiner LOM-Punkte beiträgt.

 

In diesem Sinne, liebe Kollegen, freuen wir uns alle auf weitere Dekaden in der wunderbaren Welt der LOM. Für weitere kreative Ideen, wie man bei der LOM als Sieger vom Platz geht, einfach abends mal eine schöne Serie anschauen — zum Beispiel das gute alte Dallas mit J.R. Ewing oder auch House of Cards.

Illustration: iStock / kmlmtz66

x

Welche Forschung ist exzellent?

19. Juli 2018 von Laborjournal

Gehen wir die Frage mal mit einem Gedankenexperiment an: Stellen Sie sich vor, Sie begutachten Forschungsanträge für einen großen europäischen Forschungsförderer. Und nehmen wir an, dieser Förderer hätte als Leitlinie ausgegeben, dass einzig „wissenschaftliche Exzellenz“ als Kriterium für die Entscheidungen gelte. Das Anwendungspotenzial der Projekte sei unerheblich, es gebe keinerlei thematische Prioritäten und auch der Grad an Interdisziplinarität spiele keine Rolle. Nur die pure „Exzellenz“!

Okay, verstanden! Sie nehmen sich also die Anträge vor. Der erste formuliert eine brillante neue Hypothese zu einem Phänomen, für das die „alte“ Erklärung erst kürzlich spektakulär in sich zusammengefallen war.

Der nächste dagegen visiert eine „ältere“, ungemein attraktive Hypo­these an, die sich bislang aber jedem rigorosen experimentellen Test entzog — und genau diese quälende Lücke wollen die Antragsteller jetzt auf höchst originelle und einleuchtende Weise füllen.

Der dritte präsentiert einen klaren Plan, wie sich gewisse neue Erkenntnisse für eine völlig neue Methode rekrutieren ließen — eine Methode, die, wenn sie dann funktionierte, ganze Batterien neuer Experimente zu bislang „verschlossenen“ Fragen ermöglichen würde.

Der vierte kombiniert verschiedene vorhandene Tools und Ressourcen auf derart geschickte Weise, dass die Antragsteller damit in der Lage sein würden, riesige Datenmassen zu erheben, zu ordnen und zu analysieren — ein „Service“, mit dem das gesamte Feld zweifellos einen Riesensprung machen würde.

Der fünfte schließlich will auf überzeugende Weise sämtliche zu einem bestimmten Kontext publizierten Daten re- und meta-analysieren, um dann mit dem Paket ein möglichst robustes Simulationsprogramm zu entwickeln — ein Programm, das sicher mannigfach die Entwicklung neuer Hypothesen ermöglichen würde…

Jetzt halten Sie erstmal inne. „Mir war bisher nicht bewusst, auf welche verschiedene Arten Wissenschaft exzellent sein kann“, denken Sie. „Genauso wie exzellente Äpfel, Birnen und Orangen alle exzellentes Obst darstellen. Und die soll man ja bekanntlich nicht miteinander vergleichen.“

Ralf Neumann

x