Peer Review: Mittel gegen „Fake Science“?

“Das Peer-Review-Verfahren ist das Allheilmittel gegen Fake Sciene” – so könnte man das Fazit des aktuellen Medienechos zu sogenannten Fake-Science-Publikationen zusammenfassen. Stimmt das? In diesem Beitrag soll die essentielle Bedeutung des Peer-Review-Verfahrens für die Wissenschaft, aber auch dessen Grenzen beim Herausfiltern von gefälschten oder qualitativ minderwertigen Manuskripten erläutert werden.

Peer Review zur Qualitätssicherung

Ein Autor reicht einen Artikel bei einer Fachzeitschrift zur Veröffentlichung ein. Hat die Zeitschrift ein Peer-Review-Verfahren, gibt das Editorial Board das Manuskript an externe Gutachter weiter. Diese Fachkollegen können den Artikel ablehnen, Verbesserungen vorschlagen oder die Veröffentlichung empfehlen. Beim Peer-Review-Verfahren gibt es verschiedene Varianten: Bei der klassischen kennt der Autor die Identität der Gutachter nicht. Bei Doppelblindgutachten kennen beide die Identität des jeweils anderen nicht. Beim offenen sind Gutachter und Autor beiden Seiten bekannt.

In der Wissenschaft gilt das Peer-Review-Verfahren als der Goldstandard, um schlechte Manuskripte herauszufiltern. Gerade das klassische und das doppelblinde Verfahren sollen es ermöglichen, dass Reviewer ehrliches und konstruktives Feedback geben können, ohne negative Konsequenzen in der Fachcommunity fürchten zu müssen. Das Feedback durch Kollegen ermöglicht es dem Autor, das Manuskript zu verbessern und Ungenauigkeiten zu präzisieren. Eine ausführliche Beschreibung des Peer-Review-Verfahrens findet sich im Handbuch CoScience.

Wie schon im letzten Blogbeitrag erläutert, haben seriöse wissenschaftliche Zeitschriften einen Peer-Review-Prozess. Zeitschriften, die in wissenschaftlichen Zeitschriftendatenbanken wie Scopus, Web of Science oder PubMed indiziert sind, sind qualitätsgeprüft und haben (in der Regel) ein Peer-Review-Verfahren.

Was kann Peer Review?

Was macht ein Reviewer, der einen Artikel begutachtet? Er prüft, ob passende Methoden verwendet wurden, ob die Resultate und Schlussfolgerungen plausibel sind, ob aktuelle Literatur zum Thema berücksichtigt wurde und ob offensichtliche Plagiate vorliegen. Er kann die Experimente nicht wiederholen. Das heißt, er kann die Korrektheit der Daten auch nicht überprüfen.

Ein qualitativ minderwertiges Manuskript, das auf falsch angewendeten Methoden beruht, aus Einzelfällen allgemeingültige Schlussfolgerungen zieht oder nur aus einem Plagiat besteht, kann also durch einen guten Peer-Review-Prozess herausgefiltert werden.

Und was kann Peer Review nicht?

Wurden in einem Manuskript hingegen geschickt Daten gefälscht, kann das auch ein Peer-Review-Prozess nicht aufdecken. Hierfür gibt es andere Mechanismen: Die Wissenschaft korrigiert sich selbst. Wenn im Post-Publikation-Diskussionsprozess Forschungsergebnisse in der Fachcommunity diskutiert werden, fallen Studien auf, die auf gefälschten Daten basieren und nicht reproduzierbar sind. Zum Beispiel wurde 2014 eine Studie veröffentlicht, die eine einfache Methode zur Erzeugung von Stammzellen beschreibt. Nachdem die Ergebnisse diskutiert wurden und nicht reproduzierbar waren, wurde die Studie zurückgezogen.

Peer Review, entnommen aus:
https://xkcd.com/2025/, CC BY-NC 2.5

Ein weiteres Problem sind oberflächliche Peer-Review-Gutachten, sodass qualitativ minderwertige Manuskripte nicht herausgefiltert werden können. Dies wird oft Predatory Journals vorgeworfen. Generell müssen aufgrund des stetigen Anstiegs der Publikationszahlen immer mehr Gutachten geschrieben werden. Dies führt dazu, dass es schwieriger wird fachlich qualifizierte Gutachter zu finden. Viele Gutachter sind überlastet, Anfragen werden abgelehnt oder nur oberflächliche Gutachten geschrieben. Reviewer bekommen für ein Gutachten in der Regel keine Bezahlung. Es kann sein, dass Gutachter aus persönlichen Gründen keinen objektiven Review schreiben, was durch das klassische oder doppelblinde Peer-Review-Verfahren begünstigt wird. Es kommt vor, dass Publikationen aufgrund von gefälschten Gutachten zurückgezogen werden. Aus Sicht der Autoren muss der Druck zum Publizieren („Publish or Perish“) erwähnt werden. Dieser führt oft dazu, dass Artikel bei mehreren Zeitschriften eingereicht werden oder große Studien in mehrere kleine aufgeteilt werden, um mehr Publikationen zu haben. Dies wiederum führt zu einer weiteren Zunahme der Gutachten.

Gute Artikel auch ohne Peer Review

Es gibt auch hervorragende Artikel, die keinen formalen Peer-Review-Prozess durchlaufen haben. Ein Beispiel hierfür ist der vom russischen Mathematiker Grigoiri Perelmann aufgestellte Beweis für die lange Zeit unbewiesene Poincaré-Vermutung. Diese hat er auf dem Preprintserver arXiv veröffentlicht. Hierbei gibt es keine formale fachliche Begutachtung eines Peer Reviews. Bei arXiv findet eine andere Art der Qualitätsprüfung basierend auf einem Moderationssystem statt. Auch ohne Peer Review hat Perelmann die Arbeit die Fields-Medaille, den „Nobelpreis“ der Mathematik, eingebracht (die er jedoch abgelehnt hat). Aufgrund der Bedeutung der Arbeit haben zahlreiche Mathematiker von sich aus die Arbeit akribisch nachvollzogen, Unklarheiten beseitigt, einige Ungenauigkeiten ausgebessert etc. Dieser Feedback-Prozess war damit sicherlich gründlicher als das einzelne Gutachter in einem Peer-Review-Verfahren geschafft hätten.

Fazit

Peer-Review-Verfahren können als Goldstandard zur Qualitätssicherung in der Wissenschaft angesehen werden. Trotz eines guten Peer Reviews kann es aber Veröffentlichungen geben, die auf gefälschten Daten beruhen. Oberflächliche Peer-Review-Verfahren begünstigen Publikationen minderwertiger Qualität. Manche hervorragenden Artikel hatten keinen Peer Review. Entscheidend ist der Diskussionsprozess innerhalb der Wissenschaft nach der Publikation.

Allgemeine Kriterien, wie das Erscheinen in einer renommierten Peer-Review-Zeitschrift, sind ein erster Indikator über die Qualität eines Beitrags. Letztlich muss aber jeder Beitrag für sich inhaltlich geprüft und bewertet werden.