«Es geht darum, eine ‹perfekte Story› zu publizieren»

Viele Ergebnisse von Experimenten in der Krebsforschung lassen sich nicht bestätigen. Darauf wiesen Wissenschaftler um Timothy Errington von «Centre for Open Science» hin. Infosperber berichtete im ersten Teil dieses Artikels darüber. Im zweiten Teil des Artikels geht es darum, welche Folgen dieses Problem der Biomedizin für Kranke haben kann.

«Experimente wie diejenigen, die man nun zu replizieren versucht hat, bilden letztlich die Grundlage für Therapien. Aber wenn schon das Fundament extrem bröselig ist …», sagt Ulrich Dirnagl, der Gründungsdirektor des «Centre for Responsible Research QUEST» in Berlin. Er befasst sich seit Jahren mit der mangelnden Reproduzierbarkeit vieler Studien und was dagegen unternommen werde könnte. 

Hassan Fazilaty, Krebsforscher am Institut für Molekulare Biologie der Universität Zürich, sieht es weniger negativ als Dirnagl. Er wirft den Wissenschaftlern der aktuellen Replikationsstudie vor, sie hätten «Rosinenpickerei» betrieben, indem sie sich auf bestimmte Versuche konzentriert hätten, die aber nicht das wichtigste Experiment der betreffenden Studie gewesen seien. «Den Wissenschaftlern um Timothy Errington fehlte die Expertise, deshalb haben sie nur leichte und kleine Versuche nachgemacht.» So hätten sie beispielsweise teils andere Zellen für die Experimente verwendet als beim Originalexperiment – und das könne einen Riesenunterschied machen. «Als Biologe war ich enttäuscht. Der Plan dieser Wissenschaftler war gut. Aber sie haben nicht viel von dem gemacht, was sie ursprünglich vorhatten.»

Eine Drittel der Forschenden hatte offenbar kein Interesse an einer Wiederholung

Diesen letzten Punkt gestehen auch die Wissenschaftler selbst ein. Dass es so mühsam war, habe unter anderem daran gelegen, dass bei allen 193 Experimenten Angaben zur genauen Durchführung der Experimente in den Originalpublikationen fehlten. Deshalb mussten die Forscherteams teils mehrfach bei den Studienautoren rückfragen oder um bestimmte Ausgangsmaterialen bitten. Manche der angefragten Kollegen waren kooperativ, etwa ein Drittel aber habe nicht kooperiert.  

Peggy Janich, Geschäftsführerin der Stiftung Krebsforschung Schweiz und selbst jahrelang Grundlagenforscherin, findet es ebenfalls nachvollziehbar, dass viele Experimente nicht repliziert werden konnten. «Die Grundlagenforschung bei Krebs ist eine sehr komplexe Materie. Die jeweiligen Institute haben jahrelanges, hart erarbeitetes Know-how mit bestimmten Zellen, ‹Mini-Organen› und Labortieren. Das kann auch dazu führen, dass die Ergebnisse weniger eindrücklich ausfallen als bei der Originalstudie.» 

Geld in die Wiederholungsforschung stecken – oder nicht?

Wenn eine Studie nicht reproduzierbar sei, heisse das nicht, dass die Originaldaten falsch gewesen seien, betont Janich. «Man darf da kein wissenschaftliches Fehlverhalten unterstellen.» 

Würde man nun jede Studie replizieren, würde auch viel Geld verschwendet. «Ich weiss nicht, ob es sinnvoll ist, ins Replizieren viel Ressourcen reinzustecken. Denn bis aus einem Grundlagenexperiment schliesslich ein Wirkstoff wird, der bei Patienten eingesetzt wird, braucht es noch viel Forschung. Man würde es also früh genug bemerken, wenn sich Ergebnisse nicht bestätigen lassen, und hätte nicht allzu viele Gelder investiert», sagt Janich. 

Dirnagl widerspricht: «Erstens werden in der Krebsheilkunde viele Patienten im Rahmen eines ‹compassionate use› aufgrund von Tierversuchen oder kleinen Studien an Menschen mit Substanzen behandelt, die für ihre Erkrankung nicht erprobt wurden. Das sind verzweifelte Kranke, die solche Experimente in der wissenschaftlichen Literatur finden und dann diese experimentelle Behandlung möchten.»

Zweitens, sagt Dirnagl, gebe es diverse Beispiele, die das Gegenteil zeigen würden. Eines davon betraf Kinder mit einer schweren Entwicklungsstörung, dem Rett-Syndrom. Mädchen mit Rett-Syndrom entwickeln sich zunächst normal, verlieren dann aber viele erlernte Fähigkeiten wieder und sind oft schwer behindert. 

Kinder mit einer nutzlosen, sehr belastenden «Therapie» behandelt

In Experimenten zeigten US-Forscher 2012, dass es Labormäusen mit einer Rett-ähnlichen Erkrankung besser ging, wenn sie eine Stammzell-Transplantation erhielten. «Mehrere Kinder mussten wohl sterben, weil die verzweifelten Eltern einer Stammzell-Transplantation zugestimmt hatten – aufgrund eines in der Zeitschrift ‹Nature› publizierten Experiments, das Wissenschaftler in drei anderen Laboren später nie reproduzieren konnten», gibt Dirnagl zu bedenken. Warum das nicht gelang, ist bis heute nicht geklärt.

Dirnagls nächstes Beispiel ist die Schlaganfall-Forschung, sein Fachgebiet. Dort seien über Jahre Millionen von Labortieren getötet worden, in der Hoffnung, Medikamente zu finden, sagt der Neurowissenschaftler. «Da sind Milliarden von Euros reingeflossen, Tausende von Wissenschaftlern arbeiten auf dem Gebiet, und in Tiermodellen haben sie hunderte von scheinbar vielversprechenden Substanzen gefunden, die in hunderten von Studien an Menschen getestet wurden. Doch keines davon wurde als Medikament zugelassen.» Die Versuchspersonen hatten also keinen Nutzen, trugen aber möglicherweise Schäden davon. Ähnliches sei in der Alzheimer-Forschung geschehen. «So etwas ist unethisch», sagt Dirnagl. 

Einig sind sich Dirnagl, Fazilaty und Janich, dass es bei der Krebsforschung «Verbesserungspotenzial» gebe – bei den Wissenschaftszeitschriften, im Wissenschaftsbetrieb und bei den Forschern selbst. «Ein Teil des Problems ist die Konkurrenz untereinander», sagt Dirnagl, «ein anderer Teil sind mangelnde Qualitätsstandards.»

Das Gesagte gilt im Prinzip auch für die Sozialwissenschaften. «Die Ergebnisse fielen verblüffend unterschiedlich aus, mit wilden Variationen sowohl bei den Analysemethoden als auch bei den Schlussfolgerungen – bis hin zu diametral entgegengesetzten Antworten», heisst es 2021 in einem Artikel im Magazin «Horizonte», der verschiedene sozialwissenschaftliche Studien zur Reproduzierbarkeit beschreibt. In einem anderen, dort erwähnten Experiment kamen verschiedene Forschergruppen, die exakt die gleichen Daten auswerteten, zu ganz unterschiedlichen Schlüssen: «27% bekräftigten die Hypothese, 20% widerlegten sie, und bei den übrigen resultierten statistisch nicht signifikante Werte.»

Die Psychologie scheint dem in nichts nachzustehen: Das «Reproduzierbarkeits-Projekt: Psychologie» etwa fand nur bei 36 Prozent der replizierten Studien signifikante Ergebnisse. In den Originalarbeiten war dies bei 97 Prozent der Fall gewesen. 

Die Daten «massieren», bis sie zur eigenen Hypothese passen

Wer heutzutage eine Professur anstrebt, der wird danach bewertet, wie viele Forschungsgelder er oder sie eingeworben hat und wie viele Studien publiziert, die möglichst oft wieder von anderen zitiert werden sollen. Entsprechend hoch ist der Druck auf die Forschenden, wissenschaftliche Arbeiten schnell in hochrangigen Zeitschriften zu veröffentlichen und die Konkurrenz abzuhängen. Beides erhöht die Chance auf Forschungsgelder. 

Das verleite dazu, für die Publikation selektiv vor allem die Datensätze auszuwählen, welche die eigene Hypothese stützen, oder dass die Daten so lange «massiert» würden, bis sie zur Hypothese passen, schrieb Glenn Begley, ein ehemaliger Kadermitarbeiter der Biotechfirma Amgen, schon 2012. 

«Das Entscheidende ist das Belohnungssystem: Die Karriere wird über solche Studien gemacht. Dass sie nicht reproduzierbar sind, stört dabei nicht. Hauptsache, man kann damit Professor werden», kritisiert Dirnagl. 

Viele Kollegen würden irrigerweise glauben, dass eine Arbeit, die in «Nature» veröffentlicht werde, besser sei als eine in der frei zugänglichen Zeitschrift «PLoS One», sagt er. «Aber ich kann Ihnen sehr viele Beispiele geben, wo es umgekehrt war.»

«Das ist ein bisschen ein ungesundes System in der Wissenschaft»

Die Kritik richtet sich auch an die Wissenschaftszeitschriften. «Es geht darum, eine ‹perfekte Story› zu publizieren. Das kann dazu führen, dass Forschende das aus ihren Experimenten herauspicken, was zu dieser ‹Story› passt. Da zeigt man dann lieber die Daten, die die eigene Hypothese stützen, anstatt die Nullergebnisse. Das ‹Finetuning› an vielen Stellen beeinflusst das Ergebnis», sagt Janich. «Das ist ein bisschen ein ungesundes System in der Wissenschaft.»

«Solide Wissenschaft braucht Kulturwandel» titelte 2019 das Magazin «Horizonte», das vom Schweizerischen Nationalfonds (SNF) zusammen mit den Akademien der Wissenschaften Schweiz herausgegeben wird*. Allein letztes Jahr finanzierte der SNF mit 876 Millionen Franken neue Forschungsprojekte. Er möchte nun den Druck auf die Forschenden reduzieren, möglichst viel publizieren zu müssen. Ab Herbst 2022 können sie in ihrem Lebenslauf, den sie mit einem Fördergesuch beim SNF einreichen, auch wichtige Forschungstätigkeiten anführen, die nicht zu wissenschaftlichen Publikationen geführt haben.

«Der SNF fördert eine offene Wissenschaft. Seit einigen Jahren verlangen wir von Gesuchstellenden vorab einen Data Management Plan, wie sie die bei den Studien erhobenen Daten später öffentlich machen und anderen Forschenden zur Verfügung stellen», sagt Florian Fisch vom SNF. Das sei ein gewisser Aufwand. «Anfangs brauchte es viel Überzeugungsarbeit. Aber inzwischen ist das weitgehend akzeptiert», sagt Fisch. Wie weit sich die Forschenden an ihren Data Management Plan halten, habe der SNF jedoch nicht untersucht.

Immerhin: Das Problem ist erkannt, auch dank der Signalwirkung von Studien wie derjenigen des Errington Teams. «Aber das ist ein sehr dickes Brett, das wir da anbohren», sagt Ulrich Dirnagl. «Diese Mechanismen haben sich über Jahre eingeschliffen.»

*In einer früheren Version wurde das Magazin «Horizonte» dem SNF zugeschrieben. Die «Horizonte»-Redaktion legt Wert auf die Feststellung, dass sie unabhängig ist von den Herausgebern.

➞ Lesen Sie demnächst Teil 3: Selbst das Geschlecht des Versuchsleiters kann Tierexperimente beeinflussen.