Kriminelle Wissenschaftler betrügen mit Künstlicher Intelligenz

«Diese Machenschaften greifen um sich wie ein Krebsgeschwür. Wir steuern auf eine Krise zu. Das dürfen wir nicht einfach weiterlaufen lassen», sagt Bernhard Sabel, und dabei klingt der Direktor des Instituts für Medizinische Psychologie an der Otto-von-Guericke Universität Magdeburg ernsthaft besorgt.

Ende 2020 hörte der Professor zum ersten Mal von den «Paper mills», auf Deutsch «Papiermühlen». Diese Schreibstuben, von denen niemand weiss, wer dahintersteckt, offerieren Wissenschaftlerinnen und Wissenschaftlern ihre Dienste. 

Die Kunden können wählen: Wer sein Forschungsprojekt abgeschlossen hat, übergibt seine Daten der «Papiermühle», die dann das Manuskript schreibt und für die Publikation in einer Fachzeitschrift sorgt. «Das kostet etwa 1’000 Euro», sagt Bernhard Sabel, der sich verschiedene Angebote angesehen hat. 

Für 26’000 Euro gibts eine frei erfundene «wissenschaftliche» Publikation

Für rund 8’000 Euro erfindet die «Papiermühle» kurzerhand ein Manuskript, schreibt es und publiziert es in einem Wissenschaftsverlag. Als Autor oder Autorin fungieren die Kunden. 

«Der prospektive Autor muss nur noch ein bestimmtes Fachgebiet nennen, eventuell auch ein paar Schlüsselwörter oder Methoden angeben und ein Journal auswählen», heisst es in einem Artikel im «Laborjournal».

Das «Rundum-Paket» ist Sabel zufolge für 17’000 bis 26’000 Euro zu haben. Für diesen Preis liefert eine «Papiermühle» den Entwurf für ein Forschungsprojekt, führt angeblich die Experimente durch – die in Wahrheit aber nie stattfinden – schreibt mit den erfundenen Daten ein Manuskript, fügt Bilder und Grafiken ein, schickt es (entgegen der allgemeinen Praxis) an mehrere wissenschaftliche Zeitschriften gleichzeitig – und bekommt von einer Redaktion den Zuschlag für die Publikation. Angesichts von über 50’000 wissenschaftlichen Zeitschriften ist die Auswahl gross. 

«Da hat sich eine richtige Industrie entwickelt»

«Je renommierter die Zeitschrift, desto höher der Preis», sagt Sabel. «Fälschungen hat es zwar immer schon gegeben und wird es immer geben. Aber die massenhafte, globale, industrielle Herstellung von komplett erfundenen wissenschaftlichen Artikeln – das ist neu und sehr besorgniserregend. In den letzten Jahren hat sich da eine richtige Industrie entwickelt.» 

Geschrieben werden diese Fake-Studien und -Fachartikel von Künstlicher Intelligenz (KI), die an Millionen von Artikeln trainiert wurde. Manchmal leisten Wissenschaftler dabei Redaktionshilfe.

«Die Texte sind so ausgefeilt, dass das keiner mehr erkennen kann.»

Bernhard Sabel, Direktor des Instituts für Medizinische Psychologie an der Otto-von-Guericke Universität Magdeburg

«Ich war schockiert, als ich kürzlich bei einem Kongress erfahren habe, wie gut KI solche Fachartikel schreibt», sagt Sabel. «Früher enthielten die von KI verfassten Manuskripte noch sprachliche oder logische Fehler – jetzt sind die Texte so ausgefeilt und von so hoher Qualität, dass das keiner mehr erkennen kann.»

Eine andere Masche der «Papiermühlen»: Sie übersetzen beispielsweise russische Fachartikel und reichen die Übersetzung bei einer englischsprachigen Fachzeitschrift ein. 

Sabel weiss von einem KI-Test in den USA, bei dem eine wissenschaftliche Publikation, die dem italienischen Kernphysiker Enrico Fermi anno 1938 zum Nobelpreis verhalf, mit KI übersetzt, aufbereitet und dann an eine renommierte Fachzeitschrift geschickt wurde. «Sie wurde als publikationswürdig angenommen, aber nicht publiziert, weil das Ganze nur als Test gedacht war.»

Dutzende von Fachrichtungen sind betroffen

Vor allem in der Medizin und in den Computerwissenschaften stellten die Artikel aus Papiermühlen ein grosses Problem dar. «Das sind keine Einzelfälle», sagt Sabel, der sich im erweiterten Präsidium des Deutschen Hochschulverbands mit dem Thema befasst. Dutzende andere Fachrichtungen seien ebenfalls betroffen, darunter die Psychologie, Soziologie, Betriebswirtschaft/Marketing, Agrarwissenschaften und sogar die Philosophie.

Kurz nachdem er zum ersten Mal von «Papiermühlen» erfahren hatte, entdeckte Sabel, dass in der neurowissenschaftlichen Zeitschrift, deren Chefredaktor er ist, von etwa 200 überprüften Artikeln zehn bis 15 problematisch gewesen seien. «Wir waren stärker betroffen, als ich mir das hätte vorstellen können. Das hat mich nicht ruhen lassen.» 

In neurowissenschaftlichen Fachzeitschriften, schätzt Sabel, sind rund zehn Prozent der veröffentlichten Artikel «hochgradig verdächtig». Der eindeutige Beweis, dass eine Arbeit aus einer «Papiermühle» stamme, gelinge nur in Einzelfällen. Meist wisse man dies eben nicht mit Sicherheit, sagt Sabel.

Von 1’000 medizinischen Fachartikeln waren 238 mutmasslich fabriziert

Zusammen mit seinen Kolleginnen und Kollegen zog er Stichproben: Von 1’000 Artikeln, die in zehn medizinischen Fachzeitschriften erschienen waren, drängte sich bei 238 der Verdacht auf, dass sie fabriziert waren. «Diese Arbeiten stammten vor allem aus China, Indien, dem Iran, der Türkei und Russland.»

Vollständig gefälschte Arbeiten würden wahrscheinlich durch die üblichen Verfahren des Peer-Review oder nach der Veröffentlichung durch die Peer-Evaluierung aufgedeckt, sagt Edwin Charles Constable, Präsident der Expert:innengruppe für Wissenschaftliche Integrität der Akademien der Wissenschaften Schweiz. «Beim Lesen einer solchen Arbeit bekommt man oft ein Bauchgefühl, dass etwas nicht stimmt.»

Doch da widerspricht Sabel heftig.

«Das Problem ist fundamental und es wächst seit zehn, fünfzehn Jahren.»

Bernhard Sabel, Direktor des Instituts für Medizinische Psychologie an der Otto-von-Guericke Universität Magdeburg

Mittlerweile hat der Psychologe mit seinem Team mehr als 13’000 wissenschaftliche Artikel unter die Lupe genommen. «Die Ergebnisse haben uns überrascht», sagt er, will aber nicht mehr verraten, bis die Arbeit durch unabhängige Gutachter geprüft und veröffentlicht ist. Nur so viel: «Das Problem ist fundamental und es wächst seit zehn, fünfzehn Jahren.»

Die Gutachter gehen den «Papiermühlen» auf den Leim

Dazu trägt auch das sogenannte «open access publishing» bei, also der freie Online-Zugang zu wissenschaftlichen Artikeln, ohne teure Abos von Fachzeitschriften. Dank freiem Zugang kann beim «open access» mit geringem Aufwand, ohne Redaktions-, Vertriebs- und Druckkosten, viel mehr publiziert werden. «Alle freuten sich über den Zuwachs – auch die wissenschaftlichen Verlage, akademischen Institutionen und Staaten», sagt Sabel. Dass «open access» auch Wind auf die «Papiermühlen» war, damit rechnete niemand. 

«Papiermühlen-Detektive» schätzen, dass Tausende oder Zehntausende von angeblichen wissenschaftlichen Publikationen bloss erfunden sind – trotzdem bestanden alle diese Phantasie-Artikel den peer-review-Prozess durch Gutachter von international akzeptierten Wissenschaftsjournalen. 

Angesichts von circa 2,8 Millionen wissenschaftlichen Artikeln, die jedes Jahr veröffentlicht werden – Tendenz steigend — erscheinen selbst ein paar Zehntausend Fakes wenig. Doch niemand kennt die Dunkelziffer. Manche Schätzungen gehen sogar von über 400’000 fabrizierten Artikeln jährlich aus, etwa die Hälfte in der Biomedizin.

Jeder vierte eingereichte Artikel war vermutlich erfunden

Und wenn doch einmal eine solche «Papiermühlen»-Arbeit irgendwo nicht zur Publikation angenommen wird, dann erscheint sie halt in einer anderen Fachzeitschrift. Das ergab die Nachverfolgung von 13 dubiosen Fachartikeln, die zuvor beim Verlag «FEBS Press» abgelehnt worden waren. Laut einer Mitarbeiterin von «FEBS Press», auf sich die das Wissenschaftsmagazin «Nature» berief, nahm die Anzahl der Arbeiten, die aus Papiermühlen stammten, in den letzten Jahren massiv zu. 

Bei der Fachzeitschrift «Molecular Brain» war jeder vierte Artikel, der dort zur Publikation eingereicht wurde, vermutlich frei erfunden. Der Wissenschaftsverlag Elsevier gab «Nature» gegenüber an, seine Mitarbeitenden würden jedes Jahr Tausende von «Papiermühlen»-Artikeln erkennen und vor der Publikation herausfischen.

Publizieren – oder Stipendium zurückzahlen

Die Kunden der «Papiermühlen» stammen aus China, Russland, dem Iran, Japan, Indien, Korea, den USA und weiteren Ländern.

«Chinesische Wissenschaftler, die mit chinesischen Staatsstipendien in hiesigen Laboren arbeiten, müssen in China Verträge unterschreiben. Wenn sie bestimmte Ziele nicht erreichen, müssen sie das Stipendium zurückzahlen. Solche Ziele sind oft Publikationen. Als ‹Bürgen› stehen auf diesen Verträgen Eltern oder Verwandte. Man kann sich vorstellen, was passiert, wenn bei einem solchen Forschungsaufenthalt die Publikationen ausbleiben. Da wird dann auch schon mal ‹fabriziert›, teilweise offensichtlich mit Duldung der Laborleiter, die dem Mitarbeiter helfen möchte, das Gesicht zu wahren», erläutert Ulrich Dirnagl, Gründungsdirektor des «Centre for Responsible Research QUEST» in Berlin. Dirnagl beschäftigt sich dort seit Jahren damit, wie die wissenschaftliche Qualität erhöht werden kann.

Im Visier: Chinesische Ärztinnen und Ärzte

Zu mahlen begannen die «Papiermühlen» vermutlich etwa im Jahr 2010. «China wollte zur führenden Wissenschaftsnation aufsteigen», sagt Sabel. Entsprechend sei der Druck auf chinesische Akademiker enorm gestiegen. «Das Ganze ist aber auch in anderen Ländern ein Problem, allerdings nicht in diesem Ausmass.» Eine besondere Zielgruppe der «Papiermühlen» sind chinesische Mediziner.

Laut dem Wissenschaftsmagazin «Nature» verfügte beispielsweise die Gesundheitsbehörde von Bejing im Jahr 2020, dass nur noch Chefärztin oder -arzt werden kann, wer auf mindestens drei wissenschaftlichen Artikeln als Erstautorin fungiert. Mindestens zwei solche Erstautorenschaften braucht es für die Beförderung zum Stv., doch im Spitalalltag bleibt keine Zeit, um sich akademische Meriten zu verdienen. 

Oft würden sich zehn oder mehr Autoren aus derselben Institution die Kosten für die «Papiermühle» teilen, weiss Sabel. Manchmal stammten die angeblichen Autoren auch aus Abteilungen, die mit dem Thema der Publikation nichts zu tun haben. 

In der Schweiz seien fabrizierte Publikationen «meiner Meinung nach bisher überhaupt kein Problem. Aber sie könnten in Zukunft eines werden», sagt Constable.

«Papiermühlen» untergraben die Glaubwürdigkeit der Wissenschaft

Das Grundübel, sind sich Fachleute einig, ist der Druck auf die Forschenden weltweit. Wer Karriere machen will, muss in möglichst hochrangigen Fachzeitschriften viel publizieren und von anderen zitiert werden. Die Autoren würden oft auf den realen oder imaginären Publikationsdruck reagieren, dem sie von ihren Institutionen ausgesetzt seien. Optimal wäre eine koordinierte Reaktion auf der Ebene der internationalen Akademien und Fördereinrichtungen, sagt Constable, «aber wie immer steckt der Teufel im Detail».

«Wir sollten den Publikationsdruck wieder auf ein normales Mass runterfahren und nicht nur die Quantität, sondern vor allem auch die Qualität bewerten», findet Sabel und warnt: «Die Folgen der kriminell erworbenen Publikationen sind katastrophal, weil sie die Glaubwürdigkeit der Wissenschaft untergraben. Das schadet dem Vertrauen in die Wissenschaft. Es beschädigt auch die Reputation akademischer Institutionen. Und es ‹verschmutzt› unser Weltwissen. Die Gefahr ist, dass wir uns später nicht mehr sicher sind, welche wissenschaftlichen Ergebnisse stimmen und welche erfunden sind.» 

Möglicher Einfluss auf die Wirtschaft

Zudem zieht das Ganze immer weitere Kreise, wenn ahnungslose Wissenschaftlerinnen und Wissenschaftlern solche fake-Publikationen in ihren Arbeiten zitieren, sich auf sie berufen und davon ausgehend womöglich neue Studien mit Krebs-, Alzheimer- oder anderen Patienten beginnen. Ein einziger Fall könne zehn, Hunderte oder Tausende von Artikeln bei verschiedensten Verlagen berühren, zitierte «Nature» einen Pressesprecher des «PLOS»-Verlags. 

Fabrizierte Publikationen könnten auch die wirtschaftliche Entwicklung beeinflussen, befürchtet Sabel. Wenn afrikanische Staaten zum Beispiel nicht mehr wüssten, welcher Dünger bei einer bestimmten Bodenbeschaffenheit der beste sei, weil gefakte Arbeiten falsche Resultate vorgaukeln, dann könne sich das unmittelbar auf die Ernte auswirken. 

Durch engagierte Chefredaktoren wie Sabel trete nun «das ganze Ausmass dieser Vermüllung» ans Tageslicht, schrieb Dirnagl im «Laborjournal». Doch Fachleute sehen es anders: Das, was jetzt sichtbar werde, sei ziemlich sicher bloss die Spitze des Eisbergs. 

Rekorde bei der Anzahl zurückgezogener Artikel

Sabel etwa geht davon aus, dass bisher vielleicht ein Prozent oder weniger der gefakten Arbeiten auffliegt und zurückgezogen wird. Wenn gewiefte «Papiermühlen»-Detektive einen Verdacht äusserten, seien die Chancen auf einen Rückzug höher. 

Etwa jede vierte verdächtigte Publikation wurde gemäss Recherchen von «Nature» zurückgenommen. Das führte in den letzten beiden Jahren zu hunderten von Rücknahmen. Verglichen mit den Vorjahren, erreichten die Retraktionen damit Rekordzahlen. Einige Beispiele:

• Das «European Review for Medical and Pharmacological Sciences» hat seit 2020 mehr als 180 Artikel zurückgezogen.
  
  
• Die altehrwürdige und erste Pharmakologie-Zeitschrift der Welt, das «Naunyn–Schmiedeberg’s Archives of Pharmacology» zog über 300 Artikel zurück, weil die Autoren die Originaldaten auf Anfrage nicht vorlegten. 30 Prozent aller Artikel, die bei dieser Fachzeitschrift im Jahr 2020 eingereicht wurden, waren demnach fabriziert. Einige der zurückgezogenen Artikel wurden später mit leicht verändertem Titel und anderen Autorinnen und Autoren in anderen Fachzeitschriften publiziert.
  
  
• Im Januar 2021 zog «Royal Society of Chemistry Advances», eine Zeitschrift der «Königlichen Gesellschaft für Chemie», 68 solcher vermeintlicher Fachartikel zurück. Alle Arbeiten stammten von Autorinnen und Autoren aus China. 

• Im Oktober nahm das «Journal of Cellular Biochemistry» 129 Artikel zurück, die aus «Papiermühlen» stammten. 

• Im Dezember 2021 kam es zum Massenrückzug bei «SAGE»: 122 Arbeiten waren betroffen. Im Februar 2022 nahm «IOP Publishing» auf einen Schlag 350 Fachartikel zurück, im September 2022 stieg die Anzahl auf fast 500, berichtete «Retraction Watch».

Viele Wissenschaftler ahnen nichts und Journale foutieren sich darum

Leider würden sich aber viele Fachzeitschriften noch immer gar nicht um das Problem kümmern oder die nötigen Rücknahmen verschleppen, kritisiert Dirnagl. «Die Verlage sind nicht immer besonders hilfreich», bestätigt Constable. Und die Autorinnen oder Autoren dieser Publikationen sind meist unkontaktierbar.»

Sabels Erfahrungen zeigen, dass die meisten Wissenschaftler von diesem Problem noch nie gehört haben. Selbst der Präsident einer grossen medizinischen US-Fachgesellschaft mit 50’000 Mitgliedern habe völlig verblüfft reagiert. Als Sabel ihm das Ganze darlegte, entfuhr ihm ein: «Wow, I had no idea.» Auf deutsch: «Davon hatte ich keine Ahnung.»

_____________________

➞ Lesen Sie hier Teil 2 dieses Artikels: Auch in der Schweiz bezahlten Wissenschaftler schon für unlautere Autorenschaft.