Das sind im weltweiten KI-Wettlauf die Chancen Europas

Red. Als Vizekanzlerin im Bundeshaus von 1991 bis 2005 leitete die Autorin verschiedene Digitalisierungsprojekte. Nach der Pensionierung engagierte sie sich ehrenamtlich für die Digitalisierung im Bildungsbereich. Heute analysiert Hanna Muralt Müller Chancen und Risiken der künstlichen Intelligenz in ihren Newslettern.

Die grossen US-Sprachmodelle und der Wettlauf um eine Artificial General Intelligence (AGI) dominieren die KI-Diskussion. Unterschätzt werden kleinere, spezifisch ausgerichtete KI-Anwendungen, die bereits heute rentieren und viel Zukunftspotenzial haben. Hier liegen die Chancen für die Entwicklung einer europäischen KI.

Enorme Investitionen im KI-Wettlauf der USA in Richtung einer AGI

Der KI-Index-Report 2024 des Instituts for Human-Centered Artificial Intelligence (HAI) der Stanford University liefert erstaunliche Angaben zu den rasant wachsenden Trainingskosten für umfassende moderne KI-Modelle. Bei den Trainingskosten handelt es sich um den Aufwand für das Erstellen eines Basismodells, weitere Kosten kommen später für den Betrieb und die nötigen Updates hinzu. Gemäss Angaben des HAI dürften diese Trainingskosten für GPT-4 rund 78 Millionen, für Googles Gemini Ultra bereits 191 Millionen Dollar betragen haben. Die Kosten steigen exponentiell, weil mit dem Ziel, eine AGI zu entwickeln immer noch grössere Sprachmodelle nötig werden.

Gemäss Angaben der Cornell University dürften die Trainingskosten für weiterentwickelte Modelle bis 2027 auf eine Milliarde Dollar ansteigen. Die internationale digitale Plattform the decoder zitiert den CEO des Konkurrenzprodukts von ChatGPT, Dario Amodei von Anthropic, mit Aussagen, wonach diese Milliarden-Modelle bereits in Entwicklung sind und die Trainingskosten für ein neues Modell demnächst auf zehn Milliarden ansteigen werden. Es ist offensichtlich, dass bei dieser Kostenentwicklung nur einige wenige Tech-Giganten mithalten können.

Der Wettlauf in Richtung einer AGI geht weiter, denn es geht um strategische Zukunftsentscheide. Trotz grosser Fortschritte bei den heutigen grossen Sprachmodellen, die sich auf ihrer immensen Datenlage selbstlernend laufend verbessern und fähig sind, neue, nicht in den Daten vorgegebene Inhalte zu generieren (generative KI), gibt es noch viel Entwicklungspotenzial in Richtung einer AGI. Diese könnte gleiche oder bessere kognitive Fähigkeiten als Menschen entwickeln, zur Zielerreichung planen und autonom agieren. Darin liegt enormes Potenzial, allerdings gibt es auch grosse Risiken (siehe Infosperber vom 19.1.2025).

Noch kein Return on Investment

Gemäss einem Bericht der Goldman Sachs Group (weltweit tätiges Investmentbanking- und Wertpapierhandelsunternehmen mit Sitz in New York) zweifeln einige Aktionäre, ob die generative KI überhaupt in der Lage sein wird, ihre Versprechen je einzulösen. Denn zurzeit können die Tech-Giganten nichts aufzeigen, was diese Investitionen rechtfertigen würde. Sie vertrösten ihre Aktionäre damit, dass sich die generative KI erst über einen längeren Zeitraum auszahlen werde. Eine gewisse Unruhe ist seit August 2024 spürbar, wie CNN berichtete. Diese Unsicherheit thematisierte im November 2024 auch die Redaktion von Ciklum, einem internationalen Unternehmen für Software.

Trotzdem investieren US-Tech-Giganten weiterhin

Wie The Economic Times am 2. November 2024 berichtete, planen die Big Tech ihre Investitionen weiterhin zu erhöhen. Sie liefern sich ein Wettrennen um die knappen High-End-Chips und bauen ihre Rechenzentren aus. Insbesondere die Chips der Firma Nvidia sind für die Tech-Giganten quasi alternativlos. Ohne sie laufen die rechenintensiven KI-Anwendungen in den Datenzentren nicht. Deshalb werden von Nvidia weiterhin steigende Umsätze erwartet, so The Guardian Ende November 2024.

FOMO: Fear of Missing Out oder die Angst, etwas zu verpassen

Noch verdienen die Tech-Giganten genug im Kerngeschäft, so dass die Aktionäre die risikobehafteten Investitionen – eine Wette auf die Zukunft – mittragen. Offensichtlich ist die Furcht gross, zu spät zu investieren, wofür es bereits einen Begriff gibt: FOMO – Fear of Missing Out. 

Wie rasch selbst ein Tech-Gigant ins Schleudern kommen kann, zeigt sich bei Intel Corporation. Lange war Intel als Halbleiterhersteller mit Sitz im kalifornischen Santa Clara führend, verpasste dann aber die KI-Welle. Nun kann das Unternehmen mit dem neuen Rivalen Nvidia, ebenfalls mit Sitz in Santa Clara, und dessen Prozessoren für Supercomputer und KI-Anwendungen nicht mehr Schritt halten. Gemäss einem Bericht von CNN vom 4. Dezember 2024 steckt Intel nun in grössten Schwierigkeiten.

Die geopolitische Dimension im Wettlauf der Grossmächte

Die grossen US-Tech-Unternehmen sehen sich als wichtige Akteure im KI-Wettlauf gegen China. Es ist offensichtlich, dass jene Nation, die zuerst ein noch potenteres Modell in Richtung einer AGI entwickelt, über gewaltige strategische Vorteile für weitere Innovationen verfügt und die Nase vorn hat in der künftigen Forschung, in Wirtschaft und vor allem auch im militärischen Bereich. Es erstaunt deshalb nicht, dass Präsident Trump bereits am ersten Tag nach der Vereidigung am 20. Januar 2025 Investitionen in die KI-Infrastruktur in der Höhe von 500 Milliarden Dollar ankündigt. 

Wie CNN berichtete, werde für das Projekt Stargate in Texas bereits gebaut. Beteiligt sind die Tech-Firmen OpenAI, Softbank und Oracle. Elon Musk dürfte kaum erfreut sein, dass mit Sam Altmann, CEO von OpenAI, sein Rivale mitwirkt. Wie zu erwarten war, hat Trump auch die von Biden unterzeichnete bescheidene KI-Regulierung, die Executive Order, sofort ausser Kraft gesetzt (siehe Infosperber vom 30.11.2024).

Europas Stärken: Forschung, Open Source und viele Start-ups

Europa ist sehr stark in der Innovation, dies dank seiner KI-Spitzenforschung an den Hochschulen (siehe Infosperber vom 20.12.2024) und der Open-Source-Bewegung, die sich in den zahlreichen Start-ups manifestiert. Im Unterschied zu den USA fördern die europäischen Regierungen Open Source auch als wirksamen Hebel, um die Abhängigkeit von den dominierenden US-Tech-Giganten zu reduzieren.

Es stehen bereits verschiedene Open-Source-Modelle als Vorleistung kostenlos zur Verfügung. Dies ermöglicht es innovativen Akteuren mit bescheidenen finanziellen Mitteln auf diesen Modellen ihre spezifischen Anwendungen aufzubauen. Beim Open-Source-Angebot handelt es sich um kleinere Sprachmodelle oder auch um andere KI-Architekturen, die grösstenteils in Europa entwickelt wurden.

Nur für die Entwicklung in Richtung einer AGI braucht es die grossen Sprachmodelle. Im konkreten Einsatz sind vielfach kleinere, mit viel weniger Daten trainierte und deshalb viel kostengünstigere KI-Modelle geeigneter. Ihr Nutzen ist abhängig von der Qualität der Daten, der Architektur und der geplanten Anwendung. Dies wird im Folgenden an einigen Beispielen veranschaulicht.

Open Source in Europa ist verknüpft mit europäischen Werten

Die Open-Source-Bewegung ging vom sogenannten Linux-Kernel aus, den Linus Torvalds 1991 während seines Studiums an der Universität in Helsinki entwickelte. Kaum hatte er den Quellcode veröffentlicht, wurde dieser von Tausenden Programmiererinnen und Programmierern genutzt und im gegenseitigen Austausch weiterentwickelt. Für die Förderung, Standardisierung und Weiterentwicklung von Linux wurde die Linux Foundation gegründet, bei der mittlerweile auch alle Tech-Giganten als Mitglieder mitwirken. 

Es sind offensichtlich europäische Werte, die in diesem Netzwerk der Kooperation statt Konkurrenz zum Ausdruck kommen. Viele wirken aus Interesse und Passion unentgeltlich mit. In den USA arbeiten die Tech-Giganten ebenfalls mit Open Source, aber ihr Business beruht wesentlich auf proprietären Systemen.

Während bei proprietären Systemen der Quellcode im Besitz von Big Tech verbleibt, deren Produkte Gewinn abwerfen sollen, fördert bei Open Source der öffentlich zugängliche, kostenlos nutzbare und im Wissensaustausch ständig weiterentwickelte Quellcode die Innovationskraft aller Beteiligten. Open Source wird so zu einer treibenden Kraft für KI-Forschung und -Entwicklung (siehe Infosperber vom 20.12.2024).

In der Open-Source-Bewegung liegt enormes Potenzial für die KI-Entwicklung, weil Wissen gemeinsam und weltweit von Spitzenkräften genutzt und weiterentwickelt wird. 

Europäische Open-Source-Pioniere in Abstimmung mit EU-Regulierungen

Unter den zahlreichen innovativen Start-ups, die in Europa Open Source weiterentwickeln, ragen zwei heraus, Mistral AI und Aleph Alpha. Sie haben kleinere Sprachmodelle von beachtlicher Qualität entwickelt.

Beide Start-ups wollen mit ihren Tools die digitale Souveränität Europas fördern und zu einem prosperierenden europäischen digitalen Ökosystem beitragen. Sie sind auf europäische Werte wie Mehrsprachigkeit, Datenschutz und Kooperation ausgerichtet und erachten ein gewisses Ausmass an Regulierungen als nötig (siehe die Statements der CEO’s hier im YouTube-Video). 

Gemäss Techzine Global, einer niederländischen ICT-Community-Website, entsprechen die Modelle von Aleph Alpha vollständig den Vorgaben im AI-Act der EU. In einem Interview des US-Nachrichtenmagazins TIME vom August 2024 sagte der CEO von Mistral: «Generally, the AI Act is something that is very workable with, in the sense that the constraints that we have are constraints that we already meet».

Mistral – ein französischer Star am Himmel der KI-Sprachmodelle

Das junge französische Start-up Mistral AI, gegründet 2023 in Paris, veröffentlichte bereits nach zehn Monaten ein KI-Sprachmodell, das sich mit denjenigen der Tech-Giganten messen könne, und dies, obwohl es weit weniger Parameter aufweist. Parameter sind eine Messgrösse für Sprachmodelle. Bei proprietären Modellen können diese nur geschätzt werden. Gegenüber GPT-4, mit über einer Billion Parameter, wie durchsickerte (the decoder vom März 2023), weist Mistral auf einem seiner grösseren Sprachmodelle 123 Milliarden Parameter aus – so die Angaben im deutschschweizerischen Online-Magazin Golem vom Juli 2024.

Gemäss einem Bericht der internationalen Nachrichtenagentur CNBC vom Juni 2024 sicherte sich das Unternehmen, in das inzwischen auch Microsoft investiert, Investorengelder in Höhe von 600 Millionen Euro und erhöhte seine Bewertung auf 6,2 Milliarden Dollar. Trotz erheblicher Investitionen bietet Mistral neben kommerziellen KI-Sprachmodellen einige auch kostenfrei als Open Source an, so zum Beispiel Mistral 7B (7,3 Milliarden Parameter).

Das deutsche Aleph Alpha steigt aus dem AGI-Wettrennen aus

Das Start-up Aleph Alpha, gegründet 2019 in Heidelberg, galt als Hoffnungsträger für eine verstärkte Technologiesouveränität Europas. Mit Luminous entwickelte das Unternehmen ein vielversprechendes europäisches KI-Sprachmodell. Dieses wurde auf fünf europäische Sprachen trainiert.

Inzwischen hat sich Aleph Alpha mit einem Betriebssystem für generative KI, PhariaAI, strategisch neu ausgerichtet. Das berichtete die internationale digitale Plattform the decoder im September 2024. Gemäss Aleph Alpha soll dieses Tool den Unternehmen und Behörden eine betriebstaugliche Transformation in die KI-Ära ermöglichen. PhariaAI könne spezifisch mit dem Wissen der sie einsetzenden Organisation trainiert, zudem flexibel mit verschiedenen Open-Source-Modellen kombiniert werden und halte die EU-Vorgaben ein. Der Strategiewechsel ermöglicht Aleph Alpha weiteres Wachstum ohne die enormen Investitionen für das Training und den Betrieb grosser Sprachmodelle. Der Fokus liegt auf spezialisierten kleineren KI-Anwendungen, trainiert mit dem Industriewissen der Firmen.

Deep Learning – mit Wurzeln in der Schweiz

Die meisten KI-Anwendungen basieren auf Deep Learning, einem Teilbereich des maschinellen Lernens, das mehrschichtige neuronale Netzwerke verwendet. Über diese Netze, ähnlich wie im menschlichen Gehirn, laufen die inneren Prozesse über zahlreiche versteckte Zwischenschichten, die selbst für Expertinnen und Experten nicht nachvollziehbar sind (sogenannte Black Box) und unklar bleibt, weshalb auf einen Prompt, also eine Anfrage, eine bestimmte Antwort kommt. Aber die Resultate sind verblüffend gut. Zudem lernt die KI laufend auf der Basis ihrer Daten und verbessert sich eigenständig.

Deep Learning basiert auf Forschungsarbeiten, die in die Neunzigerjahre zurückgehen. Mit ihrer Publikation Long Short-Term Memory wurden Jürgen Schmidhuber mit seinem Doktoranden Sepp Hochreiter zu Pionieren künftiger KI-Entwicklungen im Bereich des sogenannten Deep Learning. Jahre später gewannen Jürgen Schmidhuber und sein Team am Istituto Dalle Molle di studi sull’intelligenza artificiale (IDSIA) in Lugano mehrere Wettbewerbe (siehe Interview vom 28.11.2012).

Es gibt zahlreiche sehr konkrete Anwendungen von Deep-Learning-Modellen, die mit einer geringeren, aber für das Einsatzgebiet spezifischen Datenmenge trainiert wurden. Sie werden z.B. in der medizinischen Diagnostik genutzt, aber sind auch in der Wissenschaft verbreitet, so für Wettervorhersagen und in der Klimaforschung. Hier sei nur auf zwei dieser KI-Anwendungen hingewiesen, auf DeepL und auf AlphaFold.

DeepL, das Tool für professionelle Übersetzungen, hat gemäss der Agentur Reuters einen Wert von zwei Milliarden Dollar und gilt mit Sitz in Köln als Deutschlands wertvollstes KI-Unternehmen. Es bietet ein kostenpflichtiges Abonnement an, ist aber für eine beschränkte Zeichenanzahl unentgeltlich nutzbar. AlphaFold von Google DeepMind, welches die Biowissenschaften und die Pharmazie revolutioniert, erhielt den Chemienobelpreis 2024 (siehe Infosperber vom 20.12.2024). Google DeepMind mit Sitz in London entstand aus dem Aufkauf des innovativen Start-ups DeepMind durch Google im Jahr 2023. Hier sind nicht Spracheingaben, sondern Trainingsdaten aus der Open Access US-Datenbank für Proteine relevant. Diese wird betrieben vom Research Collaboratory for Structural Bioinformatics.

Open Source für Europas digitale Souveränität

Die europäischen Staaten mit ihren Hochschulen erkannten in Open Source rasch den entscheidenden Faktor für Innovationskraft im Wissensaustausch und vor allem auch für digitale Souveränität und geringere Abhängigkeit von den dominierenden US-Tech-Unternehmen.

Die EU betont in ihrer Digital Strategy die Bedeutung von Open Source für Europas digitale Souveränität und Autonomie, um die Interessen Europas «im Einklang mit den europäischen Werten und Anforderungen» zu wahren (S. 6 der Digital Strategy). Die EU fördert mit dem Interoperable Europe Portal wirkungsvoll Open-Source-Software.

Öffentliche Hand und Open-Source-Community organisieren Kongresse

Ende Januar 2025 findet der EU Open Source Policy Summit 2025 in Brüssel statt – ein Gipfeltreffen, das 2024 sein 10-Jahre-Jubiläum feiern konnte und als weltweit grösste Zusammenkunft von politischen Entscheidungsträgern, Open-Source-Unternehmen und Community-Mitgliedern gilt. Selbstverständlich wirkt die Linux Foundation (unter «Sponsors») mit.

Anschliessend, am 1./2.2.2025, findet in Brüssel das Free and Open Source Software Developers’ European Meeting, FOSDEM 2025, statt. Über 8000 Entwicklerinnen und Entwickler treffen sich zwei Tage an diesem kostenlosen, nicht kommerziellen Anlass, der von Freiwilligen vorbereitet und organisiert und durch Spenden und Sponsoren finanziert wird.

Europäisches Sprachmodell als Open-Source-Angebot

Seit Ende November 2024 steht Entwicklerinnen und Entwicklern mit Teuken-7B weltweit ein europäisches mehrsprachiges Sprachmodell als Open-Source-Angebot auf Hugging Face zum kostenfreien Download bereit. Es kann und soll für spezifische KI-Anwendungen, auch kommerzielle, weiterentwickelt werden, wobei sensible Daten im Eigentum der Unternehmungen verbleiben können. 

Dies sind gewaltige Vorteile gegenüber den proprietären US-Sprachmodellen, die an den CLOUD Act gebunden sind, der US-Behörden den Zugriff auf sämtliche Daten garantiert, auch auf jene, deren Speicherung nicht in den USA erfolgte.

Teuken-7B ist die europäische Antwort auf die grossen US-Sprachmodelle und den Willen, mit einem eigenen Tool die Voraussetzungen für digitale Souveränität auch im KI-Bereich zu schaffen und innovative Forschung sowie wirtschaftliche Unternehmen zu fördern. Teuken-7B ist kleiner dimensioniert und deshalb viel kostengünstiger. Es weist bloss 7 Milliarden Parameter auf, wurde aber mit den 24 Amtssprachen der EU trainiert – dies im Unterschied zu den US-Sprachmodellen, die zu rund 95 Prozent auf englischsprachigen Trainingsdaten basieren. Zudem entspricht Teuken 7B den EU-Vorgaben bezüglich Datenschutz, Transparenz und Sicherheit.

Entwickelt wurde Teuken-7B im Rahmen des Forschungsprojekts OpenGPT-X, getragen von verschiedenen öffentlichen und privaten Konsortialpartnern (darunter Aleph Alpha) unter der Leitung der beiden deutschen Fraunhofer-Institute für Intelligente Analyse- und Informationssysteme, IAIS, und für Integrierte Schaltungen, IIS. In der Pressemitteilung des IAIS vom 26. November 2024 wird Teuken-7B umfassend beschrieben. OpenGPT-X ist Teil der europäischen Gaia-X Association und beide sind über öffentliche Mittel (EU und nationale Regierungen) sowie Gelder privater Organisationen finanziert.

Fazit: Europa hat Stärken – wenn es sie richtig nutzt

Die USA sind Weltmeister darin, rasch innovative Forschungsergebnisse für ihr Business zu nutzen. Viel liquides Risikokapital, ein grosser Markt und eine draufgängerische Mentalität schaffen ein attraktives Unternehmensumfeld. Demgegenüber hat Europa andere Stärken, es kann mit seiner langjährigen, dezentralen Industrietradition in Verbindung mit kleineren spezifischeren KI-Anwendungen gewaltigen Mehrwert schaffen.

Diese Investitionen zahlen sich aus – im Unterschied zur Wette auf die Zukunft, welche die US-Giganten mit ihren enormen Finanzmitteln zur Entwicklung von Sprachmodellen in Richtung einer Artificial General Intelligence eingehen. Sollte sich das Alignment-Problem nicht lösen lassen (siehe Infosperber vom 19.1.2025), müssten diese KI-Entwicklungen sogar gestoppt werden, mit Verlusten in Milliardenhöhe.