Jülich. Der größte Computer Europas entsteht in Jülich. Er soll einen Neustart bedeuten im Rennen um die Künstliche Intelligenz der Zukunft.
Künstliche Intelligenzen wie ChatGPT verletzen Urheberrechte, ihre Antworten sind unzuverlässig und sie fressen viel Strom. All das will ein europäisches Team rund um das Forschungszentrum Jülich besser machen. Dr. Stefan Kesselheim leitet das internationale Projekt „TrustLLM“. Es soll Europas Antwort werden auf ChatGPT – und der Wirtschaft einen Schub geben.
Sie wollen eine europäische Alternative zu ChatGPT entwickeln und nennen diese TrustLLM. Was soll daran vertrauenswürdig werden?
Stefan Kesselheim: ChatGPT ist ein interaktiver Service, mit dem sich alle, auch meine Schwiegermutter, verbinden können. Das machen wir nicht. Wir wollen Modelle trainieren und als Grundlage zur Verfügung stellen, damit andere solche Produkte für Endkunden entwickeln können. Gerade das Beispiel ChatGPT illustriert, was wir Forschenden oft kritisieren. Da wird von der Firma OpenAI eine super-spannende neue Technik entwickelt, aber die Art, wie darüber kommuniziert wird, ist überhaupt nicht open. Die wichtigen Sachen sind Betriebsgeheimnisse, in die Trainingsdaten haben wir keinen Einblick. Wir wissen zum Beispiel nicht, wessen Urheberrechte da verletzt werden. Dazu wollen wir mit TrustLLM eine Alternative schaffen. Daraus soll ein wirklich offenes Ökosystem von Diensten erwachsen, deren Entstehungsgeschichte nachvollzogen werden kann.
Woher stammen dann die europäischen, rechtlich einwandfreien Datensätze?
Tatsächlich sind noch nicht alle rechtlichen Fragen geklärt. Das neue EU-Gesetz zur Künstlichen Intelligenz hat darauf Einfluss, aber der Gesetzgeber wird hier nachschärfen müssen. Und die Gerichte werden viele Anwendungsfälle dazu prüfen müssen. Wir achten im ersten Schritt darauf, keine Daten zu nehmen, bei denen der Ersteller und der Rechteinhaber diese Nutzung bereits ausgeschlossen haben. Wir werden aber Daten aus dem Internet nutzen, bei denen die Urheber zwar nicht ausgeschlossen haben, sie zu nutzen, aber auch nicht explizit eingewilligt haben.
Haben Länder ohne große Datenschutzvorgaben nicht immense Vorteile? Ich denke an China.
Je liberaler der Rechtsrahmen ist, desto mehr kann ich natürlich machen – auch mehr Unsinn. In Europa muss sich wie gesagt erst noch ausdifferenzieren, wie sich das doch recht allgemein gehaltene Recht in der Praxis auswirkt. Wir versuchen, auch technische Lösungen zu finden, um mit weniger Daten ein großes Sprachmodell zu trainieren. Bei Bildgeneratoren ist es üblich, die gleichen Daten mehrfach durchs Training zu schicken. Das ist bei Sprachmodellen total unterforscht, weil sich praktisch kaum jemand solche Experimente auf der großen Skala leisten kann.
Das Trainieren des Modells soll einen Millionenbetrag kosten – nur an Strom?
Ja, über den Daumen gepeilt braucht man für ein Training mindestens eine Million Grafikprozessor-Stunden. Solch eine „GPU-Stunde“ kann man einkaufen für ein bis zwei Euro. Aber für richtig große Modelle reicht eine Million Stunden nicht. Facebook beziehungsweise die Mutterfirma Meta sind gleich mit ein paar Millionen Stunden hineingegangen. Auf meinem Bierdeckel steht, dass sich die Anschaffungskosten eines Supercomputers zu den Stromkosten über dessen Lebenszeit etwa eins zu eins verhalten.
Der größte Rechner Europas
Das Forschungszentrum Jülich baut gerade den größten Supercomputer Europas. „Jupiter“ soll noch im laufenden Jahr in Betrieb gehen und als erster „Exascale-Rechner“ des Kontinents eine Trillion Rechenoperationen pro Sekunde brechen. Dabei ist er speziell auf KI-Anwendungen und Simulationen ausgelegt.
Mit ihm sollen KI-Sprachmodelle trainiert und neue Materialien erforscht werden. Auch das menschliche Herz und Gehirn werden hier digital nachgebaut, um daran zu forschen. Jupiter soll die Berechnungen von Quantencomputern prüfen (und so bei ihrer Entwicklung helfen) und das Klima des gesamten Erdsystems deutlich höher aufgelöst simulieren als zuvor.
Konkret besteht Jupiter aus rund 6.000 miteinander verschalteten, extrem leistungsfähigen Einzelrechnern. Sie haben eine Rechenkapazität, die der von zehn Millionen moderner Notebooks entspricht. Auch die Software wird auf Effizienz getrimmt, denn je kürzer die Trainingszeit, desto weniger zeigt der Stromzähler an.
Die Kosten für das System und seinen Betrieb über sechs Jahre belaufen sich auf 500 Millionen Euro. Bezahlt wird das zur Hälfte von der Europäischen Union und zu je einem Viertel von den Wissenschaftsministerien in Bund und Land.
Sie treten an unter anderem gegen Microsoft und Google – bereitet es Ihnen nicht Sorge, wo die in drei Jahren stehen könnten, wenn Sie Ihr Projekt abschließen wollen?
Die machen tolle Arbeiten, keine Frage. Aber wir sehen auch, dass zum Beispiel das französische Start-up Mistral innerhalb von kurzer Zeit etwas echt Tolles auf die Beine gestellt hat: Sie haben mit einem kleinen, schlagkräftigen Team tolle Modelle trainiert, die alles Bisherige in ihrer Größe in den Schatten stellen. Das ermutigt uns zu glauben, dass wir auch einen Beitrag leisten können. Aber es ist auch nicht so, dass wir da in die technologische Führung gehen wollen. Es ist ein akademisches Projekt, an dem sich elf Institutionen in fast ebenso vielen Ländern Europas beteiligen, unter anderem das Forschungszentrum Jülich und die Fraunhofer-Gesellschaft in Deutschland.
Eine Kritik an KI-Modellen ist, dass Antworten nicht immer faktisch richtig sind – und dass man dies aus der Antwort kaum erkennen kann. Was würden Sie da anders machen?
Da müssen wir auch bescheiden sein. Sprachmodelle haben im Moment keinen Mechanismus, der wirklich verhindern würde, dass sie Unsinn reden lernen. Im Grunde geht es nur um Wahrscheinlichkeiten, welches Wort aufs andere folgt. Aber es gibt ein paar neue tolle Techniken, mit denen man es schafft, dass diese Sprachmodelle graduell faktisch korrekter werden. Genau diese Schritte werden allerdings als Geschäftsgeheimnisse gut geschützt. Es hilft schon viel, wenn wir die Trainingsdaten besser kontrollieren können.
Wie steht es um die oft geforderten Quellenangaben?
Da wird gerade schwer dran gearbeitet, relevante Dokumente als Quellen auszuwählen und bei der Antwort direkt zu nutzen. Dann kann man sie auch im weiteren Verlauf angeben. Das würde auch Firmen helfen, die ihre eigenen Dokumente durchsuchbar machen wollen. Dafür wird es relativ bald tolle Open-Source-Lösungen geben. Wir wollen auch eine Anwendung schaffen. Am Forschungszentrum Jülich lief zehn Jahre lang das „Human Brain Project“ und nun gibt es den Nachfolger „EBrains“. Daraus sind sehr viele Studien zur Hirnforschung entstanden. Wir wollen diesen Bereich einfacher zugänglich machen, es sind ja Forscher aus vielen verschiedenen Disziplinen interessiert.
Ihre Forschung soll öffentliches Gut werden. Die Ergebnisse können also auch von der Konkurrenz genutzt werden, von amerikanischen oder chinesischen Unternehmen zum Beispiel.
Technologie entwickelt sich am besten, wenn offen darüber gesprochen wird. Und KI kann ein Riesenhebel sein, um die Welt ein Stück besser zu machen. Es gibt viele Beispiele dafür, dass die Wirtschaft von Open-Source-Projekten handfest profitiert – das Internet selbst würde es nicht geben in dieser Form. Aber auch der Unterbau all dieser Sprachmodelle beruht auf vielen Millionen Code-Zeilen, die komplett Open-Source sind. Es ist so gedacht, dass man sich TrustLLM auf entsprechenden Plattformen herunterladen kann. Dann können Sie mit einer guten Idee und ein paar Leuten in eine paar Wochen oder Monaten etwas auf die Beine stellen, ohne das Rad neu erfinden zu müssen.
Wie viele Menschen forschen in Ihrem Projekt?
Wir sind von der EU mit sieben Millionen Euro fürs Personal ausgestattet auf drei Jahre. Das macht grob überschlagen 23 Stellen.
Microsoft investiert Milliarden im „Rheinischen Revier“
Der Entschluss, in Jülich Europas KI-Aufholjagd zu starten, bringt offenbar bereits konkrete wirtschaftliche Vorteile. Auch der US-Softwareriese Microsoft hat das Rheinische Revier auserkoren, ein wichtiger Standort für Künstliche Intelligenz und Cloud Computing zu werden. 3,2 Milliarden Euro sollen in den Bau von drei Rechenzentren in Bedburg, Bergheim und einem noch unbestimmten Standort fließen. Mit einer „KI-Qualifizierungsoffensive“ will Microsoft bis Ende 2025 in NRW mehr als 100.000 Menschen erreichen.
Das Unternehmen will hierfür auch externe Partner beauftragen, etwa Universitäten, Nichtregierungsorganisationen (NGO), Kommunaleinrichtungen oder Verbände. Zum Beispiel soll ein Transporter, der zu einem mobilen Infozentrum umgebaut wurde, an Schulen und Ausbildungszentren das Thema Künstliche Intelligenz vermitteln.
Von den Qualifizierungen profitieren sollen auch Firmen, die bei KI Nachholbedarf haben und um Expertise bitten - dann bezahlt der US-Konzern externe Fachleute, die in die Firmen gehen. So soll zum Beispiel erklärt werden, wie gute Sprachbefehle (Prompts) an eine KI gerichtet werden, damit das Ergebnis der Abfrage einen Nutzen für die eigene Arbeit hat. Auch Berufsberatern der Bundesagentur für Arbeit sollen KI-Wissen vermittelt bekommen.
Die großen Rechenzentren sollen der Digitalisierung Nordrhein-Westfalen einen Schub gehen und eine optimale Datennutzung durch Industriekonzerne und andere Firmen ermöglichen. Das Rheinische Revier werde „zum Ankerpunkt eines digitalen Ökosystems“, sagte Ministerpräsident Hendrik Wüst (CDU). Dies sei auch ein nachhaltiger Beitrag für zukunftsfeste Arbeitsplätze. „Nordrhein-Westfalen geht den Weg von der Kohle zur KI.“ (mit dpa)