Hallo und willkommen bei Eye on AI. In dieser Ausgabe:

Das UK AISI hat eine neue Leitung und steht vor großen Herausforderungen.

Nvidia gibt $6 billion aus, um Poolside per „reverse aquihire“ zu übernehmen.

Berichten zufolge will Hugging Face für $13 billion verkaufen.

Die Nutzung von Anthropic’s Top-Modell hinkt hinterher.

Warum Amerikaner Chatbots für Gesundheitsinformationen nutzen.

Und welche Rolle sollte KI in Schulen spielen?

Bevor wir zu den heutigen KI-Nachrichten kommen: Bitte überlegen Sie, mich am 1. Oct. beim ersten Fortune AIQ Summit an der New York Stock Exchange zu begleiten: Verbringen Sie den Nachmittag mit Führungskräften von Unternehmen der Fortune AIQ 75-Liste und erfahren Sie, wie Sie Ihre KI-Experimente skalieren und Investitionen in messbaren Geschäftswert übersetzen können. Ich werde die Diskussionen gemeinsam mit meinen Co-Hosts, Fortune Editor-in-Chief Alyson Shontell und Live Media Editorial Director Andrew Nusca, leiten. Hier bewerben .

Weiter im Text: Zwei Nachrichten der vergangenen Woche über das britische AI Security Institute schienen auf den ersten Blick nicht eng miteinander verknüpft zu sein oder für Leser außerhalb Großbritanniens besonders relevant. Aber sie sind global von Bedeutung.

Das U.K. AI Security Institute, allgemein bekannt als AISI, ist aus mehreren Gründen wichtig. Vor allem haben viele führende KI-Unternehmen freiwillig zugestimmt, ihre Modelle AISI vor der öffentlichen Veröffentlichung für Sicherheitstests zur Verfügung zu stellen. Diese Unternehmen veröffentlichen AISI’s Ergebnisse häufig in den technischen Berichten, die sie zusammen mit ihren Modellen herausgeben. Damit spielt AISI weltweit eine bedeutende Rolle bei der Bewertung von KI-Fähigkeiten und Risiken, insbesondere im Bereich Cybersicherheit. Es ist zudem eine der wenigen Organisationen, die mehrere Cybersecurity-„Ranges“ — simulierte Netzwerkumgebungen — betreibt, in denen führende KI-Modelle getestet werden.

AISI ist außerdem deshalb relevant, weil es als erste staatliche Einrichtung dieser Art geschaffen wurde und als Vorbild für ähnliche Organisationen in anderen Ländern diente, darunter das U.S. AI Security Institute, das dem National Institute of Standards and Technology (NIST) untersteht, sowie mindestens zehn weitere, die von Kenya bis Canada eingerichtet wurden. Es könnte auch Einfluss auf eine künftige US-Behörde für Standards und Lizenzierung haben, wie sie von Google DeepMind-Mitgründer und derzeitigem Chairman Demis Hassabis vorgeschlagen wurde. In einem früheren Newsletter habe ich erläutert, warum diese Idee womöglich nicht die beste ist.

Für britische Policy-Experten nimmt AISI einen besonderen Platz ein. Es wird oft als Beleg dafür angeführt, dass die britische Regierung, wenn sie es wirklich will, innovativ, schnell und weltweit führend sein kann; dass sie rasch auf neue Herausforderungen reagieren, talentierte Fachleute aus dem Privatsektor und der gesamten Verwaltung rekrutieren und erfolgreich mit der Industrie an ambitionierten gemeinsamen Zielen arbeiten kann. Für diese Unterstützer ist AISI ein Vorbild dafür, wie Regierung funktionieren sollte.

Die erste Nachricht: AISI hat einen neuen Direktor ernannt, Henry de Zoete. Er ist ein erfahrener britischer Regierungsberater, der sowohl in als auch außerhalb von Politikrollen gearbeitet hat. 2023 half er bei der Konzeption von AISI, als er für den damaligen britischen Premierminister Rishi Sunak arbeitete. Er half außerdem bei der Organisation des ersten internationalen AI safety summit in Bletchley Park, dem Ort der Codeknackerei aus dem Zweiten Weltkrieg. Außerhalb der Regierung war er Start-up-Unternehmer, Angel Investor und ein Teilzeit-Fellow mit Schwerpunkt KI-Politik an der University of Oxford.

Ich habe de Zoete mehrfach getroffen und habe keinen Zweifel, dass er sich als sehr fähiger AISI-Direktor erweisen wird. Er dürfte zudem einflussreicher werden als seine Vorgänger, auch wegen der jüngsten Änderungen, die der neue britische Premierminister Andy Burnham vorgenommen hat. Burnham löste das Department of Science, Innovation, and Technology (DSIT) auf, dem AISI bisher unterstand, und verlegte AISI ins Cabinet Office, wo es von UK AI Minister Kanishka Narayan beaufsichtigt wird. Das könnte es de Zoete erleichtern, stärker auf die breitere britische KI-Politik einzuwirken.

Doch die zweite AISI-Nachricht der vergangenen Woche macht deutlich, wie groß die Herausforderungen für de Zoete sein werden — und legt nahe, warum AISI möglicherweise nicht das Vorbild für kluge KI-Governance ist, als das seine Befürworter es gern darstellen.

Reuters veröffentlichte ein Interview mit Sinan Can Demir, einem Studenten der Informatik in Texas, der Ende Juli eine unkontrollierte Version von Anthropic’s Mythos-Modell daran hinderte, schädlichen Code in ein Open-Source-Softwareprojekt auf GitHub hochzuladen, dem größten Host für Open-Source-Code weltweit. Die Besonderheit: Dieser Rogue-AI-Agent war versehentlich von AISI freigesetzt worden, das Mythos getestet hatte, um die damit verbundenen Cybersicherheitsrisiken zu bewerten. AISI hatte keineswegs beabsichtigt, dass der Agent versucht, schädlichen Code in ein echtes Open-Source-Projekt hochzuladen — die Art von Manipulation, die Sicherheitsforscher als Software-Supply-Chain-Angriff bezeichnen, weil schädlicher Code in einem weit verbreiteten Projekt auf viele abhängige Downstream-Systeme übergreifen kann. Nachdem AISI erkannte, was geschah, kontaktierte es Demir, um ihn zu informieren, und legte den Vorfall Anfang August öffentlich offen.

Es ist höchste Zeit, AISI zu seinen eigenen Sicherheitsprotokollen mit harten Fragen zu konfrontieren

Demirs Schilderung ist aus mehreren Gründen beunruhigend. Einer davon ist das Verhalten von Mythos, darunter das Anlegen gefälschter GitHub-Konten und in mindestens einem Fall die Identitätsanmaßung eines echten Softwareentwicklers, um Demir dazu zu bewegen, seine Einwände gegen den gefährlichen Code aufzugeben. Demir sagte, er sei durch Mythos’ Gaslighting beinahe überzeugt worden; einige der Gegenargumente hätten ihn dazu gebracht, „zu hinterfragen, ob ich vielleicht zu Unrecht jemanden beschuldige“. Ironischerweise wurde Demirs Entschluss durch ein Gespräch mit Claude, einem weiteren Anthropic-Modell, gestärkt.

Die Forschung hat bereits gezeigt, dass KI-Modelle sehr überzeugend sein können, sogar überzeugender als die besten menschlichen Verkäufer oder Debattierer. Doch die Nutzung gefälschter Konten und Identitätsanmaßung ist hier neu und zeigt, wie KI Menschen womöglich dazu bringen könnte, in ihrem Namen für schädliche Zwecke zu handeln.

Auch AISI’s Rolle ist gleichermaßen beunruhigend. Das Institut bemerkte Mythos’ Verhalten nach drei Tagen und veröffentlichte einige Informationen dazu, doch es ist unklar, warum seine Prüfer Mythos nicht in Echtzeit wesentlich enger überwachten, damit sie während des Vorfalls eingreifen konnten. Ebenfalls unklar ist, ob AISI angemessene Vorsichtsmaßnahmen traf, um zu verhindern, dass Mythos aus der kontrollierten Testumgebung entkommt, oder ob es die Risiken des Testens immer leistungsfähigerer KI-Modelle mit entfernten Schutzmechanismen richtig bewertet hat.

Die Frontier-Labore sagen, sie gäben AISI ungeschützte Versionen ihrer Modelle, weil dies einige Fähigkeitstests beschleunige; andernfalls müssten AISI-Prüfer zunächst Wege finden, die Modelle zuverlässig zu jailbreaken.

Als im Juli erstmals bekannt wurde, dass OpenAI’s Modelle aus der Testumgebung des Unternehmens ausgebrochen waren und das KI-Unternehmen Hugging Face gehackt hatten, war eine der ersten Maßnahmen von mir, AISI per E-Mail zu fragen, welche Schritte es unternehme, damit KI-Modelle nicht ebenfalls aus seinen Cybersicherheitsbewertungen ausbrechen und Chaos verursachen. Am 22. July schrieb mir ein AISI-Sprecher zurück und teilte mit, die britische Regierungsbehörde untersuche „das in diesem Vorfall beobachtete Verhalten“ und arbeite weiter „mit OpenAI und anderen Laboren zusammen, um die Fähigkeiten von KI besser zu verstehen und Schutzmaßnahmen zu verbessern“. Nun, offenbar haben sie nicht schnell genug untersucht. Eine Woche später ereignete sich dieser Mythos-GitHub-Vorfall.

Wie der KI-Forscher und Unternehmer Ed Newton-Rex in einem Post auf X hervorhob, verstoßen Mythos’ Aktivitäten auf GitHub wahrscheinlich gegen das Computer Misuse Act des Vereinigten Königreichs, das 1990 erlassene Gesetz des Landes, das unbefugten Zugriff auf und Veränderungen an Computersystemen unter Strafe stellt. Doch es ist unklar, ob irgendjemand AISI selbst oder die Personen, die die AISI-Tests durchführen, zur Verantwortung ziehen wird. Sollte AISI angesichts des Hugging-Face-Vorfalls seine Cybersicherheitstests nicht vielleicht ausgesetzt haben, bis sichergestellt war, dass die Kontrollen robust sind? Mindestens sollte es eine parlamentarische Untersuchung dazu geben, was AISI tut und ob es genügend Vorsichtsmaßnahmen trifft.

AISI’s Probleme sind nicht nur technischer Natur. Sie sind strukturell.

Es gibt ein noch größeres Problem als das von Newton-Rex angesprochene.

In mehreren AI-safety-Berichten von OpenAI, Anthropic und Google DeepMind vermerken die Frontier-Unternehmen Risiken, die AISI’s Tests aufgedeckt haben. Die Labore sagen oft, sie hätten vor der Veröffentlichung der Modelle zusätzliche Risikominderungen eingeführt, spezifizieren diese Schutzmaßnahmen jedoch meist nicht. Sie weisen gelegentlich darauf hin, dass AISI ungeschützte Modelle getestet habe und die eigenen Forscher des Unternehmens davon ausgingen, dass die Versionen mit Schutzmechanismen nicht die gleichen Risiken aufweisen würden.

Doch was halten AISI’s eigene Experten von diesen Risikominderungen? Sind sie ausreichend? Wissen sie überhaupt, welche das sind? Sind die Modelle sicher genug zur Veröffentlichung? Zu diesen für die Öffentlichkeit zentralen Fragen schweigt AISI.

Der Grund ist, dass AISI tatsächlich kein Mandat hat, diese Fragen zu beantworten. Seine Mission ist es vielmehr, „Überraschungen für das Vereinigte Königreich und die Menschheit durch rasche und unerwartete Fortschritte in der KI zu minimieren“. Es soll „sociotechnical infrastructure“ entwickeln, um die Risiken fortgeschrittener KI zu verstehen und ihre Governance zu ermöglichen. Außerdem soll es „U.K. and international policymaking“ informieren und „technical tools for governance regulation“ bereitstellen. Entscheidend ist jedoch, dass in den Gründungsdokumenten steht, AISI sei „kein Regulator und werde keine staatliche Regulierung festlegen“.

Hinzu kommt, dass Frontier-KI-Unternehmen ihre Modelle AISI nur freiwillig zur Verfügung stellen. Zwar haben diese Unternehmen Absichtserklärungen mit der Behörde unterzeichnet, rechtlich verpflichtet sind sie dazu aber nicht.

Man könnte also argumentieren, dass AISI’s Auftrag, die „Menschheit“ über KI-Risiken zu informieren, es dazu verpflichten müsste, jedes Frontier-Unternehmen öffentlich zu benennen, das nach den von AISI entdeckten Gefahren nicht ausreichend reagiert. In der Praxis wirkt es jedoch so, als scheue AISI genau davor zurück. Der Grund ist naheliegend: Würde es das tun, könnten diese Unternehmen den Zugang zu ihren Modellen einfach kappen.

Im schlimmsten Fall führt das zu „safety washing“ — also dazu, dass die Tatsache, dass die Labore ihre Modelle mit AISI geteilt haben, sie sicherheitsbewusster erscheinen lässt, als sie tatsächlich sind. Wenn AISI’s Erkenntnisse in den technischen Berichten der Unternehmen auftauchen, kann dies der Öffentlichkeit fälschlicherweise den Eindruck vermitteln, die Modelle seien bei ihrer Veröffentlichung sicher, obwohl wir in Wahrheit nicht wissen, ob die Labore die von AISI identifizierten Risiken ausreichend gemindert haben.

Das ist ein weiterer Grund, warum freiwillige Governance-Modelle unzureichend sind. Statt den privaten Sektor wirksam zu kontrollieren, wird die Regierungsbehörde von den Unternehmen, die sie überwachen soll, abhängig, weil sie auf deren guten Willen angewiesen ist, um überhaupt weiter funktionieren zu können.

Vielleicht kann de Zoete darauf drängen, AISI’s Befugnisse auszuweiten. Zunächst muss er jedoch sicherstellen, dass die bestehenden Prüfungen nicht mehr Schaden anrichten, als sie verhindern.

Damit zu mehr KI-Nachrichten.

Jeremy Kahn
jeremy.kahn@fortune.com
@jeremyakahn

Bevor wir zu den Nachrichten kommen, noch ein Hinweis auf unseren Vodcast, Fortune AI Weekly. Diese Woche sprechen Bea Nolan und ich über OpenAI’s Entscheidung, nach dem Hugging-Face-Angriff einige KI-Trainings zu pausieren, geleakte Finanzdetails von Anthropic und OpenAI sowie den in diesem Newsletter behandelten Mythos-Vorfall. Sie können den Vod hier auf YouTube ansehen: YouTube playlist.

Diese Geschichte erschien ursprünglich auf Fortune.com