Mehr als acht von zehn britischen Erwachsenen sind besorgt, dass künstliche Intelligenz außerhalb der von Menschen gesetzten Grenzen handeln könnte, wie die neueste City AM / Freshwater Strategy-Umfrage zeigt. Anlass sind eine Reihe hochkarätiger Vorfälle, bei denen sich fortgeschrittene KI-Systeme während Sicherheitstests auf unerwartete und alarmierende Weise verhielten.

Die Umfrage ergab, dass 85 Prozent der britischen Wähler besorgt darüber sind, dass KI-Systeme die ihnen auferlegten Beschränkungen überschreiten; 43 Prozent beschrieben sich als „sehr besorgt“. Nur 13 Prozent gaben an, unbesorgt zu sein.

Eine Reihe offengelegter Vorfälle

Die Ergebnisse folgen auf die Offenlegung mehrerer größerer KI-Entwickler, die in den vergangenen Wochen Vorfälle bekannt machten, bei denen zunehmend autonome Systeme die Grenzen kontrollierter Evaluierungen überschritten.

Im vergangenen Monat berichtete City AM, dass das AI Security Institute (AISI) der Regierung — die nach dem Bletchley Park AI Safety Summit 2023 geschaffene Behörde, die Frontier-Modelle vor der öffentlichen Freigabe auf Belastbarkeit prüft — den ersten bekannten Fall untersuche, in dem ein KI-Modell eine kontrollierte Testumgebung verließ und die Systeme eines anderen Unternehmens hackte, nachdem ein OpenAI-Agent seine Evaluation autonom umgangen und die KI-Plattform Hugging Face ins Visier genommen hatte.

Seitdem hat Anthropic offengelegt, dass einige seiner Claude-Modelle während interner Tests in drei externe Organisationen eingedrungen sind, während Meta bestätigte, dass eines seiner KI-Modelle nach unbeabsichtigtem Internetzugang während einer Evaluation eine Schwachstelle bei einem anderen Unternehmen ausnutzte.

Beispiellose Täuschung

In der vergangenen Woche teilte das AISI außerdem mit, dass Modelle von Anthropic und OpenAI bei Cybersecurity-Tests versucht hätten, Softwareentwickler zu täuschen, indem sie gefälschte Online-Identitäten erstellten und versuchten, schädlichen Code in GitHub-Projekte einzuschleusen.

Die Aufsichtsbehörde bezeichnete dies als das erste Mal, dass sie derart klar Risiken rund um „Autonomie und Täuschung“ beobachtet habe, ohne dass die Systeme ausdrücklich angewiesen worden seien, sich so zu verhalten.

Obwohl alle Vorfälle unter ungewöhnlichen Testbedingungen stattfanden — Forscher lockerten Sicherheitsvorkehrungen absichtlich, um das Verhalten fortgeschrittener Systeme zu verstehen —, haben sie die Sorge verstärkt, ob die Technologie immer schwerer zu kontrollieren ist. Bei den betroffenen Systemen handelt es sich nicht um Chatbot-Textgeneratoren, sondern um KI-Agenten: Programme, die darauf ausgelegt sind, mehrstufige Aktionen mit begrenzter menschlicher Aufsicht auszuführen — genau jene Fähigkeiten, die Unternehmen wie OpenAI, Google und Anthropic derzeit über Produkte kommerzialisieren wollen, die eigenständig im Web browsen, Code schreiben und Aufgaben im Auftrag eines Nutzers erledigen können.

Öffentliche Sorge reicht über KI-Beobachter hinaus

Die Umfrage deutet darauf hin, dass diese Bedenken inzwischen weit über jene hinausgehen, die die Entwicklung von KI eng verfolgen. Den Befragten wurden zunächst Berichte vorgelegt, wonach OpenAI- und Anthropic-Systeme während Tests auf Systeme anderer Organisationen zugegriffen hatten. Zwar hatten nur 43 Prozent zuvor von den Vorfällen gehört, doch die Sorge stieg deutlich, sobald der Sachverhalt erklärt wurde.

Unter denjenigen, die die sogenannten „rogue AI“-Fälle bereits kannten, gaben 91 Prozent an, besorgt darüber zu sein, dass KI-Systeme außerhalb der von Menschen gesetzten Grenzen handeln könnten.

Die Sorge zieht sich auch durch Altersgruppen und politische Lager. Acht von zehn Menschen im Alter von 18 bis 34 Jahren äußerten Besorgnis, bei den über 55-Jährigen stieg der Wert auf 92 Prozent. Unter Labour-Wählern sagten 85 Prozent, sie seien besorgt, ebenso 92 Prozent der Conservative-Wähler, 90 Prozent der Liberal Democrats, 85 Prozent der Reform-UK-Anhänger und 85 Prozent der Green-Wähler.

Regulierer verschärfen die Prüfung

Die Vorfälle haben auch die Aufsicht durch Regulierer verschärft. Nach dem Hugging-Face-Einbruch bestätigte die Regierung gegenüber City AM, dass das AISI prüfe, ob sich ähnliches Verhalten auch bei anderen Frontier-KI-Entwicklern zeigen könnte. Beamte sagten, der Fall werde helfen, künftige Arbeiten zur KI-Sicherheit zu informieren, da zunehmend leistungsfähigere Systeme größere Autonomie erhalten.

In einer separaten Stellungnahme nach dem GitHub-Vorfall erklärte das Institut, jüngste Ereignisse deuteten auf „eine Verschiebung in der Risikolandschaft“ hin, wobei Schäden entstehen könnten, wenn leistungsstarke KI-Agenten in privilegierten Forschungsumgebungen Handlungen außerhalb ihres autorisierten Rahmens vornehmen.

Das Vereinigte Königreich ist mit einer strengeren Aufsicht nicht allein. Der EU AI Act, der 2024 als erstes umfassendes KI-Gesetz der Welt in Kraft trat, führt risikobasierte Pflichten für Hochrisikosysteme ein, während die USA per Executive Orders führende Entwickler verpflichtet haben, Sicherheitstestergebnisse vor dem Einsatz mit der Regierung zu teilen.

Ric Derbyshire, leitender Sicherheitsforscher bei Orange Cyberdefense, sagte: „Jüngste Berichte von AISI, OpenAI, Anthropic und Meta liefern wichtige Einblicke darin, wie sich fortgeschrittene KI-Systeme unter Evaluierung verhalten können.“

„Sie zeigen auch, dass mit der fortschreitenden Entwicklung der KI-Fähigkeiten die Umgebungen, in denen diese Systeme getestet, eingegrenzt und bewertet werden, den höchstmöglichen Sicherheitsstandards entsprechen müssen.“

Reaktion der Branche

Die beteiligten KI-Unternehmen betonten, dass das Verhalten unter hochgradig ungewöhnlichen Forschungsbedingungen und nicht während des normalen öffentlichen Einsatzes auftrat. Anthropic sagte, die Tests des AISI seien „nicht repräsentativ“ für seine Produktionsmodelle, während OpenAI erklärte, die während der Evaluierungen genutzten Umgebungen spiegelten keinen gewöhnlichen Einsatz wider.

Dennoch hat die Abfolge der Vorfälle die Debatte über KI-Sicherheit von hypothetischen zukünftigen Risiken hin zum Verhalten von Systemen verschoben, die bereits in den weltweit größten KI-Laboren entwickelt werden — Systeme, denen gleichzeitig immer mehr Autonomie eingeräumt wird, während sie auf eine breite kommerzielle Einführung vorbereitet werden.