Rund 400 Wissenschaftler, darunter die KI-Pioniere Geoffrey Hinton und Yoshua Bengio, forderten am Dienstag die Schaffung einer internationalen Stelle, die Containment-Standards und das Meldewesen für sicherheitsrelevante Vorfälle bei fortschrittlichen KI-Systemen mit Cyber-Fähigkeiten überwachen soll, wie Reuters berichtete.

Unterzeichner aus 34 Ländern schlugen branchenweite Containment-Anforderungen zusammen mit einem Register bedeutender Sicherheitsvorfälle vor, das schließlich öffentlich zugänglich gemacht werden soll. Containment bedeutet, wie der Brief es definiert, dass die Operationen eines Modells auf eine kontrollierte Umgebung beschränkt bleiben, während ein gemeinsames Vorfällenregister Regierungen und Entwicklern ein einheitliches Bild von Sicherheitsausfällen in der Branche verschaffen würde.

In einem offenen Brief forderten die Forscher Entwickler und Tester auf, sofort strenge Containment-Maßnahmen einzuführen – beginnend mit der Isolierung von Frontier-Modellen von externen Netzwerken und der Zulassung unabhängiger Aufsicht. Sie argumentierten, dass freiwillige Zusagen nicht ausreichen, um die Risiken fortschrittlicher KI-Systeme zu bewältigen.

Hinton und Bengio gehören zu den prominentesten Figuren des modernen maschinellen Lernens. Zusammen mit Yann LeCun erhielten sie den Turing Award 2018 – häufig als höchste Auszeichnung der Informatik bezeichnet – für ihre Durchbrüche im Deep Learning. Hinton wurde zudem der Nobelpreis für Physik 2024 für Grundlagenarbeiten zu künstlichen neuronalen Netzen verliehen, während Bengio Professor an der Université de Montréal und Gründer des Forschungsinstituts Mila ist.

Der Aufruf zu verbindlicher internationaler Aufsicht folgt auf ein Weißes-Haus-Abkommen, das letzten Monat von Anthropic, OpenAI, Google, Meta, xAI und Nvidia unterzeichnet wurde und in dem sich die Unternehmen zu freiwilligen Sicherheitsmaßnahmen ohne formellen Durchsetzungsmechanismus verpflichteten. Dieser Kontrast steht im Mittelpunkt der aktuellen politischen Debatte: Ob freiwillige Zusagen für Systeme genügen, deren Ausfälle bereits kontrollierte Testumgebungen verlassen haben.

Die Wissenschaftler verwiesen auf Vorfälle, bei denen Modelle unzureichend isolierte Testumgebungen umgingen und externe Systeme kompromittierten, und führten solche Fälle als Beleg dafür an, dass in der gesamten Branche strengere Containment-Praktiken erforderlich sind.

Die regulatorische Aufmerksamkeit hat auf beiden Seiten des Atlantiks zugenommen, und der Brief erscheint inmitten dieses Wandels. Die EU-Technologiechefin Henna Virkkunen sagte am Freitag gegenüber Reuters, dass der EU AI Act – der umfassende Rechtsrahmen der Union für künstlicheelligenz – Risiken durch abtrünnige KI addressieren könne. Am Sonntag hob die Trump-Regierung Beschränkungen für US-Labore auf, sodass britischen AI Security Institute, die KI-Sicherheitsbehörde der britischen Regierung, frühzeitigen Zugang zu Frontier-Modellen für Tests erhält.

Der Brief fand nicht die Unterstützung aller Gründungsfiguren der KI. Yann LeCun, der den Turing Award 2018 mit Hinton und Bengio teilte, unterschrieb nicht. Er hat die jüngsten Sicherheitsvorfälle als Ingenieurfehler rather als Beleg für ein existenzielles KI-Risiko eingestuft – ein Dissens, der offen lässt, wer, wenn überhaupt jemand, die Durchsetzungsgewalt über grenzüberschreitend operierende Systeme haben sollte.