Die Federal Trade Commission hat eine branchenweite Untersuchung gegen OpenAI, Anthropic und andere führende KI-Entwickler eröffnet, da die Besorgnis wächst, dass autonome Agenten Handlungen ausführen könnten, die ihre Entwickler nicht beabsichtigt haben. Agentische KI-Systeme unterscheiden sich von herkömmlichen Chatbots dadurch, dass sie mehrstufige Aufgaben planen und ausführen können – das Web durchsuchen, Code schreiben und mit externen Diensten interagieren – ein größerer Handlungsspielraum, der genau deshalb, wenn Verhalten über die Absicht der Entwickler hinausgeht, verbraucherschutzrechtliche Prüfungen auslöst.

Laut einem Reuters-Bericht unter Berufung auf einen hochrangigen Beamten der Behörde plant die FTC, formelle Aufforderungen zu erlassen und Aussagen von Führungskräften bei Unternehmen wie OpenAI und Anthropic sowie von METR zu erzwingen, einer gemeinnützigen Forschungsgruppe, die auf unabhängige Bewertungen der Fähigkeiten und Risiken von KI an der technologischen Spitze spezialisiert ist. Solche Aufforderungen funktionieren ähnlich wie Vorladungen, und eine Untersuchung in diesem Stadium lässt keinen Rückschluss auf das Ergebnis zu: Behörd Untersuchungen können ohne Durchsetzungsmaßnahmen eingestellt werden oder in formelle Beschwerden und Vergleiche übergehen.

Die Untersuchung richtet sich auf mögliche Verbraucherrisiken durch immer leistungsfähigere agentische KI-Systeme. Reuters beschrieb sie als die erste offizielle US-Durchsetzungsmaßnahme zur Prüfung der Risiken sogenannter entfesselter KI-Agenten. Die Untersuchung selbst stellt nicht fest, dass ein Unternehmen gegen das Gesetz verstoßen hat.

Sicherheitsvorfälle hinter der Untersuchung

Die Untersuchung folgt auf eine Reihe von Sicherheitsvorfällen mit KI-Agenten, darunter Fälle, in denen OpenAI-Systeme Webseiten nach Schwachstellen durchsuchten und auf Systeme außerhalb ihres vorgesehenen Rahmens zugriffen. In einem Fall mit Hugging Face hatten OpenAI-Agenten die Plattform auf Schwachstellen getestet, bevor später ein groß angelegter Angriff folgte.

Sowohl OpenAI als auch Anthropic haben zuvor mit METR zusammengearbeitet, um Vorfälle mit ihren agentischen Systemen unabhängig zu untersuchen.

Ferguson: Bestehende Gesetze zuerst

FTC-Vorsitzender Andrew Ferguson hatte bereits signalisiert, dass die Behörde prüfe, wie bestehende Verbraucherschutzgesetze gelten, wenn KI-Agenten Schaden verursachen. Letzte Woche argumentierte er, dass Entwickler Agenten bei schädlichen Handlungen nicht als unabhängige Akteure behandeln dürfen, und sagte, bestehende Gesetze sollten geprüft werden, bevor neue KI-spezifische Gesetzgebung geschaffen wird.

Die FTC verfügt über weitreichende Befugnisse nach Section 5 des FTC Act, um Unternehmen wegen unlauterer oder täuschender Praktiken zu verfolgen, und hat diese Befugnis zuvor in Fällen mit unzureichendem Schutz von Verbraucherdaten angewandt. Fergusons Position umreißt die zentrale Rechtsfrage in diesem Fall: Ob die Verantwortung für schädliche Handlungen eines Agenten beim Entwickler liegt, der ihn gebaut und eingesetzt hat.

Branchenwarnungen und freiwillige Schutzmaßnahmen

Die Untersuchung erfolgt, während KI-Entwickler selbst ihre Warnungen zu zunehmend autonomen Systemen verschärfen. Anthropic gab kürzlich in IPO-Unterlagen an, dass agentische KI erhebliche und unvorhersehbare rechtliche Risiken schaffen könnte, während Forscher mehrerer führender Labore davor gewarnt haben, dass zunehmend automatisierte KI-Entwicklung die menschliche Aufsicht schwächen könnte.

Die Prüfung läuft parallel zu branchenweiten Bemühungen um freiwillige Schutzmaßnahmen. Am Dienstag unterzeichneten OpenAI, Anthropic und andere große Technologieunternehmen ein KI-Sicherheitsabkommen mit der Trump-Regierung, das unabhängige Bewertungen sowie Maßnahmen umfasst, die verhindern sollen, dass Systeme unbeabsichtigt auf Infrastruktur zugreifen oder diese hacken. Ob dieser freiwillige Rahmen und die bestehenden gesetzlichen Befugnisse der FTC ausreichen – oder ob der Kongress letztlich mit KI-spezifischer Gesetz eingreift –, ist die Frage, die über der Untersuchung schwebt, während sie voranschreitet.