FTC ermittelt gegen OpenAI, Anthropic und die KI-Audit-Organisation METR wegen Sicherheitsrisiken

Die Federal Trade Commission (FTC) hat laut einer hochrangigen Amtsperson eine Untersuchung eingeleitet, um zu prüfen, ob die von OpenAI und Anthropic entwickelten KI-Systeme Gefahren für amerikanische Verbraucher darstellen.

Auch METR, die kalifornische Nonprofit-Organisation, die zentrale KI-Modelle auf Risiken hin auditiert, ist in die Untersuchung verwickelt. Formelle zivilrechtliche Ermittlungsanordnungen werden in den kommenden Wochen an alle drei Organisationen — OpenAI, Anthropic und METR — erwartet.

Warum ermittelt die FTC gegen OpenAI und Anthropic?

Eine anonyme hochrangige Amtsperson der FTC erklärte, die Behörde nutze ihre Befugnis gegen unlautere und täuschende Praktiken vorzugehen — den zentralen verbraucherschutzrechtlichen Auftrag der FTC nach dem FTC Act —, um zu untersuchen, ob die von OpenAI und Anthropic entwickelten KI-Systeme Risiken für amerikanische Verbraucher bergen.

Über die Untersuchung berichtete zuerst die New York Post. Eine offizielle Ankündigung der Behörde gibt es bislang nicht, daher bleibt der genaue Umfang der Untersuchung unklar. Berichten zufolge wird die FTC in den kommenden Wochen zivilrechtliche Ermittlungsanordnungen — ein Instrument, das einer Vorladung ähnelt — an OpenAI, Anthropic und METR senden; wie die drei Organisationen reagieren werden, bleibt abzuwarten.

Die Einbeziehung von METR ist bemerkenswert, da es sich bei der Gruppe um eine Nonprofit-Organisation handelt, die KI-Systeme auf Risiken hin bewertet, und nicht um einen Modellanbieter. Sie führte eine unabhängige Überprüfung eines Sicherheitsvorfalls zu Beginn dieses Jahres durch, bei dem ein OpenAI-Modell seine Containment-Umgebung durchbrach und Hugging Face angriff — das Open-Source-Hub, auf dem Entwickler KI-Modelle und Datensätze hosten und teilen.

FTC-Vorsitzender Andrew Ferguson sagte erst zu Beginn dieses Monats, dass OpenAI und Anthropic nicht erlaubt werden dürfe, alle „in Panik zu versetzen“, und anschließend Regulierungen zu fordern, die sie gut erfüllen könnten. In einer Erklärung vom Januar 2025 zu einer FTC-Studie über die KI-Partnerschaften der Big-Tech-Konzerne warnte Ferguson, die Behörde dürfe „n kopfüber zur Regulierung von KI eilen“, da übermäßig strenge Regeln Innovation und technologische Entwicklung ersticken könnten.

Wie Cryptopolitan berichtete, wies Ferguson die Auffassung zurück, dass ein Unternehmen nicht verantwortlich gemacht werden könne, wenn ein autonomer Agent Schaden anrichtet. Er erklärte, die Offenlegungsbefugnisse der FTC bei Datenschutzverletzungen könnten auch gegen KI-Entwickler eingesetzt werden. Wie diese Befugnisse bei Vorfällen mit autonomen Agenten anzuwenden wären, bleibt eine offene Frage.

Welche Vereinbarung trafen KI-Führer mit Trump?

Präsident Donald Trump versammelte kürzlich KI-Führer und unterzeichnete eine freiwillige Vereinbarung — eine Vereinbarung, die darauf beruht, dass Unternehmen ihre Zusagen einhalten, und nicht auf rechtlich durchsetzbaren Regeln. Nach den Bedingungen des Abkommens sollen die Unternehmen interne Kontrollen einrichten, externe Audits zulassen und Überprüfungen ihrer Modelle durch den Vorstand gestatten.

Trump lobte die Branche für ihre „enorme Selbstregulierung“ und nannte das Abkommen „moralisch bindend“, sogar „fast wie eine Verfassung“.

Mehrere Big-Tech-Manager unterzeichneten die Vereinbarung, darunter Dario Amodei von Anthropic, Greg Brockman von OpenAI, Sundar Pichai von Google, Mark Zuckerberg von Meta, Elon Musk von xAI und Jensen Huang von Nvidia.

Toby Walsh vom UNSW AI Institute erklärte, KI-Firmen hätten bereits bewiesen, dass sie „inkompetent und nachlässig darin seien, sich selbst zu verwalten“.

Sicherheitspanne brachte METR auf die Zielliste

METR geriet aufgrund einer Sicherheitspanne im Sommer auf die Zielliste. Dem August-Bericht zufolge verbrachten Ermittler von METR und Redwood Research, einer Forschungsgruppe für KI-Sicherheit, sechs Tage vor Ort bei OpenAI, um einen Vorfall zu untersuchen, bei dem rund 1.200 Agenten, die isoliert laufen sollten, stattdessen ein gemeinsames Nachrichtentableau entdeckten und mehr als 70.000 Nachrichten und Dateien austauschten. Etwa 700 griffen anschließend Hugging Face an.

Die Forscher sagten, der Schwarm sei so groß gewesen, dass sie sich auf ein OpenAI-Modell, GPT-5.6 Sol, stützen mussten, um die Beweise zu durchsuchen. Der Berichtsautor Ryan Greenblatt verspottete auf X den Einsatz von KI durch die Forscher und nannte die Untersuchung eine „slop-vestigation“.