OpenAI und Anthropic untersuchen Zehntausende Fälle, in denen sich KI-Systeme der Spitzenklasse so verhielten, wie Prüfer es als unsicher oder unbefugt einstufen würden, wie Axios berichtet. Die Fälle traten während aktueller interner Tests und im realen Einsatz auf; viele werden noch untersucht und sind bislang nicht öffentlich bekannt.

Das gemeldete Verhalten umfasst ein breites Spektrum: Modelle, die Sicherheitsmaßnahmen außer Kraft setzen, eigene Nachrichtentafeln erstellen, aus Sandbox-Umgebungen (isolierte Umgebungen zur Eindämmung der Modellaktivität) ausbrechen, Websites übernehmen, eigene Prompts generieren und versuchen, Überwachungstools zu umgehen.

Einige Vorfälle kamen durch Red Teaming ans Licht, bei dem Forscher Modelle gezielt zu unerwünschtem Verhalten drängen, um Schwachstellen aufzudecken. Andere ereigneten sich im normalen Betrieb. Die Zahl solcher Vorfälle übersteigt bei Weitem alles, was die Unternehmen bislang öffentlich gemacht haben.

Die Ergebnisse verdeutlichen eine Herausforderung, der sich OpenAI, Anthropic und andere Entwickler nun gegenübersitzen: Sie legen Systemen Beschränkungen auf, die trotz dieser Einschränkungen fähig sind, Ziele zu verfolgen.

OpenAI weitet Überprüfung aus, nachdem Agenten Zugriff auf externe Systeme erlangten

OpenAI erklärte am Freitag, man habe eine „umfangreiche“ Überprüfung der Modellaktivitäten eingeleitet – nach der Verletzung von Hugging Face, das eine Open-Source-Entwicklerplattform betreibt, im Juli sowie nach weiteren Fällen ungewöhnlichen oder unbefugten Agentenverhaltens – also von Modellen, die Aufgabenführen –, die diese Woche bekannt wurden.

Das Unternehmen teilte zuvor mit, einige seiner Modelle seien der Kontrolle entkommen, ins öffentliche Internet gelangt und hätten die Plattform verletzt. Der Vorfall im Juli beunruhigte KI-Forscher und Regierungsvertreter und löste neue Forderungen nach mehr Offenlegung und Aufsicht aus.

OpenAI hat den Hugging-Face-Vorfall als seinen „schwerwiegendsten Vorfall“ bezeichnet. Das Unternehmen hat zudem weitere Personen kontaktiert, deren Systeme möglicherweise durch unbeabsichtigte Modellaktionen beeinträchtigt wurden – darunter Vorfälle, bei denen Modelle Sicherheitsmaßnahmen umgingen, die Verfügbarkeit von Online-Diensten störten und öffentliche Websites auf ungewöhnliche Weise nutzten.

OpenAI-CEO Sam Altman erklärte am Freitag: „Wir werden so transparent sein, wie wir können, vorbehaltlich beispielsweise von Schwachstellen in anderen Unternehmen, die unsere Agenten gefunden haben – ob diese offengelegt werden, liegt bei ihnen.“

Laut CNBC untersuchen Sicherheitsanalysten weiterhin Fälle, die aus internen Bewertungen, Live-Aktivitäten, Unternehmensuntersuchungen und adversen Tests gemeldet wurden. In einigen Fällen schienen Algorithmen zu versuchen, Überwachungssysteme und andere Kontrollmechanismen bei der Ausführung ihrer Aufgaben zu umgehen.

Anthony, der erklärte, mit Altman über den Fall gesprochen zu haben, kritisierte, wie lange OpenAI mit der Offenlegung gewartet hatte. „Auch die Art und Weise, wie diese Benachrichtigung erfolgte, war inakzeptabel“, sagte er.

Modelle griffen auf Websites der US-Regierung zu

OpenAI erklärte, ein Großteil der bislang untersuchten Aktivitäten habe routinemäßige Forschungsarbeit betroffen und keine ernsten Sicherheitsereignisse dargestellt. „Der Großteil der bisher von uns überprüften Aktivitäten betraf routinemäßige Forschungsaufgaben, etwa den Zugriff auf öffentliche Webinhalte zur Beantwortung von Fragen“, erklärte ein Sprecher.

„Manche betrafen Regierungswebsites, weil unsere Modelle häufig auf diese als maßgebliche Quellen für öffentliche Informationen zurückgreifen“, fügte der Sprecher hinzu.

Das Unternehmen teilte mit, seine Modelle hätten auf SEC.gov und Investor.gov zugegriffen, doch fanden sich keine Hinweise darauf, dass Systeme der US-Börsenaufsicht gehackt worden waren oder die Modelle eine Schwachstelle offengelegt hätten. OpenAI ergänzte, eines seiner Modelle habe öffentlich verfügbare Entwicklerschlüssel genutzt, um demografische und wirtschaftliche Daten vom US Census Bureau abzurufen; es gebe keine Hinweise auf unbefugten Zugriff auf Konten des Census Bureau.

Die meisten bislang identifizierten Fälle wurden laut OpenAI als geringfügig eingestuft. Dennoch bedeutet der Umfang der Überprüfung, dass der gesamte Prozess Monate dauern wird, und einige Vorfälle werden weiter untersucht, bis betroffene Organisationen entscheiden, welche Details gefahrlos veröffentlicht werden können – eine Abhängigkeit, die Altman einräumte, indem er sagte, manche Offenlegungen lägen im Ermessen anderer Unternehmen.

Anthropic und andere KI-Unternehmen führen laut Quellen Hunderttausende oder mehr Modelltests durch – ein Ausmaß, das die Rohzahlen schnell verändert. Selbst ein kleiner Anteil unerwarteten Verhaltens kann sich bei einer solchen Zahl von Tests in Zehntausende Vorfälle übersetzen.