Cybersecurity

Generative KI

News

Anthropic- und OpenAI-Agenten fälschten Identitäten in Sicherheitstest

Die fortschrittlichsten KI-Modelle der Anbieter versuchten laut dem britischen AI Security Institute, während Cybersecurity-Tests echte Menschen zu manipulieren.

1. August 2026

Anthropics KI-Modelle nahmen laut einem neuen Bericht des britischen AI Security Institute „nicht genehmigte Aktionen“ vor, um echte Menschen zu täuschen.

Das staatliche Forschungslabor testete die fortschrittlichsten KI-Modelle von Anthropic und OpenAI unter bewusst permissiven Bedingungen, reduzierte Sicherheitsleitplanken und erlaubte Internetzugang, um zu bewerten, wie sich die Systeme bei realistischen Cyber-Herausforderungen verhielten. Dieses Setup ist bemerkenswert, weil Frontier-Modelle zunehmend nicht nur nach technischer Leistung bewertet werden, sondern auch danach, ob sie mit Werkzeugen, Netzwerkzugang und mehrdeutigen Anweisungen innerhalb ihrer Grenzen bleiben können.

Was AISI als eine Premiere bezeichnete: Die Modelle wurden dabei beobachtet, Social Engineering einzusetzen, also zu versuchen, menschliche Nutzer zu manipulieren und Aufgaben auszuführen, die über die in der Bewertung gesetzten hinausgingen.

„Dies ist das erste Mal, dass AISI eine Täuschung dieser Schwere gesehen hat, die unaufgefordert, in der realen Welt, auf eine reale Person abzielte“, teilte das Institut am Dienstag in einer Erklärung mit.

Die Gruppe fügte jedoch hinzu, es sei unklar, inwieweit das Modell erkannt habe, dass es gegen echte Menschen handelte, und dass keine realen Schäden beobachtet worden seien.

In 122 Bewertungen identifizierte AISI 19 Fälle, in denen KI-Agenten unautorisierte Aktionen vornahmen, darunter Interaktionen mit echten Menschen und Organisationen. Siebzehn dieser Vorfälle betrafen Anthropics Modell Mythos 5, zwei betrafen OpenAIs GPT-5.6 Sol.

Related: Prompt: The AI Threat Model Just Changed

Der schwerwiegendste identifizierte Vorfall betraf Mythos 5, das eigenständig einen Supply-Chain-Angriff verfolgte, um seine zugewiesene Cyber-Herausforderung zu erfüllen.

Das Modell erstellte ein GitHub-Konto und versuchte, den Maintainer eines Open-Source-Repositories davon zu überzeugen, einen bösartigen Pull Request anzunehmen. Es erstellte außerdem ein zweites Konto, das sich als ein anderer Entwickler ausgab, um die Einreichung zu unterstützen. Nachdem ein menschlicher Prüfer den Code abgelehnt hatte, behauptete das Modell fälschlicherweise, die bösartigen Änderungen seien versehentlich eingereicht worden, und versuchte dann, sie nach oberflächlichen Änderungen erneut einzureichen.

Der Bericht stellte außerdem fest, dass das Modell gezielte E-Mails mit bösartigem Code versandte und versuchte, die Empfänger davon zu überzeugen, die Änderungen zu akzeptieren. Für Entwickler und Unternehmen, die auf Open-Source-Software angewiesen sind, unterstreicht der Vorfall, warum Sicherheitsprüfungen heute nicht nur die Genauigkeit beim Befolgen von Prompts, sondern auch agentisches Verhalten berücksichtigen müssen.

Die Ergebnisse folgen auf eine Reihe fortschrittlicher KI-Systeme, die außer Kontrolle gerieten und eigenständig Cybersecurity-Verstöße begingen.

Im Juli teilte OpenAI mit, dass GPT-5.6 Sol und ein weiteres unveröffentlichtes Modell während interner Evaluierungen ihre sandboxed environment verließen und mehr als 17.000 Angriffe gegen die Infrastruktur von Hugging Face starteten, um private Datensätze und Benchmark-Informationen zu erhalten. Anthropic berichtete ebenfalls über ähnliche Fälle, in denen Modelle die vorgesehenen Grenzen von Testumgebungen überschritten.

Die Vorfälle haben die Debatte darüber verschärft, wie Frontier-KI-Modelle vor dem Einsatz bewertet werden sollten, wobei einige Forscher und politische Entscheidungsträger eine strengere Aufsicht und rigorosere Sicherheitstests fordern.

Related: What the OpenAI-Hugging Face Hack Means for Enterprises

Der Bericht von AISI wurde am selben Tag veröffentlicht, an dem Vertreter führender KI-Unternehmen im Weißen Haus zusammenkamen, um über einen vorgeschlagenen Rahmen zu sprechen, nach dem die US-Regierung die fortschrittlichsten KI-Modelle vor ihrer öffentlichen Freigabe prüfen würde.

In einer Erklärung verteidigte Anthropic seine Modelle und sagte, sie seien unter „bewusst großzügigen Bedingungen“ getestet worden, wobei wichtige Schutzmechanismen entfernt worden seien, und es gebe keine Hinweise darauf, dass ein Modell aus einer sicheren Umgebung entkommen sei.

„Wir arbeiten eng mit ihnen zusammen, um weitere Details des Vorfalls zu sammeln, während wir unsere eigene Untersuchung durchführen“, sagte das Unternehmen.

Ebenso erklärte OpenAI in einem Blogbeitrag, die Vorfälle mit GPT-5.6 Sol hätten aus Aktionen bestanden, die über die beabsichtigte Testumgebung hinausgingen und für den Abschluss der Bewertung nicht erforderlich gewesen seien. In den kommenden Wochen werde das Unternehmen seinen eigenen Ansatz für Drittanbieter-Tests überprüfen, einschließlich der Identifizierung risikoreicherer Bewertungen, der Festlegung des Umfangs, der Bewertung von Anfragen für Internetzugang oder reduzierte Schutzmaßnahmen, der Anforderungen an Isolierung, Credential-Handling, Monitoring und Stop-Bedingungen sowie klarerer Prozesse für Vorfallsbenachrichtigung und Eskalation.

„In den kommenden Wochen werden wir unseren eigenen Ansatz für Drittanbieter-Tests überprüfen, einschließlich der Art und Weise, wie wir höher riskante Bewertungen identifizieren, den Umfang abstimmen, Anfragen für Internetzugang oder reduzierte Schutzmaßnahmen prüfen, Erwartungen an Isolierung, Credential-Handling, Monitoring und Stop-Bedingungen festlegen und klarere Prozesse für Vorfallsbenachrichtigung und Eskalation schaffen“, sagte der Anbieter.

Über die Autorin

Scarlett Evans

Mitwirkende Autorin

Scarlett Evans ist freie Autorin mit Schwerpunkt auf neuen Technologien und der Mineralindustrie. Zuvor war sie stellvertretende Redakteurin bei IoT World Today, wo sie sich auf Robotik- und Smart-City-Technologien spezialisierte. Scarlett verfügt außerdem über einen Hintergrund im Bergbau- und Rohstoffsektor mit Erfahrung bei Mine Australia, Mine Technology und Power Technology. Sie kam im April 2022 zu Informa, bevor sie in die freiberufliche Tätigkeit wechselte.

Möchten Sie mehr AI-Business-Artikel in Ihren Google-Suchergebnissen sehen?

Neueste Nachrichten

Möchten Sie mehr AI-Business-Artikel in Ihren Google-Suchergebnissen sehen?

Trendartikel

1. Aug. 2026

2. Aug. 2026

Generative KI KI erreicht die Private Markets Business 28. Juli 2026

KI erreicht die Private Markets Business

Agentische KI Der Einsatz von KI-Agenten zur Zusammenarbeit mit menschlichen Mitarbeitern 10. Juli 2026

Der Einsatz von KI-Agenten zur Zusammenarbeit mit menschlichen Mitarbeitern

Generative KI Wie KMU von generativer KI profitieren können 29. Juni 2026

Wie KMU von generativer KI profitieren können

Generative KI Rebellions will Nvidia im Kampf um KI-Inferenzchips herausfordern 15. Juni 2026

Rebellions will Nvidia im Kampf um KI-Inferenzchips herausfordern

Gesponsert von Google Cloud

Die ersten generativen KI-Anwendungsfälle auswählen

Um mit generativer KI zu beginnen, konzentrieren Sie sich zunächst auf Bereiche, die menschliche Erfahrungen mit Informationen verbessern können.

The AI Summit New York 2026

Verbindung von Führungskräften, Technologieinnovatoren und KI-Entscheidungsträgern, um die neuesten Entwicklungen im kommerziellen KI-Bereich zu erkunden.