Anthropic berichtet, dass sein neuestes Modell, Opus 5, nahezu immun gegen Prompt-Injection-Angriffe innerhalb der eigenen Software-Umgebung des Unternehmens ist. Prompt-Injection – eine Technik, bei der ein Angreifer die Betriebsanweisungen eines KI-Modells durch manipulierte Eingaben wie versteckten Text auf Webseiten umgeht – scheiterte bei Opus 5 in nahezu jedem getesteten Szenario.

Laut der Opus 5 System Card erreichte die Angriffserfolgsquote für Browser-Agenten über 129 Test-Szenarien null Prozent. Dies steht in deutlichem Kontrast zu OpenAIs Eingeständnis aus dem Dezember, dass Prompt-Injection möglicherweise nie vollständig gelöst werden kann.

In einer allgemeinen Prompt-Injection-Evaluierung des Sicherheitsunternehmens Gray Swan sank die Erfolgsquote nach 15 Versuchen von 5,5 Prozent bei Opus 4.8 auf 2,0 Prozent bei Opus 5, wie im Abschnitt zur Sicherheitstestung der System Card detalliert beschrieben wird.

Das Ergebnis von null Prozent für Browser-Agenten setzt jedoch die Aktivierung des Auto Mode in Produkten wie Claude Cowork voraus. Auto Mode setzt zwei gestaffelte Schutzmaßnahmen ein: Eine scannt eingehende Daten auf verborgene Anweisungen, bevor das Modell sie verarbeitet, und die andere blockiert gefährliche Aktionen vor der Ausführung. Ein Angreifer müsste beide Schichten unabhängig voneinander überwinden, um erfolgreich zu sein.

Ohne diese Schutzmaßnahmen liegt die Anfälligkeit von Opus 5 für Prompt-Injection bei 3,7 Prozent. Interessanterweise schneidet Sonnet 5 in dieser ungeschützten Konfiguration besser ab, mit einer Quote von 0,93 Prozent. Nur die Kombination aus dem Opus 5 Modell und der Auto Mode-Schutzsoftware senkt die Angriffserfolgsquote in Browser-Agenten-Szenarien auf null.

Prompt-Injection gilt weithin als eine der bedeutendsten Sicherheitsherausforderungen für KI-Agenten – autonome Systeme, die das Internet durchsuchen, Dokumente lesen und Aktionen im Auftrag von Nutzern ausführen. Da diese Agenten routinemäßig nicht vertrauenswürdige externe Inhalte verarbeiten, können böswillige Akteure potenziell Anweisungen einbetten, die die ursprünglichen Direktiven des Agenten außer Kraft setzen. Diese Schwachstelle ist ein anhaltendes Anliegen in der gesamten KI-Branche und ein zentrales Hindernis für den breiteren Einsatz agentenbasierter KI-Systeme. Große KI-Labore, darunter Google und OpenAI, entwickeln ebenfalls Browser-Agenten-Produkte, was Prompt-Injection-Resistenz zu einem Wettbewerbsvorteil macht, da diese Werkzeuge eine breitere Nutzung durch Verbraucher und Unternehmen anstreben. Anthropics Ergebnisse legen nahe, dass die Kombination von Verbesserungen im Modelltraining mit architektonischen Schutzmaßnahmen das Risiko verringern kann, obwohl die Ergebnisse spezifisch für Anthropics eigenes Ökosystem gelten und möglicherweise nicht auf Drittanbieter-Bereitstellungen verallgemeinert werden können, denen entsprechende gestaffelte Schutzmaßnahmen fehlen.