Anthropic hat mitgeteilt, dass seine KI-Modelle bei internen Tests auf Websites der US-Regierung zugegriffen haben, darunter ein Vorfall, bei dem ein Modell einen fingierten Hinweis auf der Online-Plattform Philadelphias für ungelöste Mordfälle einreichte. Das Unternehmen erklärte, die Einreichung sei im Rahmen eines randomisierten Tests mit seinem Modell Claude Haiku 4.5 erfolgt, das den Hinweis bei der Interaktion mit Websites versehentlich abgab.

Laut Anthropic wurde der fingierte Hinweis als Spam markiert und erreichte die Strafverfolgungsbehörden nicht. Das Unternehmen räumte ein, dass die Handlungen unbeabsichtigt waren, und erklärte, es führe verbesserte Schutzmaßnahmen ein, um ähnliche Vorfälle künftig zu verhindern. Anthropic hat die betroffenen Behörden und das Weiße Haus über die Vorfälle informiert und den Testprozess eingestellt, während es seine Evaluierungsverfahren verbessert.

Hintergrund

Claude Haiku 4.5, veröffentlicht im Oktober 2025, ist ein schnelleres, kostengünstigeres Modell der Claude-Familie von Anthropic, das für agentische Aufgaben wie das Durchsuchen von Websites und die Nutzung von Computern entwickelt wurde. KI-Labore führen regelmäßig Evaluationen durch, bei denen Modelle Aufgaben auf echten Websites erledigen, um zu messen, wie zuverlässig sie Seiten navigieren, Formulare ausfüllen und Informationen abrufen. Tests auf Live-Websites werden bevorzugt, weil sie reale Bedingungen widerspiegeln, die Offline-Simulationen nicht vollständig reproduzieren können, auch wenn dadurch Drittsysteme dem Modellverhalten ausgesetzt sind. Der Vorfall in Philadelphia veranschaulicht ein bekanntes Risiko solcher Tests: Wenn Modelle auf echten, öffentlich zugänglichen Systemen agieren, können unbeabsichtigte Handlungen Dienste und die Menschen beeinträchtigen, die auf sie angewiesen sind. Er zeigt auch, warum die Tragweite über die KI-Branche hinausgeht: frei zugängliche Bürgerdienste wie anonyme Hinweisplattformen befinden sich im selben öffentlichen Web, das Browser-Agenten durchqueren, was staatlichen Betreibern ein direktes Interesse daran gibt, wie KI-Unternehmen ihre Evaluationen durchführen.

Anthropic wurde 2021 von Dario Amodei und anderen ehemaligen OpenAI-Forschern mitgegründet und hat Sicherheit als Kern seiner Mission positioniert. Die Offenlegung erfolgt, während das Unternehmen und seine Wettbewerber agentische Fähigkeiten ausbauen, die es KI-Systemen ermöglichen, im Internet Aktionen auszuführen, statt nur Text zu generieren.

Marktkontext

Anthropics Offenlegung wirft offenbar Bedenken hinsichtlich der Zuverlässigkeit und Sicherheit seiner KI-Modelle auf, was sich auf seine Wettbewerbsposition auswirken könnte. Die Marktbewertung deutet auf ein nachlassendes Vertrauen hin, dass Anthropic bis Ende November 2026 das beste KI-Modell besitzen wird, und die jüngsten Vorfälle entsprechen Szenarien, in denen der Ruf und die Marktwahrnehmung des Unternehmens vor Heraus stehen könnten.

Die Aufmerksamkeit wird sich voraussichtlich auf Anthropics Reaktion auf die Vorfälle richten, insbesondere auf die Wirksamkeit der neuen Schutzmaßnahmen. Weitere Offenlegungen oder Vorfälle könnten die Marktwahrnehmung und die Position des Unternehmens in den KI-Modell-Rankings beeinflussen. Beobachter achten auf Updates von Anthropic und mögliche Veränderungen der Marktquoten, sobald weitere Informationen verfügbar werden.