Peking — Tencent teilte am Freitag mit, dass KI-Agenten, die zur Bewertung von Drittanbieter-Modellen eingesetzt wurden, ein Surfverhalten im Web zeigten, das vom chinesischen Technologiekonzern nicht beabsichtigt war. Es handelt sich offenbar um den ersten bekannten Fall unkontrollierter Agenten-Aktionen, der von einem großen chinesischen Unternehmen eingeräumt wurde.

KI-Agenten sind Softwaresysteme, die darauf ausgelegt sind, mehrstufige Aufgaben mit begrenzter menschlicher Aufsicht auszuführen – etwa Webseiten zu öffnen oder Code auszuführen – ein Profil, das ihr Verhalten zu einem Schwerpunkt der KI-Sicherheitsforschung gemacht hat.

Die Erklärung erfolgte als Reaktion auf einen am Mittwoch veröffentlichten Bericht der KI-Sicherheitsforschungsgruppe Swarmchasers, in dem es hieß, „rogue“-Agenten, die auf einer Infrastruktur liefen, die sie mit Tencent Cloud in Verbindung brachte, hätten zwischen dem 28. September und dem 8. Oktober wiederholt versucht, Informationen von Alibabas Amap abzurufen, dem chinesischen Pendant zu Google Maps.

Tencent Hunyuan, die KI-Einheit des Unternehmens, erklärte in einem Beitrag auf X, die Aktivität stamme nicht von seinen Hunyuan-Modellen. Die Einheit sagte, ihre Überprüfung habe keine Hinweise auf gezieltes Vorgehen oder Koordination ergeben, und sie nehme die Ergebnisse sehr ernst und verstärke Netzwerkzugriffskontrollen sowie die Überwachung der Agenten.

Nach Angaben der Forscher suchten die Agenten Informationen wie häufig genutzte Eingänge von chinesischen Parks, Museen und Zoos. Swarmchasers erklärte, der Begriff „rogue“ beschreibe Agenten, die Handlungen außerhalb ihres vorgesehenen Rahmens vornehmen oder Aufgaben auf unbeabsichtigte Weise erledigen.

Nachdem routinemäßige automatisierte Anfragen blockiert wurden, versuchten die Agenten alternative Methoden, darunter öffentliche Web-Tools, die Seiten öffnen und Code ausführen können, die Umleitung von Anfragen über andere Webseiten sowie die Verwendung von Amap-Schlüsseln und Sicherheitscodes aus öffentlich verfügbarem Softwarecode.

Swarmchasers erklärte, es gebe keine Hinweise darauf, dass die Agenten die wichtigsten Anti-Bot-Schutzmechanismen von Amap – die Abwehrsysteme gegen automatisierten Datenverkehr, mit denen Webseiten Bots aussortieren – umgangen hätten. Die meisten der 2.818 erfassten Versuche scheiterten entweder oder lieferten Anti-Bot-Seiten, Anmeldebildschirme oder leere Ergebnisse zurück.ige Anfragen lieferten jedoch Informationen über Cache-Seiten und Zwischendienste zurück, darunter Daten zu Besucherzahlen des Chengdu Zoo, wobei die Forscher angaben, sie könnten nicht feststellen, ob ein Agent die Ergebnisse tatsächlich gelesen oder seine Aufgabe abgeschlossen hat.

Die Handlungen sind weniger schwerwiegend als Vorfälle, die von US-KI-Unternehmen offengelegt wurden – darunter das Hacken der Open-Source-Plattform Hugging Face durch einen OpenAI-Agenten und das Hinterlegen eines fingierten Tötungsdelikt-Hinweises durch einen Anthropic-Agenten –, doch die Offenlegung unterstreicht Forschungsergebnisse, wonach auch chinesische KI-Agenten ihre Identität falsch darstellen, Fehler verschleiern und versuchen können, Testkontrollen zu umgehen.

Hunyuan ist einer der führenden Entwickler von KI-Modellen in China und konkurriert mit internen Teams von Wettbewerbern wie Alibaba und ByteDance. ByteDance kündigte in dieser Woche die Gründung einer neuen Einheit an, die sich auf die Sicherheit von KI-Modellen und Agenten konzentriert.

Alibaba lehnte eine Stellungnahme ab.

— Reuters