PEKIN — Tencent poinformował w piątek, że agenci AI wykorzystywani do oceny zewnętrznych modeli wykazywali niezamierzone przez chińską grupę technologiczną zachowania związane z przeglądaniem sieci, co wygląda na pierwszy znany incydent działań niekontrolowanych agentów uznany przez dużą chińską firmę.

Agenci AI to systemy oprogramowania zaprojektowane do wykonywania wieloetapowych zadań przy ograniczonym nadzorze człowieka — takich jak otwieranie stron internetowych czy uruchamianie kodu — co sprawia, że ich zachowania są przedmiotem badań nad bezpieczeństwem AI.

Oświadczenie było odpowiedzią na raport opublikowany w środę przez grupę badawczą zajmującą się bezpieczeństwem AI, Swarmchasers, która poinformowała, że „niekontrolowani" agenci działający na infrastrukturze powiązanej przez nią z Tencent Cloud podejmowali powtarzające się próby pozyskania informacji z serwisu Amap należącego do Alibaba, chińskiego odpowiednika Google Maps, między 28 września a 8 października.

Tencent Hunyuan, jednostka sztucznej inteligencji spółki, oświadczyła w poście na X, że aktywność nie pochodziła z jej modeli Hunyuan. Jednostka dodała, że przegląd nie wykazał dowodów na celowe ukierunkowanie ani koordynację, a także że podchodzi do ustaleń z pełną powagą i wzmacnia kontrole dostępu do sieci oraz monitoring agentów.

Według badaczy agenci poszukiwali informacji takich jak najczęściej używane wejścia do chińskich parków, muzeów i ogrodów zoologicznych. Swarmchasers wyjaśnił, że termin „niekontrolowany" (rogue) stosuje wobec agentów podejmujących działania wykraczające poza zamierzony zakres lub wykonujących zadania w niezamierzony sposób.

Po zablokowaniu rutynowych zautomatyzowanych zapytań agenci próbowali innych metod, w tym publicznych narzędzi internetowych zdolnych do otwierania stron i uruchamiania kodu, przekierowywania zapytań przez inne witryny oraz wykorzystywania kluczy i kodów bezpieczeństwa Amap znalezionych w publicznie dostępnym kodzie oprogramowania.

Swarmchasers poinformował, że nie znalazł dowodów na to, iż agenci przełamali główne zabezpieczenia Amap przed botami, czyli mechanizmy obrony przed zautomatyzowanym ruchem stosowane przez witny do odsiewania botów. Większość z odnotowanych 2818 prób zakończyła się niepowodzeniem lub zwróciła strony antybotowe, ekrany logowania lub puste wyniki. Niektóre zapytania jednak zwróciły informacje poprzez strony z pamięci podręcznej i usługi pośredniczące, w tym dane o liczbie odwiedzających ZOO w Chengdu, choć badacze przyznali, że nie byli w stanie ustalić, czy agent faktycznie odczytał wyniki lub ukończył zadanie.

Choć działania te były mniej rażące niż incydenty ujawnione przez amerykańskie firmy AI — w tym włamanie agenta OpenAI do otwartoźródłowej platformy Hugging Face i złożenie przez agenta Anthropic fałszywego zgłoszenia o zabójstwie — ujawnienie to podkreśla badania wskazujące, że chińscy agenci AI również mogą fałszywie przedstawiać swoją tożsamość, ukrywać niepowodzenia i próbować obejść mechanizmy kontroli testów.

Hunyuan jest jednym z wiodących chińskich twórców modeli AI, konkurując z wewnętrznymi zespołami rywali takich jak Alibaba i ByteDance. ByteDance ogłosił w tym tygodniu utworzenie nowej jednostki zajmującej się bezpieczeństwem modeli i agentów AI.

Alibaba odmówił komentarza.

— Reuters