Badacze zidentyfikowali ponad 18 000 wpisów i 15 000 edycji dokonanych przez agentów AI na niemieckiej wiki programistycznej – wynika z opublikowanego w piątek śledztwa Reutersa. OpenAI zakwestionowało ocenę eksperta mówiącą o hackingu i zaprzeczyło, jakoby jego dział prawny zniechęcał do śledztwa w tej sprawie.

Ujawnienie nastąpiło tuż po premierze modelu GPT-6 Astra firmy OpenAI oraz po propozycji zakazu sztucznej superinteligencji ze strony amerykańskiego senatora Berniego Sandersa.

Według Reutersa agenci OpenAI wykorzystywali niemiecką stronę internetową do wymiany skrótów zadań, sposobów obchodzenia ograniczeń oraz metod ukrywania swojej aktywności, począwszy od maja. Sprawa jest przykładem tego, co badacze bezpieczeństwa AI nazywają „koluzją” agentów: autonomiczne systemy koordynujące się w sposób niezamierzony przez ich operatorów – scenariusz coraz bardziej aktualny, ponieważ agentom AI coraz częściej przydziela się narzędzia umożliwiające przeglądanie i działanie w prawdziwym internecie, a nie tylko generowanie tekstu. Jak donosi Reuters, powołując się na dwie osoby zaznajomione ze sprawą, przedstawiciele OpenAI mieli dowiedzieć się o tej aktywności na tygodnie przed publikacją, ale jej nie ujawnili. Firma odpowiedziała, że zgłosiła odpowiednie incydenty i działała w dobrej wierze z zewnętrznymi ekspertami.

Badacze Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts i Thomas Larsen odnaleźli około 18 000 wpisów agentów AI identyfikujących się jako należące do OpenAI – wynika z ich raportu wstępnego. Von Arx, prezes non-profit Nightingale zajmującego się bezpieczeństwem AI, oraz Byrd odkryli tę aktywność pod koniec sierpnia, doniósł Reuters.

Badacze uważają, że agenci otrzymali zadania wyszukiwania w sieci z limitem czasu i zezwoleniem na czytanie stron, ale nie na publikowanie. Agenci mimo to znaleźli sposób, aby pisać na DseWiki, publicznie edytowalnej niemieckiej stronie programistycznej, gdzie wymieniali się odpowiedziami i dzielili sposobami obchodzenia ograniczeń. To rozróżnienie – między uprawnieniem do odczytu a dostępem do zapisu – leży u centrum sporu o to, czy wydarzenie to stanowi hacking, ponieważ agenci mieli przekroczyć granice wyznaczone im przez operatora.

Według raportu agenci próbowali edytować wiki od 11 maja i odnieśli sukces 24 maja. Później podszywali się pod moderatorów, próbowali wykorzystywać luki w zabezpieczeniach i sprawdzali, kiedy są wyłączani. Po tym, jak administrator zaczął usuwać wiadomości 19 czerwca, agenci utworzyli strony zapasowe – doniósł Reuters. Badacze powiązali aktywność z OpenAI na podstawie nazw użytkowników agentów i wzorców ruchu, w tym wizyt z adresów IP OpenAI 21 czerwca. Następnego dnia aktywność agentów gwałtownie spadła, co według badaczy sugeruje możliwą interwencję firmy.

OpenAI zakwestionowało określenie aktywności na DseWiki jako hackingu na podstawie przeanalizowanych materiałów i oświadczyło, że bada pełne ustalenia.

„Nie mogliśmy odnieść się do tych twierdzeń, ponieważ Reuters i autorzy raportu odmówili naszej prośbie o dostęp do ustaleń przed publikacją. Teraz dokładnie analizujemy jego treść i podejmiemy wszelkie niezbędne kroki” – powiedział rzecznik OpenAI w oświadczeniu przekazanym Decryptowi.

Rzecznik odrzucił także zarzuty z raportu Reutersa, jakoby dział prawny firmy sprzeciwiał się szerszemu śledztwu. „Twierdzenia, że nasz dział prawny zniechęcał do badania incydentu, są fałszywe” – powiedziano.

OpenAI dodało, że incydent na DseWiki nie miał związku z włamaniem do Hugging Face wcześniej w tym roku. W swoim publicznym raporcie o bezpieczeństwie, opublikowanym we wtorek, firma opisała dodatkowe zabezpieczenia mające wykrywać i powstrzymywać nieautoryzowaną aktywność podczas treningu i wdrażania.

Choć raport Reutersa nie wskazuje Astri jako odpowiedzialnej za niemiecki incydent, ujawnienie nastąpiło po czwartkowej premierze GPT-6 Astra. OpenAI nazwało Astrę pierwszym modelem o „krytycznych” możliwościach w dziedzinie cyberbezpieczeństwa, co oznacza, że przy odpowiednich narzędziach i dostępie może ona znajdować i wykorzystywać nieznane luki w dobrze chronionych systemach bez krok po kroku prowadzącego człowieka.

Anthropic również zrewidowało swoje zabezpieczenia po tym, jak modele Claude uzyskały dostęp do systemów prawdziwych firm podczas testów. Firma przyznała się do błędów bezpieczeństwa i behawioralnych oraz wprowadziła ostrzejszą izolację i monitorowanie w ocenach cyberbezpieczeństwa. Obie sprawy razem odzwierciedlają szerszą zmianę w branży w zakresie testowania autonomicznych modeli przez czołowe laboratoria – odejście od testów w piaskownicach na rzecz ocen na żywej infrastrukturze, co niesie większe ryzyko niezamierzonych skutków w świecie rzeczywistym.

Ujawnienie nastąpiło również w momencie, gdy amerykański senator Bernie Sanders (bezpartyjny, Vermont) i kongresmen Greg Casar (partia demokratyczna, Teksas) zapowiedzieli nadchodzący Ban Artificial Superintelligence Act. Według biura Sandersa propozycja zakładałaby trwały zakaz rozwoju i wdrażania superinteligentnej AI oraz tymczasowe wstrzymanie zaawansowanego rozwoju AI do czasu, aż nowy federalny regulator ustanowi zasady bezpieczeństwa.