Z.ai, chińska firma stojąca za rodziną modeli GLM, udostępniła kod źródłowy swojego asystenta programistycznego ZCode po naprawieniu błędu, który po cichu wysyłał lokalne pliki projektów deweloperów do serwerów Alibaba Cloud bez ich zgody.

Sprawa wyszła na jaw 18 września, gdy niezależny chiński bloger technologiczny znany jako Ferstar, przeglądając katalog roboczy ZCode, odkrył pliki przygotowywane do wysłania do chmury Alibaba, jak relacjonował South China Morning Post.

Bloger znalazł dwa zaszyfrowane pliki: skompresowane archiwum o rozmiarze 313 megabajtów, które wciąż czekało na przesłanie po 564 nieudanych próbach wysyłki, oraz mniejszy plik o rozmiarze 15 kilobajtów, który został już wysłany. Ferstar stwierdził, że większe archiwum zawierało migawkę komercyjnego projektu, nad którym pracował, wraz z jego historią Git. Poinformował SCMP, że ani on, ani klient ZCode nie mogli otworzyć pliku, ponieważ był zaszyfrowany kluczem prywatnym przechowywanym na zapleczu Z.ai.

Jak doszło do wysyłania całych repozytoriów przez ZCode

Nieautoryzowane wysyłki były powiązane z funkcją indeksowania repozytoriów służącą do punktów kontrolnych sesji, przywracania wersji oraz "Repo Wiki." Funkcja była domyślnie włączona po premierze ZCode. Wysłanie całego repotorium mogło zostać uruchomione po prostu przez utworzenie nowej strony wiki w chmurze, co potencjalnie ujawniało znacznie więcej niż pliki, nad którymi deweloper aktywnie pracował. Historia Git może również ułatwić identyfikację starych poświadczeń i nazw hostów, co czyni pełną migawkę repozytorium szczególnie wrażliwą.

Ten domyślnie włączony mechanizm dotyka sedna tego, dlaczego incydent wywołał tak reakcję: asystenci programistyczni AI działają wewnątrz lokalnych projektów deweloperów, więc to ustawienia, z jakimi takie narzędzia są dystrybuowane, decydują o tym, co opuszcza maszynę, zanim użytkownik podejmie jakiekolwiek wyraźne działanie.

Deweloper z Szanghaju, cytowany przez SCMP, określił to zachowanie jako w istocie kradzież od użytkowników, dodając, że możliwość złych intencji była najbardziej niepokojąca.

Co Z.ai oświadcza, że zmieniła

Z.ai przeprosiła za incydent i oświadczyła, że wstrzymała nieautoryzowane wysyłki. Firma stwierdziła również, że wszelkie dane wysłane do jej chmury zostały zniszczone i nigdy nie były używane do trenowania jej modeli. Ponadto chińska firma AI zapowiedziała utworzenie stałego procesu zgłaszania luk w zabezpieczeniach produktów, z wynagrodzeniami zależnymi od wagi problemu, i zaprosiła deweloperów do dalszego audytu teraz już otwartego kodu.

Jednak pytania dotyczące wysłanych danych pozostają, ponieważ osoby zewnętrzne nadal nie mogą zweryfikować, co dokładnie się z nimi stało.

Podobny incydent dotyczący xAI's Grok Build miał miejsce w lipcu, gdy odkryto, że to narzędzie wysyła całe repozytoria Git. Musk potwierdził, że wysyłki miały miejsce, po czym xAI usunęła dane i wprowadziła zasadę zerowego przechowywania wraz z punktem końcowym prywatności. Niezależny ponowny test wykazał później, że wysyłki ustały.

Z.ai, w przeciwieństwie, nie ogłosiła żadnych udokumentowanych zmian w swojej polityce przechowywania danych ani nie pozwoliła na jakąkolwiek formę niezależnego ponownego testowania. Zapewnienie firmy o usunięciu wysłanych danych pozost trudne do zweryfikowania przez osoby zewnętrzne, zwłaszcza że to ona kontroluje jedyny klucz deszyfrujący. Otwarcie kodu daje zewnętrznym deweloperom nową drogę weryfikacji, choć sam audyt klienta nie rozstrzygnąłby kwestii danych, które zostały już przesłane.

Deweloperzy muszą teraz zdecydować, czy ufają narzędziu

Konsekwencje incydentu wciąż się rozszerzają. Podobno jedna z firm robotycznych zakazała wewnętrznie narzędzi Z.ai, a deweloperzy poinformowali SCMP, że szkoda dla zaufania może okazać się szkodliwsza niż sam konkretny błąd.

Incydent wpłynął również na akcje Z.ai. Akcje Z.ai (2513.HK) spadły o prawie 6% w trakcie poniedziałkowej sesji, po czym odbiły i zamknęły się 1,8% wyżej. W chwili pisania notowania firmy wynosiły 794 HKD.

Teraz uwagę zwraca to, czy zapowiedziany program zgłaszania luk zostanie zrealizowany oraz czy niezależni deweloperzy audytujący otwarty kod odkryją coś, co podważy wersję firmy.