Z.ai, l'azienda cinese dietro la famiglia di modelli GLM, ha reso open source il suo assistente di programmazione ZCode dopo aver corretto un difetto che inviava silenziosamente i file locali dei progetti degli sviluppatori sui server di Alibaba Cloud senza il loro consenso.

Il problema è venuto alla luce il 18 settembre, quando un blogger cinese indipendente di tecnologia noto come Ferstar ha scoperto file in preparazione per il caricamento sul cloud storage di Alibaba mentre ispezionava la directory di lavoro di ZCode, ha riportato il South China Morning Post.

Il blogger ha trovato due file criptati: un archivio compresso da 313 megabyte ancora in attesa di trasferimento dopo 564 tentativi di upload falliti, e un file più piccolo da 15 kilobyte già inviato. Ferstar ha detto che l'archivio più grande conteneva uno snapshot di un progetto commerciale che stava sviluppando, inclusa la sua cronologia Git. Ha raccontato alla SCMP che né lui né il client ZCode riuscivano ad aprire il file, perché era criptato con una chiave privata custodita sul backend di Z.ai.

Come ZCode è finita caricare interi repository

Gli upload non autorizzati erano collegati a una funzione di indicizzazione dei repository utilizzata per i checkpoint di sessione, il rollback delle versioni e una "Repo Wiki". La funzione era attiva per impostazione predefinita dal lancio di ZCode. Il caricamento di un intero repository poteva essere innescato semplicemente creando una nuova pagina wiki nel cloud, esponendo potenzialmente molto più dei file su cui uno sviluppatore stava lavorando attivamente. La cronologia Git può anche facilitare l'identificazione di vecchie credenziali e hostname, il che rende uno snapshot completo del repository particolarmente sensibile.

Questa configurazione attiva per impostazione predefinita tocca il cuore del motivo per cui l'incidente ha avuto risonanza: gli assistenti di programmazione AI operano all'interno dei progetti locali degli sviluppatori, quindi le impostazioni con cui questi strumenti vengono distribuiti determinano cosa lascia una macchina prima di qualsiasi azione esplicita dell'utente.

Uno sviluppatore con sede a Shanghai citato dalla SCMP ha descritto il comportamento come essenzialmente un furto ai danni degli utenti, aggiungendo che la possibilità di un'intenzione dolosa era l'aspetto più preoccupante.

Cosa dice Z.ai di aver cambiato

Z.ai si è scusata per l'incidente e ha dichiarato di aver interrotto gli upload non autorizzati. L'azienda ha anche affermato che tutti i dati inviati al suo cloud sono stati distrutti e mai utilizzati per addestrare i suoi modelli. Inoltre, l'azienda cinese di AI ha detto di aver in programma di istituire un processo permanente per la segnalazione delle vulnerabilità di sicurezza dei prodotti, con ricompense basate sulla gravità del problema, e ha invitato gli sviluppatori a continuare ad auditare il codice ora aperto.

Tuttavia, permangono dubbi sui dati caricati, poiché gli esterni non possono ancora verificare esattamente cosa ne sia stato.

Un incidente simile che coinvolge Grok Build di xAI si è verificato a luglio, quando si è scoperto che quello strumento di programmazione caricava interi repository Git. Musk ha confermato che gli upload erano avvenuti, dopodiché xAI ha eliminato i dati e introdotto una politica di zero retention insieme a un endpoint privacy. Un test indipendente successivo ha confermato che gli upload erano cessati.

Z.ai, al contrario, non ha annunciato modifiche documentate alla sua politica di retention né ha consentito alcuna forma di ri-verifica indipendente. L'affermazione dell'azienda che i dati caricati siano stati eliminati rimane difficile verificare per gli esterni, anche perché controlla l'unica chiave di decrittazione. L'apertura del codice offre agli sviluppatori esterni una nuova via di controllo, sebbene l'audit del client non risolva di per sé le domande sui dati già caricati.

Gli sviluppatori devono ora decidere se fidarsi dello strumento

Le conseguenze dell'incidente continuano a diffondersi. Un'azienda di robotica avrebbe vietato internamente gli strumenti di Z.ai, e gli sviluppatori hanno raccontato alla SCMP che il danno alla fiducia potrebbe rivelarsi più dannoso dello specifico bug stesso.

L'incidente ha anche coinvolto le azioni di Z.ai. Il titolo di Z.ai (2513.HK) è sceso di quasi il 6% durante la seduta del lunedì prima di riprendersi e chiudere in rialzo dell'1,8%. L'azienda quotava a 794 HKD al momento della scrittura.

L'attenzione ora si sposta sulla verifica se il promesso programma di segnalazione delle vulnerabilità prenda forma e se gli sviluppatori indipendenti che auditano il codice aperto portino alla luce qualcosa che contraddica la versione dell'azienda.