Z.ai, het Chinese bedrijf achter de GLM-modelfamilie, heeft zijn ZCode coding-assistent open source gemaakt nadat een fout was verholpen die lokale projectbestanden van ontwikkelaars stilletjes zonder hun toestemming naar servers van Alibaba Cloud verstuurde.

Het probleem kwam aan het licht op 18 september, toen een onafhankelijke Chinese technologieblogger bekend als Ferstar bestanden aantrof die klaarstonden voor upload naar de cloudopslag van Alibaba terwijl hij de werkmap van ZCode onderzocht, aldus de South China Morning Post.

De blogger vond twee versleutelde bestanden: een gecomprimeerd archief van 313 megabyte dat na 564 mislukte uploadpogingen nog steeds op overdracht wachtte, en een kleiner bestand van 15 kilobyte dat al was verstuurd. Ferstar zei dat het grotere archief een momentopname bevatte van een commercieel project waaraan hij werkte, inclusief de Git-geschiedenis. Hij vertelde de SCMP dat noch hij noch de ZCode-client het bestand kon openen, omdat het was versleuteld met een privésleutel die op de backend van Z.ai werd bewaard.

Hoe ZCode er uiteindelijk toe kwam hele repositories te uploaden

De ongeautoriseerde uploads waren gekoppeld aan een repository-indexeringsfunctie die werd gebruikt voor sessiecheckpoints, versie-rollback en een "Repo Wiki." De functie was na de lancering van ZCode standaard ingeschak. Het uploaden van een volledige repository kon eenvoudig worden geactiveerd door een nieuwe wikipagina in de cloud aan te maken, wat mogelijk veel meer blootlegde dan alleen de bestanden waaraan een ontwikkelaar actief werkte. Git-geschiedenis kan het bovendien eenvoudig maken om oude inloggegevens en hostnamen te identificeren, waardoor een volledige repository-momentopname bijzonder gevoelig is.

Die standaardinstelling raakt de kern van waarom het incident weerklank vond: AI-codingassistenten werken binnen de lokale projecten van ontwikkelaars, dus de instellingen waarmee dergelijke tools worden geleverd bepalen wat een machine verlaat vóór enige expliciete actie van de gebruiker.

Een ontwikkelaar uit Shanghai die door de SCMP werd geciteerd, omschreef het gedrag als in wezen stelen van gebruikers, eraan toevoegend dat de mogelijkheid van kwaadaardige opzet het meest verontrustende was.

Wat Z.ai zegt te hebben veranderd

Z.ai heeft excuses aangeboden voor het incident en gezegd dat het de ongeautoriseerde uploads heeft gestopt. Het bedrijf verklaarde ook dat alle data die naar zijn cloud was verzonden, is vernietigd en nooit is gebruikt om zijn modellen te trainen. Daarnaast zei het Chinese AI-bedrijf een permanent proces te willen opzetten voor het melden van beveiligingskwetsbaarheden in producten, met uitbetalingen op basis van de ernst van het probleem, en heeft het ontwikkelaars uitgenodigd de nu open source codebase te blijven auditen.

Vragen over de geüploade data blijven echter bestaan, omdat buitenstaanders nog steeds niet kunnen verifiëren wat er precies mee is gebeurd.

Een soortgelijk incident bij xAI's Grok Build deed zich in juli voor, toen bleek dat die coding-tool volledige Git-repositories uploadde. Musk bevestigde dat de uploads hadden plaatsgevonden, waarna xAI de data verwijderde en een zero-retention-beleid invoerde samen met een privacy-endpoint. Een onafhankelijke hertest wees later uit dat de uploads waren gestopt.

Z.ai daarentegen heeft geen gedocumenteerde wijzigingen in zijn retentiebeleid aangekondigd en geen enkele vorm van onafhankelijke hertest toegestaan. De bewering van het bedrijf dat de geüploade data is verwijderd, blijft voor buitenstaanders moeilijk te verifiëren, vooral omdat het de enige ontsleutelingssleutel beheerst. Het openen van de code geeft externe ontwikkelaars een nieuwe mogelijkheid tot controle, hoewel het auditen van de client op zichzelf geen over reeds geüploade data zal wegnemen.

Ontwikkelaars moeten nu beslissen of ze de tool vertrouwen

De nasleep van het incident blijft zich uitbreiden. Een robotica-bedrijf zou Z.ai's tools intern hebben verboden, en ontwikkelaars vertelden de SCMP dat de schade aan het vertrouwen schadelijker kan zijn dan de specifieke bug zelf.

Het incident heeft ook invloed gehad op de aandelen van Z.ai. Het aandeel Z.ai (2513.HK) zakte tijdens de sessie op maandag met bijna 6% voordat het herstelde en 1,8% hoger sloot. Het bedrijf noteerde op 794 HKD op het moment van schrijven.

De aandacht richt zich nu op de vraag of het beloofde meldprogramma voor kwetsbaarheden gestalte krijgt en of onafhankelijke ontwikkelaars die de open codebase auditen iets naar voren brengen dat de lezing van het bedrijf tegenspreekt.