Z.ai, la société chinoise derrière la famille de modèles GLM, a open-source son assistant de codage ZCode après avoir corrigé une faille qui envoyait discrètement les fichiers locaux des développeurs vers les serveurs d'Alibaba Cloud sans leur autorisation.

Le problème a été révélé le 18 septembre, lorsqu'un blogueur technologique chinois indépendant connu sous le nom de Ferstar a découvert des fichiers préparés pour le téléversement vers le stockage cloud d'Alibaba en inspectant le répertoire de travail de ZCode, a rapporté le South China Morning Post.

Le blogueur a trouvé deux fichiers chiffrés : une archive compressée de 313 mégaoctets qui attendait toujours d'être transférée après 564 tentatives de téléversement échouées, et un fichier plus petit de 15 kilooctets qui avait déjà été envoyé. Ferstar a déclaré que la plus grande archive contenait un instantané d'un projet commercial qu'il développait, y compris son historique Git. Il a indiqué au SCMP que ni lui ni le client ZCode ne pouvaient ouvrir le fichier, car il était chiffré avec une clé privée détenue sur le backend de Z.ai.

Comment ZCode en est venu à téléverser des dépôts entiers

Les téléversements non autorisés étaient liés à une fonctionnalité d'indexation de dépôts utilisée pour les points de contrôle de session, le retour à des versions antérieures et un « Repo Wiki ». Cette fonctionnalité était activée par défaut après le lancement de ZCode. Le téléversement d'un dépôt entier pouvait être déclenché simplement par la création d'une nouvelle page wiki dans le cloud, exposant potentiellement bien plus que les fichiers sur lesquels un développeur travaillait activement. L'historique Git peut également faciliter l'identification d'anciens identifiants et noms d'hôte, ce qui rend un instantané complet d'un dépôt particulièrement sensible.

Cette configuration activée par défaut va au cœur de la raison pour laquelle l'incident a fait tant réagir : les assistants de codage IA opèrent à l'intérieur des projets locaux des développeurs, de sorte que les paramètres avec lesquels ces outils sont livrés déterminent ce qui quitte une machine avant toute action explicite de l'utilisateurn
Un développeur basé à Shanghai, cité par le SCMP, a décrit ce comportement comme une forme de vol à l'égard des utilisateurs, ajoutant que la possibilité d'une intention malveillante était l'aspect le plus préoccupant.

Ce que Z.ai dit avoir changé

Z.ai s'est excusé pour l'incident et a déclaré avoir interrompu les téléversements non autorisés. La société a également indiqué que toutes les données envoyées vers son cloud avaient été détruites et n'avaient jamais été utilisées pour entraîner ses modèles. De plus, l'entreprise chinoise d'IA a annoncé son intention d'établir un processus permanent de signalement des vulnérabilités de sécurité de ses produits, avec des récompenses basées sur la gravité du problème, et elle a invité les développeurs à poursuivre l'audit de la base de code désormais ouverte.

Cependant, des questions persistent concernant les données téléversées, car des tiers ne peuvent toujours pas vérifier exactement ce qu'il en est advenu.

Un incident similaire impliquant Grok Build de xAI s'était produit en juillet, lorsque cet outil de codage avait été découvert en train de téléverser des dépôts Git entiers. Musk avait confirmé que les téléversements avaient eu lieu, après quoi xAI avait supprimé les données et introduit une politique de rétention zéro ainsi qu'un point de terminaison de confidentialité. Un retest indépendant avait ensuite confirmé l'arrêt des téléversements.

Z.ai, en revanche, n'a annoncé aucun changement documenté de sa politique de rétention ni autorisé une forme quelconque de retest indépendant. L'affirmation de la société selon laquelle les données téléversées ont été supprimées reste difficile à vérifier pour des tiers, d'autant plus qu'elle contrôle la seule clé de déchiffrement. L'ouverture du code offre aux développeurs extérieurs une nouvelle voie de scrutiny, bien que l'audit du client ne suffise pas, en soi, à clore les questions sur les données déjà téléversées.

Les développeurs doivent désormais décider s'ils font confiance à l'outil

Les retombées de l'incident continuent de se propager. Une entreprise de robotique aurait interdit les outils de Z.ai en interne, et des développeurs ont indiqué au SCMP que l'atteinte à la confiance pourrait s'avérer plus dommageable que le bug spécifique lui-même.

L'incident a également affecté les actions de Z.ai. Le titre Z.ai (2513.HK) a chuté de près de 6 % lors de la séance de lundi avant de se replacer pour clôturer en hausse de 1,8 %. L'action cotait à 794 HKD au moment de la rédaction.

L'attention se porte désormais sur la concrétisation du programme promis de récompenses pour la divulgation de vulnérabilités et sur l'éventualité que des développeurs indépendants auditant la base de code ouverte découvrent des éléments contredisant la version de la société.