Z.ai, la empresa china detrás de la familia de modelos GLM, ha abierto el código de su asistente de programación ZCode tras corregir una falla que enviaba silenciosamente archivos locales de proyectos de desarrolladores a servidores de Alibaba Cloud sin su permiso.

El problema salió a la luz el 18 de septiembre, cuando un bloguero chino independiente de tecnología conocido como Ferstar descubrió archivos que se preparaban para subirse al almacenamiento en la nube de Alibaba mientras inspeccionaba el directorio de trabajo de ZCode, según reportó el South China Morning Post.

El bloguero encontró dos archivos cifrados: un archivo comprimido de 313 megabytes que seguía esperando transferencia tras 564 intentos fallidos de subida, y un archivo más pequeño de 15 kilobytes que ya se había enviado. Ferstar dijo que el archivo más grande contenía una instantánea de un proyecto comercial que estaba desarrollando, incluido su historial de Git. Le dijo al SCMP que ni él ni el cliente de ZCode podían abrir el archivo, porque estaba cifrado con una clave privada custodiada en el back end de Z.ai.

Cómo ZCode terminó subiendo repositorios completos

Las subidas no autorizadas estaban vinculadas a una función de indexación de repositorios usada para puntos de control de sesión, reversión de versiones y un "Repo Wiki". La función estaba activada por defecto desde el lanzamiento de ZCode. Subir un repositorio completo podía activarse simplemente creando una nueva página wiki dentro de la nube, lo que podía exponer mucho más que los archivos en los que un desarrollador trabajaba activamente. El historial de Git también puede facilitar la identificación de credenciales antiguas y nombres de host, lo que hace que una instantánea completa de un repositorio sea especialmente sensible.

Esa configuración predeterminada está en el corazón de por qué el incidente tuvo tanta resonancia: los asistentes de programación con IA operan dentro de los proyectos de los desarrolladores, por lo que las configuraciones con las que estas herramientas se distribuyen determinan qué sale de una máquina antes de cualquier acción explícita del usuario.

Un desarrollador de Shanghái citado por el SCMP describió el comportamiento como esencialmente un robo a los usuarios, añadiendo que la posibilidad de una intención maliciosa era lo más preocupante.

Lo que Z.ai dice que ha cambiado

Z.ai se ha disculpado por el incidente y dijo que ha detenido las subidas no autorizadas. La empresa también afirmó que cualquier dato enviado a su nube fue destruido y nunca se usó para entrenar sus modelos. Además, la empresa china de IA dijo que planea establecer un proceso permanente para reportar vulnerabilidades de seguridad de productos, con pagos basados en la gravedad del problema, y ha invitado a los desarrolladores a seguir auditando el código ahora abierto.

Sin embargo, persisten dudas sobre los datos subidos, ya que terceros todavía no pueden verificar exactamente qué ocurrió con ellos.

Un incidente similar que involucró a Grok Build de xAI ocurrió en julio, cuando se descubrió que esa herramienta de programación subía repositorios completos de Git. Musk confirmó que las subidas habían ocurrido, tras lo cual xAI eliminó los datos e introdujo una política de retención cero junto con un endpoint de privacidad. Una prueba independiente posterior encontró que las subidas se habían detenido.

Z.ai, en cambio, no ha anunciado cambios documentados en su política de retención ni ha permitido ninguna forma de prueba independiente. La afirmación de la empresa de que los datos subidos fueron eliminados sigue siendo difícil de verificar para terceros, especialmente porque controla la única clave de descifrado. Abrir el código ofrece a los desarrolladores externos una nueva vía de escrutinio, aunque auditar el cliente no resolvería por sí solo las preguntas sobre los datos ya subidos.

Los desarrolladores ahora deben decidir si confían en la herramienta

Las consecuencias del incidente han seguido extendiéndose. Se reportó que una empresa de robótica prohibió internamente las herramientas de Z.ai, y desarrolladores dijeron al SCMP que el daño a la confianza podría resultar más perjudicial que el propio bug.

El incidente también afectó las acciones de Z.ai. Las acciones de Z.ai (2513.HK) cayeron casi 6% durante la sesión del lunes antes de recuperarse y cerrar con una subida de 1,8%. La empresa cotizaba a 794 HKD al momento de escribir este artículo.

Ahora la atención se centra en si el programa prometido de reporte de vulnerabilidades se materializa y si los desarrolladores independientes que auditan el código abierto descubren algo que contradiga la versión de la empresa.