Z.ai, китайская компания, стоящая за семейством моделей GLM, открыла исходный код своего ассистента для программирования ZCode после исправления уязвимости, которая незаметно отправляла локальные файлы проектов разработчиков на серверы Alibaba Cloud без их разрешения.

Проблема стала известна 18 сентября, когда независимый китайский техноблогер по имени Ferstar, изучая рабочую директорию ZCode, обнаружил файлы, готовившиеся к загрузке в облачное хранилище Alibaba, сообщает South China Morning Post.

Блогер нашел два зашифрованных файла: сжатый архив объемом 313 мегабайт, который все еще ожидал передачи после 564 неудачных попыток загрузки, и файл меньшего размера — 15 килобайт, — который уже был отправлен. Ferstar сообщил, что в большем архиве содержался снимок коммерческого проекта, который он разрабатывал, включая историю Git. Он рассказал SCMP, что ни он, ни клиент ZCode не могли открыть этот файл, поскольку он был зашифрован закрытым ключом, хранящимся на серверной стороне Z.ai.

Как ZCode оказался загружать целые репозитории

Несанкционированные загрузки были связаны с функцией индексации репозиториев, использовавшейся для контрольных точек сессий, отката версий и «Repo Wiki». После запуска ZCode эта функция была включена по умолчанию. Загрузку целого репозитория можно было запустить простым созданием новой страницы wiki в облаке, что могло раскрыть гораздо больше, чем файлы, с которыми разработчик активно работал. История Git также может облегчить идентификацию старых учетных данных и имен хостов, что делает полный снимок репозитория особенно чувствительным.

Именно такая настройка «включено по умолчанию» лежит в основе резонанса этого инцидента: ассистенты программирования на базе ИИ работают внутри локальных проектов разработчиков, поэтому настройки, с которыми поставляются такие инструменты, определяют, что покидает машину еще до каких-либо явных действий пользователя.

Разработчик из Шанхая, цитируемый SCMP, охарактеризовал поведение как фактическое воровство у пользователей, добавив, что возможность злого умысла беспокоит его больше всего.

Что, по словам Z.ai, изменилось

Z.ai принесла извинения за инцидент и заявила, что остановила несанкционированные загрузки. Компания также сообщила, что все данные, отправленные в ее облако, были уничтожены и никогда не использовались для обучения ее моделей. Кроме того, китайский производитель ИИ заявил о планах создать постоянный процесс сообщения об уязвимостях в безопасности продуктов с выплатами в зависимости от серьезности проблемы, а также пригласил разработчиков продолжить аудит открытого кода.

Однако вопросы относительно загруженных данных остаются: внешние наблюдатели по-прежнему не могут точно проверить, что с ними произошло.

Похожий инцидент с xAI Grok Build произошел в июле, когда выяснилось, что этот инструмент для программирования загружал целые репозитории Git. Маск подтвердил факт загрузок, после чего xAI удалила данные и ввела политику нулевого хранения данных, а также конечную точку для обеспечения конфиденциальности. Позднее независимая повторная проверка показала, что загрузки прекратились.

Z.ai, в отличие от этого, не объявила о каких-либо документально подтвержденных изменениях своей политики хранения данных и не допустила никакого независимого повторного тестирования. Заявление компании об удалении загруженных данных остается трудным для проверки извне, тем более что она контролирует единственный ключ расшифровки. Открытие кода дает внешним разработчикам новый канал проверки, хотя аудит клиента сам по себе не ответит на вопросы о уже загруженных данных.

Разработчикам теперь предстоит решить, доверять ли инструменту

Последствия инцидента продолжают расширяться. По имеющимся сведениям, компания в сфере робототехники запретила инструменты Z.ai для внутреннего использования, а разработчики рассказали SCMP, что ущерб для доверия может оказаться более серьезным, чем сама конкретная ошибка.

Инцидент также отразился на акциях Z.ai. Бумаги Z.ai (2513.HK) упали почти на 6% в ходе торгов в понедельник, но затем восстановились и закрылись с ростом на 1,8%. На момент написания статьи Z.ai торговалась по цене 794 HKD.

Теперь внимание приковано к тому, материализуется ли обещанная программа выплат за сообщения об уязвимостях и обнаружат ли независимые разработчики, аудирующие открытый код, что-либо, противоречащее версии компании.