Coinbase, крупнейшая криптобиржа США, сообщает, что цикл тестирования поддержки из примерно 90 сценариев, ранее требовавший одной-двух недель ручной подготовки и выполнения, теперь занимает 30–45 минут. Эта цифра, раскрытая инженерами компании 21 сентября, служит конкретным подтверждением стремления генерального директора Брайана Армстронга превратить биржу в компанию, основанную на ИИ.

Инструмент, обеспечивший этот результат, называется Autopilot. Он проверяет процедуры, которым следуют боты поддержки Coinbase при решении проблем клиентов, и сохраняет обязательное одобрение человеком любого изменения процедуры до его попадания в production. Нерешённый вопрос для операционной модели Армстронга — приводит ли более быстрая разработка процедур к надёжной поддержке и подотчётным действиям с клиентскими аккаунтами.

Клиентам нужно, чтобы их проблемы с аккаунтом решались корректно, а их данные использовались только при надлежащих полномочиях. Раскрытия Coinbase описывают работу, направленную на обе задачи, при этом реальный эффект для клиентов остаётся неизмеренным. Одобрение изменений, ограничение полномочий и измерение реальных результатов остаются операционными обязанностями по мере автоматизации всё большего объёма работы компании.

Откуда берётся экономия времени

Армстронг объявил о сокращении примерно 14% штата в меморандуме от 5 мая, сославшись как на слабый криптовалютный рынок, так и на то, что ИИ меняет характер работы сотрудников; по отдельным сообщениям, сокращение затронуло около 700 человек. Он предложил сократить количество уровней управления, сделать руководителей также непосредственными исполнителями, формировать небольшие ИИ-ориентированные команды и экспериментировать с командами из одного человека.

Сентябрьское инженерное раскрытие переносит эти операционные аргументы в конкретный процесс поддержки. Coinbase сообщает, что её боты проверяют состояние аккаунта, выполняют ограниченные действия и передают проблемы, требующие больших компетенций, человеку. Autopilot помогает поддерживать процедуры, которым следуют эти боты.

Его сервис тестирования создаёт изолированных тестовых пользователей и фиктивные состояния аккаунтов, имитирует диалоги, записывает транскрипты и результаты работы инструментов, а также оценивает произошедшее на соответствие ожидаемому поведению. ИИ-агенты могут помогать генерировать тесты, а повторяемый исполнитель их запускает. Coinbase сообщает, что внедрила гибридную систему, объединяющую сервис тестирования, шлюзы выпуска, работающие GitHub Actions — широко используемом сервисе автоматизации для выполнения программных рабочих процессов, — и интерфейс, доступный как инженерным, так и неинженерным командам.

Именно это разделение труда делает сравнение по времени значимым. Многократная настройка тестовых аккаунтов, ведение диалогов и сбор результатов — это именно та повторяющаяся работа, которую общий сервис может выполнять стабильно. Более быстрая валидация могла бы сделать реальной более частую проверку изменений процедур — при условии, что сценарии и ожидаемые результаты остаются корректными.

Заявленное сравнение измеряет только цикл валидации, оставляя за рамками время ответа клиентам и экономию штата. Связать этот цикл с сокращением персонала потребовало бы доказательств того, какие задачи были вытеснены и с какими сопутствующими затратами.

Более короткий цикл тестирования даёт Coinbase больше возможностей для оценки изменений. Приведёт ли эта возможность к улучшению поддержки, зависит от того, что покрывают тесты, что проверяющие делают со своими выводами и как изменённые процедуры работают после развёртывания.

Человеческая проверка остаётся на границе выпуска

Autopilot использует состязательные диалоги в дополнение к тестам ожидаемого поведения. Coinbase сообщает, что ИИ-модель оценивает эти диалоги, но признаёт, что такая оценка может быть ошибочной. Оценки поступают в человеческую проверку и на шлюзы выпуска, а не самостоятельно определяют готовность процедуры.

Граница выпуска отделяет предложенную процедуру от той, которую бот поддержки может использовать с клиентами. ИИ-агенты могут предлагать изменения, но человек должен одобрить запись в production и включение. Это защита от того, чтобы автоматизированный цикл контроля качества продвигал собственную работу без проверки, и она означает, что проверка остаётся операционной обязанностью по мере ускорения системы.

Область одобрения следует читать точно. Заявление Coinbase касается изменений в процедурах поддержки и их включения. В нём не говорится, что человек одобряет каждое действие развёрнутого бота в отношении отдельного клиентского аккаунта.

Дальнейшая автоматизация остаётся незавершённой. Coinbase сообщает, что обнаружение, составление, тестирование и анализ существуют, тогда как оркестрация от выявленного разрыва в показателях до продвинутой процедуры всё ещё разрабатывается. Полностью общий контракт для сводок диалогов также остаётся незавершённым. Это оставляет интеграционную работу наряду с достижением автоматизации: система, которая выявляет слабый процесс, генерирует правку и тестирует её, всё ещё нуждается в надёжной передаче информации между этими шагами и в подотчётном решении о выпуске.

Право на действие — отдельный контроль

Раскрытие Coinbase от 18 августа о внутренних операциях затрагивает другую часть защиты клиентов: кто может получать доступ к клиентским данным и кто может их изменять.

Компания описывает Control Center как отдельную общую платформу для служб поддержки, комплаенса, юридической, риск- и инженерной служб. Coinbase не уточнила, охватывается ли Autopilot этой платформой. Внутри платформы авторизация, журналы аудита, одобрения и ограничения частоты запросов расположены перед основными сервисами.

Проверки полномочий учитывают как запрашиваемое действие, так и конкретного клиента. Операция, ограниченная рамками клиента, без необходимого контекста клиента отклоняется. Доступ привязан к назначенным обращениям, ограничен затронутыми клиентами и имеет срок действия.

Для определённых чувствительных изменений, включая возвраты, изменения состояния аккаунта и переопределениеитов, платформа разделяет предложение изменения и его исполнение. Предложение проходит проверку, должны поступить необходимые одобрения, после чего отдельный исполнитель выполняет изменение. Сбои оставлены для обработки человеком.

Эти средства контроля отвечают на вопросы, на которые тестирование диалогов само по себе ответить не может. Процедура может описывать ожидаемый ответ, тогда как система авторизации определяет, может ли вызывающий получить доступ к соответствующим клиентским данным; правила одобрения определяют, может ли чувствительное изменение быть выполнено.

Control Center также делает текущую работу явной. Coinbase сообщает, что новые типы клиентов, включая автоматизированных агентов, должны быть включены в правила авторизации, аудита и ограничения частоты запросов, при этом границы аутентификации проходят повторную валидацию при изменении вызывающих сторон.

Установить, как эти средства контроля применяются к автоматизации поддержки, потребовало бы более чёткого описания того, какие боты и действия проходят через проверки полномочий и одобрений. Релевантной метрикой охвата является множество клиентских операций, регулируемых этими правилами.

Для ИИ-ориентированной операционной модели следствие очевидно: добавление автоматизированных вызывающих сторон по-прежнему требует, чтобы кто-то поддерживал правила, регулирующие их полномочия. Архитектура может сделать эту работу более последовательной, но её эффективность зависит от удержания каждой новой вызывающей стороны в рамках правил. Доступ, привязанный к обращениям, — конкретный пример: полномочия должны продолжать соответствовать назначенной работе по мере изменения обращений и вызывающих сторон. Граница аккаунта должна сохраняться наряду с более быстрой разработкой процедур.

Больше тестирования по-прежнему требует измерения результата

Та же необходимость связывать активность с результатами распространяется и на отдельную платформу безопасности Coinbase — Continuous Adversarial Testing (CAT). 15 сентября Coinbase сообщила о более чем 150 000 сканирований своей производственной инфраструктуры с середины 2026 года, включая свыше 128 000 обзоров pull request'ов предлагаемых изменений кода, и об увеличившемся числе исправляемых находок пентестов (имитированных кибератак). Эти заявленные активности и исправления дают контекст безопасности.

Различие между тестированием и работой в развёрнутом виде является центральным также для профиля генеративных ИИ-рисков Национального института стандартов и технологий США (NIST) за июль 2024 года. NIST, агентство стандартов правительства США, опубликовало добровольную структуру, которая рекомендует оценивать системы в реальных сценариях, поскольку контролируемое тестирование может пропускать проблемы, и обсуждает разрывы в измерениях между лабораторными и боевыми условиями. Она предлагает общий ориентир для оценки подобных заявлений Coinbase.

Autopilot уже ориентирован на клиентские метрики. Coinbase сообщает, что метки клиентского намерения, сигналы разрешения и удовлетворённости клиентов помогают выявлять слабые высоконагруженные процессы поддержки. Это говорит о том, что компания осознаёт: завершение тестов и решение проблем клиентов — разные метрики.

Тем не менее сентябрьское раскрытие не публикует количественных результатов «до и после» по разрешению обращений клиентов или безопасности. Полезным следующим шагом было бы связывание развёрнутых процедур с этими результатами, а также доля релевантной активности поддержки, охваченной системами тестирования и полномочий.

Качество разрешения помогло бы показать, решает ли автоматизация проблему клиента. Показатели эскалации помогли бы показать, доходят ли до человека обращения, требующие человечкого суждения. Свидетельства о несанкционированных действиях и ошибках затронули бы защиту напрямую точнее, чем время, необходимое для запуска набора тестов.

Заявленный 30–45-минутный цикл валидации — конкретный пример автоматизации работы. Раскрытые шлюзы одобрения и ограничения доступа делают подотчётность частью операционной модели. Демонстрация ценности для клиентов требует связать и то, и другое с результатами живой поддержки, продолжая вести проверочную и управленческую работу, которую раскрытые системы всё ещё требуют.