Coinbase опубликовала результаты, указывающие на то, что новейшее поколение граничных ИИ-моделей хуже справляется с выявлением мошеннических транзакций, чем его предшественницы, — этот результат побудил криптобиржу переориентировать операции по контролю рисков на открытые модели, доработанные с помощью постобучения под конкретную предметную область.

Результаты были представлены 7 октября во второй части серии Coinbase «Owning Intelligence», где компания описала оценку шести больших языковых моделей на фиксированном бенчмарке из 16 140 транзакций, охватывающих 7 293 пользователей. Набор данных был взят из девяти недель производственных данных, собранных до внедрения агента по управлению рисками на базе LLM, что исключало искажение наблюдаемых результатов мошенничества вмешательствами самого агента. В выборке содержалось 813 подтвержденных мошеннических транзакций. Поскольку сравнение проводилось на определенном историческом наборе данных и в рамках конкретной конфигурации оценки, его результаты отражают производительность моделей именно в этом бенчмарке, а не доказывают, что новые модели хуже во всех задачах выявления мошенничества.

Новые модели показывают регресс во всех трех парах

В оценке сравнивались Opus 4.5 с Opus 5, Sonnet 4.6 с Sonnet 5 и GPT-5.4 с GPT-5.6. Во всех трех парах новые версии показали более низкую полноту (recall), более низкие значения F1-метрики и более низкую взвешенную по сумме полноту — долю общей стоимости мошеннических транзакций, успешно выявленную; этот показатель Coinbase считает особенно важным для платежных рисков.

Масштаб регресса существенно различался. Полнота Sonnet 5 сниз на 22,2 процентного пункта относительно Sonnet 4.6, а взвешенная по сумме полнота упала на 22,9 пункта; поскольку снизились и точность, и полнота, модель продемонстрировала более слабую общую способность отличать мошенничество от легитимной активности, а не простой компромисс между этими двумя метриками. Opus 5 показала более умеренное снижение полноты — на 0,8 пункта. GPT-5.6 следовала иной схеме: точность выросла на 11,5 пункта, но полнота упала на 20,7 пункта, а взвешенная по сумме полнота — на 21,8, что соответствует более консервативной классификации.

Анонсируя результаты в X 12 октября, Coinbase Developer Platform написала:

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(Пост в X)

Значение для выбора моделей и ответ Coinbase

Coinbase предупредила, что ее бенчмарк демонстрирует регресс, не устанавливая его причину, отметив, что без доступа к обучающим данным и целям провайдеров любое объяснение остается спекулятивным. Вероятные факторы включают сдвиги границ принятия решений и поведения при обработке промптов, компромиссы, внесенные процессами постобучения, а также изменения в составе обучающих данных и приоритетах задач.

Эти выводы меняют подход компании к обновлению моделей. Вместо вопроса о том, какой релиз является новейшим, Coinbase утверждает, что командам следует оценивать, улучшает ли кандидат общий компромисс между точностью и полнотой, обусловлены ли наблюдаемые различия самой моделью или изменениями окружающих промптов и политик принятия решений, а также соответствует ли модель требованиям к задержке, надежности и стоимости для работы в реальных платежных потоках. На практике это превращает выбор модели в операционную задачу оценки: релевантное сравнение включает как качество выявления, так и ограничения платежной системы, в которой работает модель.

Переход к владению моделями

Эти результаты побудили к стратегическому переходу к владению моделями. Coinbase перевела агента контроля рисков для сервиса приема фиатных депозитов Onramp на открытые модели и постобучение под конкретную предметную область. Согласно третьей части серии, компания выполнила постобучение Qwen3.5-9B с использованием SkyRL на Anyscale, получив модель, которая превзошла Opus 4.5 по всем четырем метрикам выявления мошенничества и сократила сквозную задержку обработки на 55%.

Этот подход опирается на более ранние результаты: в части 1 серии Coinbase сообщила, что добавление LLM-агента проверки к существующей модели машинного обучения и движку правил — внедренное без замены существующего стека рисков — сократило мошеннические транзакции на 30% объем мошенничества на 22% в онлайн-эксперименте A/B. Вместе результаты бенчмарка и A/B-теста указывают на две отдельные задачи оценки: сравнение моделей в контролируемом тесте и измерение эффективности интегрированной системы рисков в реальном использовании.

Источник: Metaverse Post