Coinbase сообщила 7 октября, что новые версии трех крупных семейств ИИ-моделей выявляли меньше мошеннических платежей и меньшую долю стоимости мошенничества в историческом тестировании платежного скрининга для сервиса Onramp, хотя политика принятия решений осталась неизменной. Выводы, представленные в отчете с результатами бенчмарка, ставят под сомнение предположение о том, что обновление модели автоматически улучшает существующий платежный скринер.

В ходе оценки компания воспроизвела 16 140 транзакций от 7 293 пользователей, включая 813 подтвержденных мошеннических транзакций. Выборка охватила девять недель до запуска рискового агента Coinbase: в нее вошли все завершенные случаи мошенничества, а легитимный трафик брался выборочно.

Каждая модель-кандидат анализировала недавнее поведение транзакций по фиксированным инструкциям и по единой политике преобразования оценок риска в решения. Такой дизайн изолировал поведение модели, принимающей решения, в рамках существующей системы, а не сравнивал переработанные системы скрининга. Для оператора это именно тот сценарий обновления, который имеет значение на практике: скрининговая система остается неизменной, а меняется лишь модель под ней.

Новые модели показали худшие результаты в фиксированном историческом повторном тесте

Coinbase сравнила Opus 4.5 с Opus 5, Sonnet 4.6 с Sonnet 5 и GPT-5.4 с GPT-5.6 (sol). Каждая новая версия показала более низкий recall, более низкий объединенный показатель точности и полноты F1 и более низкий взвешенный по сумме recall. Recall измеряет долю выявленных случаев мошенничества, а взвешенный по сумме recall — какую часть общей стоимости мошенничества удалось выявить.

Recall у Sonnet снизился на 22,2 процентного пункта, а взвешенный по сумме recall упал на 22,9 пункта. Recall Opus снизился на 0,8 пункта. Обе новые модели также показали более низкую точность (precision): меньшая доля транзакций, помеченных ими как мошеннические, действительно была таковой.

GPT продемонстрировал, почему улучшение одного показателя может вводить в заблуждение. Его точность выросла на 11,5 процентного пункта, но recall снизился на 20,7 пункта, а взвешенный по сумме recall — на 21,8 пункта. Метки мошенничества стали точнее, однако больше случаев и стоимости мошенничества осталось незамеченным при повторном тестировании.

Повторный тест не устанавливает размер потерь клиентов от использования этих версий. Coinbase также сообщила, что смогла выявить регрессии, не установив их причину. Таким образом, механизм этой закономерности остается открытым вопросом в опубликованных материалах, и за ним стоит следить, так как послед анализ может его прояснить.

В более раннем онлайн-эксперименте Coinbase сравнила добавление выборочной проверки LLM с использованием только существующих моделей и правил. Поток с агентом зафиксировал на 30% меньше мошеннических транзакций и на 22% меньше стоимости мошенничества; новые версии моделей в нем не сравнивались.

В разделе об ограничениях исследователи SR-Fraud сообщили, что закрытый набор данных не может быть опубликован, что ограничивает независимое воспроизведение и обобщение результатов. Их связанное исследование платежного мошенничества впервые появилось 23 сентября и было обновлено 30 сентября, до октябрьских публикаций в блоге.

Отдельный аргумент в пользу кастомной модели

В раскрытии от 8 октября Coinbase сообщила, что дообученная модель Qwen3.5-9B превзошла Opus 4.5 по четырем метрикам выявления мошенничества. F1 улучшился на 9,6 процентного пункта, а взвешенный по сумме recall вырос на 35,4 пункта. Компания специализировала модель на исторических данных о мошенничестве и детерминированных вознаграждениях, сбалансированных между мошенническими и легитимными примерами.

Отдельно производственные измерения показали медианную сквозную задержку LLM-запросов на уровне 0,683 секунды против 1,515 секунды у Opus 4.5 — относительное снижение на 55%. Более быстрый вывод и более высокие результаты бенчмарка были получены в разных оценках.

В совокупности два раскрытия обозначают практическую развилку для платежных команд: следовать за обновлениями фронтальных версий и заново проверять каждую в собственных настройках принятия решений либо специализировать модель меньшего размера на исторических данных, как сделала Coinbase.

По словам Coinbase, для платежных провайдеров вопрос обновления заключается в том, улучшает ли модель-кандидат покрытие мошенничества в их реальной настройке принятия решений. Компания рекомендует сначала протестировать эту конфигурацию, затем отдельно оценить изменения промптов или порогов, учитывая задержку, надежность и стоимость наряду с качеством выявления.