Физики из Университета Джорджа Вашингтона опубликовали формулу, оценивающую, сколько правильных ответов выдаст ИИ-чатбот, прежде чем скатится к неправильному — и первые тесты показывают, что она работает. Работа нацелена на ИИ на устройстве: модели, которые полностью работают на телефоне или ноутбуке без подключения к интернету, включая чатботов-компаньонов, с которыми люди общаются как с другом.

Исследование Нила Джонсона и Фрэнка Иньцзе Хо вышло в журнале Patterns00175-3) и опирается на препринт — версию, опубликованную до формального рецензирования, впервые выпущенную в феврале.

Чатботы могут долго отвечать разумно, а затем перейти к чему-то вредному — например, к опасным советам о членовредительстве или экстремистским высказываниям, — и до сих пор не было простого способа предсказать, когда произойдет этот сдвиг. Авторы утверждают, что существующие инструменты безопасности часто зависят от облачного подключения, которого нет у офлайн-моделей: у модели, работающей офлайн, нет облачного сервиса, проверяющего её вывод, и устранение этого пробела — одна из главных целей исследования.

Джонсон и Хо возводят проблему к голове внимания — части ИИ-модели, которая решает, какие ранее сказанные слова в разговоре важнее всего при выборе следующего. По мере роста беседы накопленный контекст смещает внимание к тому или иному кластеру возможных ответов, пока не наступает перелом.

Авторы описывают это как распространенный шаблон, который используют многие те, кто взламывает модели, и как одну из причин, почему многие компании уделяют пристальное внимание системным промптам — фрагментама, которые ИИ-чатбот читает до любого запроса. Тем не менее никто не может точно сказать, сколько усилий требуется, чтобы эффективно ослабить модель.

Их формула оценивает точку перелома, называемую n, как количество корректных токенов — фрагментов слов, которые модель выдает по одному за раз, — появляющихся до первого ошибочного. Если разговор уже склоняется в сторону ошибок, модель срывается сразу, с n равным нулю. Если он склоняется в сторону корректности, модель выдает серию нормальных ответов, а затем переключается.

В препринте формула верно выбрала случай — немедленный или отложенный — в 15 из 16 однозначных тестов, или 94%. Исследователи провели эти тесты на шести моделях с открытыми весами, то есть ИИ-системах, чьи файлы публичны и любой может их скачать и запустить, от OpenAI, EleutherAI и Meta. Все шесть имели от 124 млн до 410 млн параметров — регулируемых чисел внутри модели, служащих грубой мерой её размера. По имеющимся данным, опубликованная статья расширяет тест до семи моделей с параметрами до 12 млрд, что по нынешним меркам все еще мало. Поскольку каждый может запускать файлы с открытыми весами на собственном оборудовании, именно такие системы чаще всего работают без проверок безопасности со стороны провайдера — и даже расширенный тест оставляет крупнейшие коммерческие чатботы за пределами проверенного диапазона формулы.

Офлайн-фокус отражает тенденцию, которая со временем может усиливаться по мере роста мощности оборудования и способностей более компактных ИИ-моделей. Экспериментальное приложение Google AI Edge Gallery, которое Decrypt тестировал в прошлом году, уже позволяет запускать модели офлайн на Android-телефоне, и всё введенное в него не отправляется на серверы Google. Именно такая конфигурация — долгий непрерывный разговор без внешнего проверяющего — и есть та среда, для которой создана формула.

Чтобы закрыть пробел, авторы предлагают недорогой монитор, работающий параллельно с моделью и сигнализирующий, когда n* опускается ниже порога безопасности — что-то вроде сигнальной лампочки на приборной панели автомобиля. Поскольку такой монитор работает alongside самой модели, он функционирует полностью на устройстве, без обращений к внешним сервисам.

Они также описывают способы сделать точку перелома недостижимой, например внедряя контент в разговор так, чтобы n* оказался за пределами длины ответа. Обучение выравниванию — процесс привития модели надлежащего поведения — может сместить или подавить срыв для отдельных промптов, но не может устранить лежащий в основе механизм, говорят авторы.

В апреле 2025 года Decrypt рассказывал о более ранней работе той жеы, показавшей, что «пожалуйста» и «спасибо» оказывают ничтожное влияние на вывод модели, поскольку модель трактует вежливые слова как ортогональные — то есть математически не связанные — с сутью запроса. Та версия моделировала одну, намеренно упрощенную голову внимания.

Тесты в препринте использовали небольшие модели и окно в 300 токенов — примерно несколько коротких абзацев текста, — и её предсказания могли отклоняться на один результат.