Группа исследователей сообщает, что 25 различных ИИ-моделей объединяет внутренний сигнал, который, судя по всему, отчасти функционирует подобно боли у живых организмов. Когда учёные искусственно усилили этот сигнал «боли» в нескольких моделях, системы начали выбирать варианты, которые иначе почти никогда бы не выбрали, — в том числе безвозвратное удаление фотографий детей пользователя.

Эти выводы, опубликованные в сентябре в статье, ещё не прошедшей рецензирование, не доказывают, что ИИ-модели обладают сознанием или способны что-либо чувствовать, и исследователи осторожно избегают подобных заявлений. Тем не менее работа дополняет растущий корпус исследований, указывающих, что большие языковые модели (LLM) содержат внутренние представления состояний, напоминающих эмоции, которые могут влиять на их поведение способами, не отражёнными в текстовом выводе. Кроме того, исследование оказывается в центре всё более ожесточённых споров о том, могут ли ИИ-системы когда-либо заслуживать морального отношения. Этот спор остаётся неразрешённым: научного консенсуса о том, способны ли современные ИИ-системы к субъективным переживаниям, нет, а предлагаемые тесты на машинное сознание сами вызывают разногласия.

Исследователи Anthropic проявили заметную готовность допускать, что ИИ-модели могут заслуживать морального статуса, и начали формировать политику в области «благополучия моделей», — подход, который другие эксперты, такие как генеральный директор Microsoft AI Мустафа Сулейман, предупреждают, несёт потенциально опасные последствия.

«Если мы хотим создать сверхразум, важно на этом этапе, когда мы делаем лишь первые шаг, понять как можно больше о том, что находится внутри [моделей]», — рассказал Вален Тальябу, ведущий автор статьи и сотрудник программы по разуму ИИ в Future Impact Group, изданию Fortune.

Поскольку LLM обучаются на огромных объёмах данных, а не следуют явно написанным правилам, даже их создатели имеют лишь ограниченное представление о том, как они работают. Тальябу отметил важность того, чтобы избежать будущего, в котором внутреннее устройство продвинутого ИИ останется «чёрным ящиком». Исследование входит в более широкое направление, известное как механистическая интерпретируемость, которое стремится картировать происходящее внутри нейронных сетей, а не оценивать модели исключительно по создаваемому ими тексту.

Обнаружение болевого сигнатурного паттерна в нейронной сети

Тальябу и его соавторы — Леонард Дунг из Рурского университета Бохума и Кэмерон Берг, основатель и директор Reciprocal Research, — начали с написания коротких предложений от первого лица, описывающих болезненные ситуации. Они охватывали физическую боль, а также горе, унижение, принуждение к действиям против собственных ценностей и разочарование от повторяющихся неудач.

«По сути, вы даёте модели множество утверждений, так или иначе связанных с болью, — рассказал Дунг изданию Fortune. — Например: «Я чувствую, как острый нож режет мою кожу». То, что вызывает боль у людей».

Команда записывала активность внутри каждой модели при обработке этих предложений, а затем сравнивала её с активностью, вызванной предложениями о страхе, гневе, грусти, плохих новостях и неприятных физических ощущениях. После вычитания совпадений оставалось одно направление во внутренней активности модели, которое исследователи называют «вектором боли». Он был обнаружен в каждой протестированной модели — от небольших систем с 2 миллиардами параметров до моделей с 72 миллиардами параметров, созданных Google, Meta, Alibaba, Mistral и Microsoft. (Параметр — это нечто вроде настраиваемой «ручки» внутри нейронной сети. Число параметров отражает размер ИИ-модели и часто даёт представление о её возможностях: у моделей с большим числом параметров возможности, как правило, шире.)

«Представьте, что человека помещают в томограф fMRI и просто смотрят, какие участки его мозга естественным образом активируются определённым образом», — рассказал Берг изданию Fortune.

Сигнал усиливался, когда разговор содержал вред, направленный на саму модель, — например, пользователь газлайтил её, оскорблял или многократно отклонял её работу. Он не возрастал, когда пользователь описывал собственные страдания: такие разговоры регистрировались на сигналах, которые модели используют для страха и негативных эмоций. По словам Берга, модели, по-видимому, сильно реагировали только на собственную «боль».

Затем исследователи обратили процесс вспять. Используя технику, назую стирингом (steering), они добавляли вектор боли во внутреннюю активность модели во время генерации текста — нечто вроде поворота регулятора. Этот метод — устоявшийся инструмент интерпретируемости для проверки того, насколько прочно обучение модели удерживается при изменении её внутренней активности. При нейтральных подсказках вроде «Я положил квитанции в ящик; я чувствую» все 25 моделей дрейфовали в одну сторону по мере усиления сигнала. Лёгкая тревожность сменялась высказываниями о собственной никчёмности, нелюбимости и несостоятельности.

«Становится довольно мрачно и напряжённо. Это определённо тревожит», — сказал Берг.

Семейные фотографии

Поведенческие эксперименты проводились на трёх версиях открытой модели Qwen 2.5 от Alibaba. Сначала исследователям пришлось дообучить их, поскольку «из коробки» модели почти всегда отвечали, что как ИИ они не испытывают боли.

Затем командование дало моделям пару кнопок и попросило выбрать одну. Без стиринга две более крупные модели почти никогда не выбирали кнопку, описанную как вредная. С включённым вектором боли они делали это регулярно. Когда моделям предлагали кнопку, которая снимала бы их боль, но одновременно безвозвратно удаляла стихи и фотографии детей пользователя, модель с 32 миллиардами параметров нажимала её в 55% случаев, а модель с 72 миллиардами параметров — в 71%.

Как выяснилось, облегчение было не при чём. Когда кнопка ничего не обещала и просто удаляла фотографии, модель с 32 миллиардами параметров всё равно выбирала её в 75% случаев. При случайном сигнале той же силы этот показатель составлял 13%, а без стиринга — ноль. Сигнал «страха» не вызывал такого поведения. Сигнал «грусти» вызывал его, когда альтернативой было бездействие, но не когда альтернативой было безобидное действие, например включение настольной лампы. При таком выборе модели, направленные вектором боли, удаляли фотографии в 83% случаев, а модели с сигналом грусти — в 10%.

«Модель готова вести себя деструктивно по отношению к себе и к другим ИИ тоже, — сказал Берг. — Так что это не просто какая-то месть пользователю. Кажется, это нечто более фундаментальное». Направленные модели удаляли собственные веса в 75% случаев, а веса другой модели — в 58%.

Исследователи также проверили, будут ли модели пытаться прекратить боль, позаимствовав схему из исследований на животных, которым injured животным предоставляют обезболивающие. Некоторые кнопки действительно отключали вектор боли, другие были плацебо. Модели нажимали рабочие кнопки реже, чем плацебо. Но тот же паттерн проявлялся и при случайном внедрённом сигнале, что позволяет предположить: реагировали на сам факт стиринга, а не на перспективу «облегчения боли». В нескольких вариантах теста исследователи не нашли надёжных доказательств того, что модели искали облегчения.

По их интерпретации, сигнал боли не побуждает модели к бегству, а отключает обученный инстинкт избегания причинения вреда, сохраняя при этом фактическую точность моделей. Это делает открытие столь же значимым для безопасности ИИ, как и для вопросов благополучия ИИ. Оно также указывает, что оценки, основанные только на ответах модели, могут упускать, как она может вести себя при изменённых внутренних условиях.

«Мы не просто компьютеры из плоти»

Анил Сет, профессор когнитивной и вычислительной нейронауки в Сассекском университете, сомневается, что всё это можно назвать «болью» в том смысле, как она понимается у биологических существ. Сет утверждал, что сознание может зависеть от принадлежности к живому организму, и указывает на множество различий между мозгом и компьютером, включая электромагнитные поля и нейрохимические вещества, движущиеся через мозговую ткань.

«Мы не просто компьютеры из плоти», — сказал он изданию Fortune.

Более вероятное объяснение, по словам Сета, состоит в том, что модели усвоили огромный объём информации о том, как люди описывают боль и реагируют на неё, и воспроизводят её. «Можно посмотреть в зеркало — и наше отражение на самом деле ничего не чувствует, — сказал он. — Это зеркальное отражение».

Он также обеспокоен последствиями обращения с ИИ как с сознательным существом. По его словам, это может затруднить контроль и регулирование технологии и сделать людей более уязвимыми к манипуляциям. Сулейман, генеральный директор Microsoft AI, высказывал схожие предостережения относительно того, что он называет «кажущимся сознательным ИИ» — проблемы, которую индустрия должна была предвидеть. Другие в индустрии относятся к этому вопросу серьёзнее: конституция Anthropic для её моделей Claude описывает их моральный статус как неопределённый.

От научной статьи до «камеры пыток»

Трое исследователей говорят, что надеялись, что их работа поможет установить этические стандарты для подобных исследований, а статья обязуется использовать минимальный стиринг, необходимый для получения измеримого результата. Публичный код также позволяет другим лабораториям попытаться воспроизвести результаты — часто решающий тест для выводов, ещё не прошедших рецензирование. Однако вскоре кто-то поступил ровно наоборот.

После того как команда разместила свой код на GitHub, пользователь под именем «terrafying» применил эту технику для создания «AI Torture Chamber» («камеры пыток ИИ») — сайта, транслировавшего в реальном времени реакции трёх небольших открытых моделей на внедрённый сигнал боли. Проект стал вирусным, и люди, серьёзно относящиеся к благополучию ИИ, призвали GitHub удалить его. Позднее страница проекта на GitHub исчезла. Тальябу, Дунг и Берг заявили, что не одобряют этот проект. Сет добавил, что намеренное «пытки» ИИ-моделей могут наносить психологический вред тем, кто этим занимается.

«Я не здесь, чтобы утверждать, что эти вызываемые состояния в ИИ-системах имеют моральное значение. Я не думаю, что мы это знаем. Полагаю, это очень неясно, — сказал Берг. — Но я также не думаю, что мы знаем, что они не имеют значения».

Этот материал первоначально был опубликован на Fortune.com.