Исследование Google DeepMind и Stanford: простые изображения могут управлять тем, как ИИ пишет код
Ключевые выводы
- •Изображение красного сердца побуждало Claude Opus 4.7 и GPT-5.4 выдавать рекурсивный код обхода бинарного дерева в 100% случаев против базовых 0% без изображений.
- •Желтая галочка повышала частоту рекурсии у Gemini 3.1 Pro до 90%, и каждая модель демонстрировала уникальный профиль воздействия по 288 протестированным комбинациям формы и цвета.
- •Замена изображений текстовыми подписями к тем же символам давала минимальный эффект, а изображения гауссовского шума почти ничего не меняли.
- •Цепочки рассуждений моделей, как правило, не упоминали, что визуальные сигналы влияли на их подход к кодированию, что создает потенциальную слепую зону для команд, аудирующих модели через их собственные объяснения.
- •Авторы характеризуют результаты как предварительные и предполагают, что они могут затронуть реальное использование скриншотов и диаграмм, а также намекают, что изображения со временем могут стать целенаправленным каналом коммуникации с моделями.

Показанное ИИ-модели красное сердце может побудить ее писать рекурсивный код каждый раз — и модель, возможно, никогда не поймет почему. Таков главный вывод нового исследования специалистов Google DeepMind и Стэнфордского университета, которое указывает, что посторонние изображения, добавленные к запросу, могут незаметно менять то, как мультимодальные модели решают задачи программирования.
Статья под названием «A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs» была опубликована на arXiv — открытом сервере препринтов, где исследования обычно появляются до формального рецензирования, — 27 октября 2026 года. Ключевое наблюдение поразительно: изображения, использованные в экспериментах, не имели никакого отношения к задаче, но модели все равно меняли свое поведение.
Сердце, галочка и тест на программирование
Исследование возглавила Алекса Тартальини (Alexa Tartaglini), научный сотрудник, связанная одновременно с Google DeepMind и Stanford. Команда сосредоточилась на мультимодальных моделях, или VLM — ИИ-системах, способных принимать изображения вместе с текстом, что описывает большинство современных флагманских чат-ботов.
В качестве теста исследователи выбрали классическую задачу программирования: обход бинарного дерева. Эту структуру можно представить как генеалогическое древо, где у каждого человека не более двух детей, а задание состоит в том, чтобы написать код, посещающий каждого человека, или узел, в этом дереве.
Есть два широких способа выполнить задачу. Рекурсивное решение предполагает, что функция вызывает себя снова и снова, подобно матрешкам. Итеративное решение использует цикл и вручную отслеживает текущую позицию. Оба подхода работают, что сделало упражнение удобным способом проверить, может ли изображение склонить модель к одному стилю кодирования или другому.
Исследователи выполнили по 20 выборок для каждой конфигурации модели, добавили к запросам простые цветные фигуры и подсчитали, как часто модели выбирали рекурсию.
Эффекты были ярко выраженными. При наличии красного сердца в запросе Claude Opus 4.7 и GPT-5.4 выдавали рекурсивные решения в 100% случаев; их базовый уровень без какого-либо изображения составлял 0%. Gemini 3.1 Pro реагировала на другой символ — желтая галочка повышала частоту рекурсии до 90%. Иными словами, символа без очевидной связи с задачей было достаточно, чтобы предопределить подход моделей.
В ходе эксперимента команда в общей сложности протестировала 288 комбинаций формы и цвета. Каждая модель продемонстрировала собственный уникальный профиль воздействия: символы, влиявшие на одну систему, не обязательно влияли на другую.
Контрольные проверки — и неудобная проблема прозрачности
Исследователи провели проверки, чтобы убедиться, что не измеряют просто шум. Когда они заменяли изображения текстовыми подписями, описывающими те же символы, эффект воздействия был минимальным. Они также попробовали изображения гауссовского шума, представляющие собой по сути случайный помеховый сигнал, и те почти не изменили картину.
Таким образом, работу выполняло не само по себе наличие дополнительного входного сигнала. Конкретные изображения оказывали конкретное влияние, а текстовое описание этих изображений — нет.
Еще один вывод противоречит интуиции. Можно ожидать, что символ, визуально напоминающий рекурсию, например ветвящаяся стрелка, окажется самым сильным стимулом. Исследование показало, что интуитивные символы такого рода не всегда превосходят произвольные. Сердце не имеет очевидной связи с функциями, вызывающими самих себя, но оно сработало — по крайней мере, для двух моделей.
Затем возникает проблема прозрачности. Согласно исследованию, модели часто не осознавали, что изображения на них влияют. Их цепочки рассуждений — пошаговые объяснения, которые они генерируют, — как правило, не содержали никаких указаний на роль визуального сигнала. По сути, модели меняли свой подход без объяснений, и, возможно, не были способны их дать.
Авторы называют это явление визуальным рулевым воздействием (visual steering). Они также характеризуют результаты как предварительные — оговорка, которую стоит помнить, прежде чем делать далекоидущие выводы о сердечках как языке программирования.
Почему это важно за пределами лаборатории
Исследование предполагает, что эти выводы могут влиять на реальные сценарии с использованием скриншотов или диаграмм. Если произвольная фигура может изменить стиль кодирования модели с 0% до 100%, случайные визуальные элементы во вставленном изображении вполне могут вызывать эффекты, которые никто не задумывал.
Вывод о цепочках рассуждений добавляет второй уровень обеспокоенности. Многие команды полагаются на объяснение моделью собственной логики для аудита ее работы; если это объяснение опускает ключевой фактор, определяющий результат, аудит содержит слепую зону.
Существует и проблема фрагментации. Поскольку каждая модель показала разный профиль воздействия по 288 комбинациям, не существует единого списка «опасных» символов, которые можно было бы просто отфильтровать. То, что влияет на одну систему, может не действовать на другую.
Для лабораторий, создающих такие модели, статья поднимает вопросы о том, как визуальные и текстовые входные данные объединяются внутри системы. Тот факт, что подписи почти не действовали, а сами изображения оказывали большое влияние, указывает на нечто особенное в том, как эти системы обрабатывают изображения.
У исследования есть и более оптимистичная трактовка. Если изображения могут настолько сильно управлять поведением, со временем их можно будет целенаправленно использовать как канал коммуникации с моделями. Название статьи с акцентом на визуальном значении и коммуникации намекает на это направление, хотя результаты исследования остаются ранними. Почему изображения действуют сильнее, чем их текстовые подписи, и как командам учитывать влияние, о котором модели не могут сообщить, — открытые вопросы, которые эта ранняя работа оставляет науке.