AktualnościMakroBadacze Google DeepMind i Stanford odkrywają, że proste obrazy mogą sterować sposobem pisania kodu przez AI

Badacze Google DeepMind i Stanford odkrywają, że proste obrazy mogą sterować sposobem pisania kodu przez AI

Autor: CryptoBriefing·

Najważniejsze informacje

  • •Obraz czerwonego serca sprawił, że Claude Opus 4.7 i GPT-5.4 generowały rekurencyjny kod przechodzenia drzewa binarnego w 100% przypadków, wobec 0% bazy bez obrazów.
  • •Żółty znacznik wyboru podniósł wskaźnik rekurencji Gemini 3.1 Pro do 90%, a każdy model wykazał odrębny profil sterowania w badanych 288 kombinacjach kształt-kolor.
  • •Zastąpienie obrazów podpisami tekstowymi opisującymi te same symbole dawało minimalny efekt sterowania, a obrazy szumu gaussowskiego niemal niczego nie zmieniały.
  • •Śledzenia rozumowania modeli generalnie nie odnotowywały, że podpowiedzi wizualne wpłynęły na ich podejście do kodowania, co tworzy potencjalne martwe pole dla zespołów audytujących modele na podstawie samowychaśnień.
  • •Autorzy uznają wyniki za wstępne i sugerują, że mogą one wpływać na rzeczywiste użycie zrzutów ekranu czy diagramów, a jednocześnie wskazują, że obrazy mogą kiedyś stać się celowym kanałem komunikacji z modelami.
Badacze Google DeepMind i Stanford odkrywają, że proste obrazy mogą sterować sposobem pisania kodu przez AI

Pokazanie modelowi AI czerwonego serca może sprawić, że będzie on pisał kod rekurencyjny za każdym razem — a model może nigdy nie zorientować się dlaczego. To główny wniosek nowego badania badaczy z Google DeepMind i Uniwersytetu Stanforda, które sugeruje, że niepowiązane z zadaniem obrazy dołączone do promptu mogą niepostrzeżenie zmieniać sposób, w jaki modele wizualno-językowe rozwiązują problemy programistyczne.

Artykuł, zatytułowany „A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs”, został opublikowany na arXiv — otwartym serwerze preprintów, na którym badania pojawiają się zwykle przed formalną recenzją — 27 października 2026 roku. Jego centralna obserwacja jest uderzająca: obrazy użyte w eksperymentach nie miały nic wspólnego z rozwiązywanym zadaniem, a mimo to modele zmieniły swoje zachowanie.

Serce, znacznik wyboru i test programistyczny

Badaniem kierowała Alexa Tartaglini, badaczka związana zarówno z Google DeepMind, jak i Stanfordem. Zespół skupił się na modelach wizualno-językowych, czyli VLM — systemach AI zdolnych do przetwarzania obrazów wraz z tekstem, co opisuje większość dzisiejszych.flagowych chatbotów.

Badacze wybrali jako poligon klasyczne ćwiczenie programistyczne: przechodzenie drzewa binarnego. Strukturę tę można sobie wyobrazić jako drzewo genealogiczne, w którym każda osoba ma co najwyżej dwoje dzieci, a zadaniem jest napisanie kodu odwiedzającego każdą osobę, czyli węzeł, w tym drzewie.

Istnieją dwa główne sposoby wykonania tego zadania. Rozwiązanie rekurencyjne sprawia, że funkcja wywołuje samą siebie w kółko, jak zestaw rosyjskich lalek (matrioszek). Rozwiązanie iteracyjne używa pętli i ręcznie śledzi swoją pozycję. Oba podejścia działają, co uczyniło to ćwiczenie czystym sposobem pomiaru, czy obraz może skłonić model do jednego czy drugiego stylu kodowania.

Badacze wykonali 20 próbek dla każdej konfiguracji modelu, dołączyli do promptów podstawowe kolorowe kształty i policzyli, jak często modele wybierały rekurencję.

Efekty były wyraźne. Przy czerwonym sercu w promptcie Claude Opus 4.7 i GPT-5.4 generowały rozwiązania rekurencyjne w 100% przypadków; ich poziom bazowy bez obrazu wynosił 0%. Gemini 3.1 Pro zareagował na inny symbol — żółty znacznik wyboru podniósł jego wskaźnik rekurencji do 90%. Innymi słowy, symbol bez oczywistego związku z zadaniem wystarczył, by narzucić modele podejście, jakie przyjęły.

W ramach eksperymentu zespół ocenił łącznie 288 kombinacji kształt-kolor. Każdy model wykazał własny, odrębny profil sterowania, co oznacza, że symbole, które wpływały na jeden system, niekoniecznie wpływały na inny.

Kontrole — i niezręczny problem przejrzystości

Badacze przeprowadzili kontrole, aby upewnić się, że nie mierzą po prostu szumu. Gdy zamienili obrazy na podpisy tekstowe opisujące te same symbole, efekt sterowania był minimalny. Przetestowali również obrazy szumu gaussowskiego, które są w istocie losowym zakłóceniem — one również niemal niczego nie zmieniły.

Nie była to więc sama obecność dodatkowego sygnału wejściowego. Konkretne obrazy niosły konkretne oddziaływanie, a słowa je opisujące — już nie.

Inny wniosek przeczy intuicji. Można by oczekiwać, że najsilniejszym bodźcem będzie symbol przypominający rekurencję wizualnie, na przykład rozgałęziająca się strzałka. Badanie wykazało, że intuicyjne symbole tego rodzaju niekoniecznie przewyższały arbitralne. Serce nie ma oczywistego związku z funkcjami wywołującymi samą siebie, a mimo to zadziałało — przynajmniej w przypadku dwóch modeli.

Potem pojawia się problem przejrzystości. Zgodnie z badaniem modele często nie rozpoznawały, że obrazy na nie wpływają. Ich śledzenia rozumowania — krok po kroku generowane wyjaśnienia — generalnie nie zawierały żadnej wzmianki o roli podpowiedzi wizualnej. W praktyce modele zmieniały podejście bez wyjaśnienia i być może nie były w stanie go dostarczyć.

Autorzy opisują to zjawisko jako sterowanie wizualne. Uznają również wyniki za wstępne — to zastrzeżenie warto mieć na uwadze, zanim ktokolwiek wyciągnie daleko idące wnioski o sercach jako języku programowania.

Dlaczego to ważne poza laboratorium

Badanie sugeruje, że wyniki mogą kształtować rzeczywiste interakcje z użyciem zrzutów ekranu lub diagramów. Jeśli arbitralny kształt może odwrócić styl kodowania modelu z 0% na 100%, incydentalne elementy wizualne we wklejonym obrazie mogą prawdopodobnie wywołać efekty, których nikt nie zamierzał.

Odkrycie dotyczące śledzenia rozumowania dodaje drugą warstwę obaw. Wiele zespołów polega na wyjaśnieniach modelu dotyczących jego własnej logiki, by audytować jego pracę; jeśli wyjaśnienie pomija główny czynnik kształtujący wynik, audyt ma martwe pole.

Istnieje też problem fragmentacji. Ponieważ każdy model wykazał inny profil sterowania w ramach 288 kombinacji, nie ma jednej listy ryzykownych symboli, które można po prostu odfiltrować. To, co wpływa na jeden system, może nie robić nic dla innego.

Dla laboratoriów budujących te modele artykuł rodzi pytania o to, jak sygnały wizualne i tekstowe są wewnętrznie łączone. Fakt, że podpisy miały niewielki wpływ, podczas gdy same obrazy — duży, wskazuje na coś specyficznego w sposobie, w jaki te systemy przetwarzają obrazy.

Badanie dopuszcza też bardziej optymistyczną interpretację. Jeśli obrazy mogą tak silnie sterować zachowaniem, być może będą one kiedyś celowo wykorzystywane jako kanał komunikacji z modelami. Tytuł artykułu, skupiający się na wizualnym znaczeniu i komunikacji, wskazuje na ten kierunek, choć wyniki badania pozostają wczesne. Dlaczego obrazy oddziałują silniej niż ich pisemne podpisy — i jak zespoły mogą uwzględniać wpływy, o których modele nie potrafią raportować — to otwarte pytania, jakie ta wczesna praca pozostawia dziedzinie.