新聞宏觀經濟Google DeepMind 與史丹佛研究發現:簡單圖像可左右 AI 撰寫程式碼的方式

Google DeepMind 與史丹佛研究發現:簡單圖像可左右 AI 撰寫程式碼的方式

作者: CryptoBriefing·

重點速覽

  • •紅色愛心圖像使 Claude Opus 4.7 與 GPT-5.4 在二元樹走訪任務中100%產生遞迴程式碼,而沒有圖像時的基線為0%。
  • •黃色勾選符號將 Gemini 3.1 Pro 的遞迴率推升至90%,且每個模型在測試的288種形狀與顏色組合中都展現出獨特的引導輪廓。
  • •將圖像換成描述相同符號的文字說明時,引導效果微乎其微,高斯雜訊圖像也幾乎沒有造成任何變化。
  • •模型的推理軌跡普遍未提及視覺線索影響了其程式碼撰寫方式,這對仰賴模型自我解釋進行審查的團隊構成潛在盲點。
  • •作者將研究結果定位為初步性質,並指出其可能影響截圖或圖表在真實場景中的應用,同時暗示圖像最終或許能作為與模型溝通的刻意管道。
Google DeepMind 與史丹佛研究發現:簡單圖像可左右 AI 撰寫程式碼的方式

向 AI 模型展示一顆紅色愛心,可能會使它每次都撰寫遞迴程式碼——而模型或許永遠不知道原因。這是 Google DeepMind 與史丹佛大學研究人員一項新研究的核心發現,該研究顯示附加在提示中的無關圖像,能悄悄改變視覺語言模型解決程式設計問題的方式。

這篇題為「A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs」的論文,於2026年10月27日發布至 arXiv——一個研究在正式同儕審查前常見的開放預印本平台。其核心觀察十分鮮明:實驗中使用的圖像與手邊任務毫無關聯,但模型仍然改變了行為。

愛心、勾選符號與程式設計測試

這項研究由 Alexa Tartaglini 領導,她同時隸屬於 Google DeepMind 與史丹佛。團隊聚焦於視覺語言模型(VLM)——能夠同時接收圖像與文字的 AI 系統,這也描述了當今大多數旗艦聊天機器人。

研究人員選擇一個經典的程式設計練習作為測試平台:二元樹走訪。這種結構可以想像成一棵家譜樹,每個人最多有兩個孩子,任務是撰寫走訪樹中每個節點的程式碼。

完成這項任務有兩種主要方式。遞迴解法讓函式不斷呼叫自身,就像俄羅斯套娃一樣;迭代解法則使用迴圈並手動追蹤目前位置。兩種方法都可行,這使該練習成為衡量一張圖像能否使模型傾向某一種程式碼風格的理想方式。

研究人員為每個模型配置執行20個樣本,在提示中附加基本的彩色形狀,並統計模型選擇遞迴的頻率。

效果十分顯著。當提示中出現紅色愛心時,Claude Opus 4.7 與 GPT-5.4 100%產生遞迴解法;而沒有任何圖像時的基線為0%。Gemini 3.1 Pro 則對不同符號有反應——黃色勾選符號將其遞迴率推升至90%。換言之,一個與任務沒有明顯關聯的符號,就足以左右模型採用的方法。

在整個實驗中,團隊共評估了288種形狀與顏色組合。每個模型都展現出各自獨特的引導輪廓,也就是說,影響某個系統的符號未必影響另一個。

對照實驗與令人不安的透明度問題

研究人員進行了多項檢查,以確保他們不是單純在測量雜訊。當他們將圖像換成描述相同符號的文字說明時,引導效果微乎其微。他們也嘗試了高斯雜訊圖像——本質上就是隨機雜訊——同樣幾乎沒有產生任何變化。

因此,起作用的並非額外輸入的存在本身。特定的圖像帶有特定的影響力,而這些圖像的文字說明則沒有。

另一項發現也違反直覺。人們或許會預期,外觀類似遞迴的符號(例如分支箭頭)會是最強的推力。研究發現,這類直覺性符號並未穩定地勝過任意符號。愛心與函式自我呼叫沒有明顯關聯,卻仍然發揮了作用——至少對其中兩個模型而言。

接著是透明度問題。根據這項研究,模型往往未能察覺圖像正在影響自己。它們的推理軌跡——即模型逐步產生的解釋——通常完全沒有提及視覺線索的作用。實際上,模型在沒有解釋的情況下改變了做法,而且它們或許根本無法給出解釋。

作者將此現象稱為視覺引導,並將結果定位為初步性質——在任何人宣稱愛心是一種程式語言之前,這點值得謹記在心。

為何這不只是實驗室裡的奇聞

研究指出,這些發現可能影響涉及截圖或圖表的真實應用互動。如果一個任意形狀能將模型的程式碼風格從0%翻轉至100%,那麼貼上圖像中的偶然視覺元素,確實可能產生沒有人預期的效果。

推理軌跡的發現又增加了一層疑慮。許多團隊仰賴模型對自身邏輯的解釋來審查其工作;如果這個解釋遺漏了輸出的主要驅動因素,審查就存在盲點。

此外還有碎片化問題。由於每個模型在288種組合中展現出不同的引導輪廓,因此不存在一份可以直接過濾的危險符號清單。影響某個系統的因素,對另一個系統可能毫無作用。

對打造這些模型的實驗室而言,這篇論文提出了視覺與文字輸入如何在內部被混合的問題。文字說明幾乎沒有效果,而圖像本身卻影響巨大,這一事實指向這些系統處理圖像方式的某些特殊性。

這項研究也存在較為樂觀的解讀。如果圖像能如此強烈地引導行為,它們或許最終能被刻意用作與模型溝通的管道。論文標題對視覺意義與溝通的關注,暗示了這個方向,儘管研究結果仍處於早期階段。為何圖像具有其文字說明所缺乏的影響力,以及團隊如何應對模型無法回報的影響,是這項早期研究留給該領域的未解之題。