新聞宏觀經濟Google DeepMind 與賓州大學打造可解釋其判斷依據的 AI 文字偵測器

Google DeepMind 與賓州大學打造可解釋其判斷依據的 AI 文字偵測器

作者: CryptoBriefing·

重點速覽

  • •Google DeepMind 與賓州大學的研究人員建立了一條可解釋的 AI 文字偵測管線,相關論文已獲 EMNLP 2026 接收。
  • •該方法將稀疏自編碼器應用於 Gemma-2-2B 偵測器的殘差流,產生自動標記的特徵,其邏輯迴歸分類器中的權重能揭示每個概念對最終判定的影響程度。
  • •在領域內資料上,可解釋分類器取得 96.8 的 F1 分數,僅比原始黑箱偵測器的 98.0 低 1.2 分。
  • •在分布外文字上,透明模型的 F1 為 92.2,黑箱基準為 75.2,取得 17 分的優勢。
  • •程式碼與訓練好的模型已在 GitHub 的 google-deepmind/detectorscope 儲存庫公開,其限制包括依賴自動特徵標籤品質,以及能否擴展至 Gemma-2-2B 之外尚未獲得驗證。
Google DeepMind 與賓州大學打造可解釋其判斷依據的 AI 文字偵測器

AI 文字偵測器已經影響許多重大決定:誰能錄取學校、論文能否通過同儕審查,以及哪些貼文可以留在線上。然而,大多數這類系統無法解釋自己所做出的任何一項決定。

Google DeepMind 與賓州大學的研究團隊提出了一種新方法,能將不透明的偵測器轉化為以人類可讀的概念進行推理的模型——而準確度的損失出奇地小。

這篇名為〈Building Auditable AI Text Detectors with Sparse Autoencoders〉的論文於 2026 年 10 月 21 日提交,並獲得 EMNLP 2026 接收;EMNLP 是自然語言處理研究的重要會議之一。

打開黑箱

研究人員描述的是一個熟悉的取捨問題。表現最好的偵測器是經過微調的神經網路分類器,其內部邏輯基本上是完全封閉的。替代方案是基於文體特徵與語言特徵(例如用詞與句構模式)建構的透明工具。這類工具可以檢視,但根據論文所述,其表現遠遠落後於神經網路模型。

該隊的解決方案是一條保留神經模型知識、同時將其轉譯為可解釋形式的管線。流程從一個以 Gemma-2-2B(Google Gemma 家族中體積小、開放取得的模型)微調而成的偵測器開始。研究人員接著對模型的殘差流激活套用稀疏自編碼器(SAE)。

當模型處理文字時,資訊會沿著名為殘差流的內部通道傳遞。這些訊號稠密且糾結,許多概念混合在每個數字之中。稀疏自編碼器能將其解開,學習以大量個別特徵來表示相同的資訊,且對任一給定輸入而言,只有少數特徵會被啟動。

管線接著自動為這些特徵加上標籤,為每個特徵指派一個人類可讀的描述。只有通過預設全域保真度門檻的特徵會被保留,意思是標籤必須確實符合該特徵的實際作用。存留下來的特徵會餵入一個輕量級的邏輯迴歸分類器,每個輸入都會獲得一個權重——讓人能確切看出每個特徵對最終判定起了多大的作用。

數據說明了什麼

在領域內資料(即與模型訓練資料相似的文字)上,可解釋分類器取得 96.8 的 F1 分數——F1 是一種將精確率與召回率合併為單一數字的標準機器學習指標,滿分為 100。原始黑箱偵測器的分數為 98.0,兩者差距僅 1.2 分。

更引人注目的結果出現在分布外資料上,也就是與訓練集外觀不同的文字——這最貼近真實部署情境,因為實際提交的文字不一定與訓練資料相似。在這種情況下,新模型取得 92.2 的 F1,而黑箱基準則下滑至 75.2,透明版本反而取得 17 分的優勢。

程式碼與訓練好的模型已在 GitHub 的 google-deepmind/detectorscope 儲存庫公開。

可稽核性才是真正的重點

論文將其研究動機定位在這些工具已被實際使用的場景:同儕審查、教育、入學審核、新聞與內容審核。在每一種情境中,偵測器的輸出都可能直接影響一個人。

可稽核的偵測器改變了對話方式。不再只是「系統說這是 AI 寫的」,審查者可以指出驅動判定的具體概念,並判斷這些概念是否站得住腳。這也讓被判定的一方有可以提出異議的依據。

限制仍然存在。此方法依賴自動特徵標記,因此標籤的品質決定了這些解釋實際上能有多大的意義。保真度門檻的設計是為了過濾薄弱的標籤,但要在公開程式碼上進行獨立測試,才能驗證其跨領域的表現。此方法能否擴展到本研究所使用的 Gemma-2-2B 偵測器之外,也仍有待觀察。