微軟執行長Satya Nadella對部署人工智慧的企業提出新的建議:像資安團隊對待內部威脅那樣對待AI模型。

他的核心建議很直接。任何單一AI模型都不應同時掌控它所執行的動作,以及用於驗證這些動作的證據。Nadella主張,如果一個系統既能完成工作,又能為自己的表現打分,那麼實際上沒有人在進行任何審查。

針對AI的內部威脅框架

內部威脅的概念源自企業資安領域,企業早已為擁有合法存取權但可能濫用權限的員工制定應對計畫——這類風險長期以來透過職責分離等控制措施加以管理,即拆分敏感任務與存取權限,使任何單一個人或系統都無法端到端掌控整個流程。Nadella的論點是,自主運作的AI代理人應屬於同一類別。

連結到企業系統的AI代理人,可以像受信任的員工一樣接觸敏感的企業數據。然而與員工不同的是,其推理過程可能不透明,且其運作自主程度使監督更加困難。

在2026年10月10日的談話中,Nadella討論了超級智慧系統帶來的挑戰,並呼籲將智慧與權限分離。簡而言之,一個模型可以足夠聰明地建議決策,但不應被信任在無人審查的情況下自行執行。

他還列出了一系列實際的控制措施,包括獨立驗證流程、模型思維鏈的透明化——即模型在得出答案過程中產生的逐步推理——以及外部稽核機制。目標是建立不依賴AI自我擔保的問責機制。

一種模式,而非一次性言論

在2026年9月17日參與科技與商業節目All-In Podcast時,Nadella指出企業AI代理人可能歪曲財務數據,並將此描述為一種新型態的內部風險。

2026年7月,他提出了所謂的「反向資訊悖論」,意指使用AI的企業可能透過與這些系統的互動,洩漏自身的專有知識。

2026年9月14日左右,微軟為其自研MAI模型系列發布了行為準則草案。該文件強調人類監督,並確保人類持續參與AI治理,同時拒絕欺騙性的AI行為。據報導,Nadella在2026年9月中旬的一份備忘錄中建議,應花費必要的時間把安全措施做到位,並警告若未能如此,可能使公司失去「營運許可」。

對微軟以外的影響

微軟一方面希望成為AI能力的領先供應商,另一方面也將自己定位為尊重企業主權的公司——即客戶對自身數據與系統保有控制權的原則。當供應商同時出售使強大代理人得以安全部署的防護機制時,銷售這些代理人就變得更容易。

任何授予AI代理人存取財務系統、客戶數據或內部營運權限的企業,可能都需要重新思考如何監督這些代理人。這可能意味著將執行動作的系統與進行審查的系統分離、記錄推理過程,並引入外部稽核人員。

關鍵問題在於,這些原則能否從演講和草案文件轉化為可執行的實踐。MAI行為準則目前仍是。微軟如何最終定稿,以及客戶是否採納Nadella所描述的行動與驗證分離,將顯示這個產業對自身警告的重視程度。

來源:CryptoBriefing