新聞股票TokenMaxxing:如何充分發揮昂貴AI模型的最大價值

TokenMaxxing:如何充分發揮昂貴AI模型的最大價值

作者: Decrypt·

重點速覽

  • •Anthropic與OpenAI最昂貴的模型每token成本是其最小模型的100倍,但許多使用者不論任務大小都預設使用旗艦模型。
  • •Uber在約四個月內燒完2026年AI工具預算,Meta員工為爭奪名為「Claudeonomics」的內部排行榜名次,在30天內消耗60兆個AI token。
  • •建議的省錢習慣包括依任務難度匹配模型規模、以一個清晰提示詞取代多次修改、快取穩定指令,以及以OpenAI和Anthropic提供的五折優惠批次處理API任務。
  • •Nvidia執行長黃仁勳3月表示,若年薪50萬美元的工程師未燒掉至少25萬美元的token,他會「深感憂慮」,此言論助長了tokenmaxxing趨勢。
  • •token價格自2023年以來下跌超過90%,但大型語言模型支出自2025年底以來翻倍,這是傑文斯悖論的例證;Bain簡報指出,token成本減半的同時消耗量成長450%。
TokenMaxxing:如何充分發揮昂貴AI模型的最大價值

Anthropic與OpenAI最昂貴的模型,每token成本是其產品線中最小模型的100倍,但許多使用者不論任務大小都預設使用旗艦模型。

這種習慣的代價已不再是假設。Meta、Amazon和Uber的用量排行榜推高了AI帳單,Uber在約四個月內就燒完了2026年的AI工具預算。今年稍早,Meta員工為爭奪名為「Claudeonomics」的內部排行榜名次,在30天內消耗了60兆個AI token。科技專欄作家Gergely Orosz以Anthropic牌價估計這筆帳單約為9億美元,不過Meta實際支付的費用可能低得多。

Bain & Company顧問Jue Wang在許多組織都看到這種浪費較不明顯的版本。「太多公司、太多使用者,不論什麼事情都預設用Opus,包括產生電子郵件,」她今年夏天告訴美聯社,指的是Anthropic的高階模型。這樣做就像僱用愛因斯坦在麥當勞幫你算零錢。

你輸入ChatGPT或Claude的每個字——以及模型回覆的每個字——都以token(token)計費,token是平均約為一個單詞四分之三長度的文字片段。在20美元的訂閱方案中,這個計量器決定你多快達到用量上限。在API上——開發者用來將模型接入自己應用的按token付費方式——它決定帳單金額。

Anthropic目前的價目表以每百萬token計費,Haiku的費率僅適用於10萬token以下的提示詞;更長的提示詞費用為五倍。頂級模型的成本是最小模型的100倍,OpenAI的產品線也有同樣的價差,每百萬輸入token從10美元到0.10美元不等。

這些按token計算的價格,對實驗室——及其客戶——都累積得很快。Anthropic的年化營收從2025年底約90億美元攀升至5月的超過470億美元,而OpenAI正價格戰以跟上步伐。

一些習慣能大幅削減這筆支出,以下前五個技巧完全不需要寫程式。

TokenMaxxing的含義(以及它應有的含義)

Tokenmaxxing最初是硅谷式的炫耀,就像Meta的Claudeonomics一樣,Microsoft、Shopify和Amazon也在類似的token排行榜上為員工排名。Nvidia執行長黃仁勳在3月的「All-In」播客上火上澆油,他表示如果一名年薪50萬美元的工程師沒有燒掉至少價值25萬美元的token,他會「深感憂慮」。

而他們確實燒掉了token——往往是在毫無產出的雜務上。在Amazon,員工承認透過在無關任務上執行內部AI工具來灌水數字,直到一位資深副總裁告訴員工:「請不要為了用AI而用AI。」

本指南採用工程師如今推動的含義:最大化每個token的價值,而非花費的數量——IBM將這種做法描述為作為生產力指標的tokenmaxxing。

三個概念解釋了token的去向,首先是代理迴圈。代理是能夠使用工具的模型,它思考、搜尋網路或執行程式碼、閱讀結果,然後再來一輪,直到它判定完成——每一輪都重新發送整段對話。

編排會放大這種成本。一個模型充當管理者,將請求拆分成多個部分,交給稱為子代理的工作模型,再將它們的答案拼接起來。每個工作者都執行自己的迴圈並擁有自己的記憶,這就是為什麼Anthropic表示Claude Code中的代理團隊在隊友以計畫模式執行時,使用的token可能約為標準會話的七倍——此設定將在下方的中階技巧中介紹。

圖(Graphs)是開發者防止這些迴圈偏離方向的方法。像LangGraph這樣的框架讓開發者能像畫地鐵路線圖一樣描繪工作流程:車站(節點)執行工作,軌道(邊)決定下一步去哪裡,使模型遵循固定路線,而不是迴圈運轉到想法或預算耗盡。

迴圈能自動化任務並提高品質,但也會燒錢——因此效率至關重要。

初階:小任務用小模型

**1. 為任務挑選合適的模型。**多數初學者透過圖形介面使用AI。在聊天應用中點擊模型名稱(ChatGPT在對話頂部,Claude或Hermes在發送按鈕旁),為電子郵件、摘要和改寫切換到更小、更快的選項。把頂級模型保留給需要深度推理、且細微錯誤會造成實際損失的決策。用兩個模型並排跑上週的五項任務;如果小模型通過,就留用它。在訂閱方案上,這能延長用量上限;在API上,則可削帳單最多99%。

**2. 寫一個好提示詞,而不是五個爛提示詞。**三輪「不,只要總額」或「改得更好更準確」每次都會重新發送整段對話。一個清晰的提示詞會明確說明任務和答案的確切格式。類似這樣的寫法就有效:

從以下文字中擷取發票號碼、日期、供應商和總額。每個數值保持原樣。每個欄位回傳一行,若欄位不存在則寫「missing」。

OpenAI自己的測試發現,更精簡、更清晰的提示詞得分更高,同時使用的token更少。

**3. 換話題時開新對話。**模型每次發送都會重新閱讀整段對話,因此一個關於度假的50則訊息串,會讓你的稅務問題同時變貴又變笨。Anthropic稱這種衰退為「context rot」(上下文腐壞)。話題一變,就開新對話。

**4. 指定你需要的輸出大小。**在Anthropic和OpenAI的頂級模型上,輸出token的成本是輸入的五倍。在提示詞結尾加上「三個要點,100字以內」或「只列出修改的行」之類的指示,模型就沒有太多空間注水。輸出長度限制能節省token,尤其是寫作或研究等創意型任務,而非寫程式或數學等確定性任務。

**5. 付費前先試免費的。**OpenRouter是一個透過單一帳戶連接數百個AI模型的網站,其免費路由器會將請求發送到約20個免費模型之一。也可以使用LM Studio或Ollama,在具備8GB視訊記憶體的顯示卡或Apple M系列Mac上本地執行模型。免費方案可能一夜消失,所以不要在上面建構任何重要東西,貼上敏感內容前先閱讀資料政策。話雖如此,免費方案是最大化迭代次數的方法:Hermes有豐富的免費模型可供選擇,可能足以勝任你的工作,Nvidia也是如此。用免費但較笨的模型調整提示詞,勝過付費讓高階模型做同樣但更快的事。

其他初階技巧:簡單問題跳過擴展思考,或在無法關閉思考功能的新版Claude模型上調低努力設定——Anthropic將完整的思考過程計為輸出計費,包括使用者看不到的部分。開啟用量點數的Claude Pro和Max訂閱者可在「設定」下的「用量」中設定每月支出上限。

中階:你的代理讀了太多東西

以下範例使用Claude Code——Anthropic在終端機中執行並編輯檔案的代理;指令直接輸入其聊天框。其他框架邏輯類似,如果只用聊天應用,技巧8同樣適用於任何聊天視窗。

**6. 從便宜開始,失敗再升級。**輸入切換模型,保持Sonnet為預設,只有當Sonnet在特定任務上失敗(例如嘗試兩次仍無法修復的錯誤)時才升級到Opus。對簡單的子代理任務,Anthropic文件建議在子代理設定中設定model: haiku。

**7. 任務之間清除上下文。**切換到無關任務時輸入/clear——這不花錢並丟棄舊歷史。只在確實需要歷史時才使用/compact並附註保留內容,例如/compact keep the database decisions,因為壓縮本身就是一個大請求。

**8. 讓程式碼處理無聊的數學。**把5,000列的試算表貼進對話,模型會讀取每一列,而且仍可能數錯;語言模型無論花多少錢都不是計算機。改為請它提供公式或短腳本,自己執行後只把結果交給模型。

**9. 精簡你的工具。**MCP伺服器是將模型連接到GitHub或Google Drive等應用的外掛,每個都會在每次會話中增加工具名稱和指令。輸入/context查看什麼在佔用空間,輸入/mcp停用專案不使用的伺服器。

其他中階技巧:輸入/usage查看token去向;將CLAUDE.md(或Soul.md)——代理在每次會話開始時讀取的指令檔——保持在200行以內。較大的修改可按Shift+Tab切換到計畫模式,代理會在動檔案前提出計畫供你批准,方向一偏就按Esc。用/effort為重新命名變數等簡單任務調低推理。 Anthropic展示過,當代理只載入所需的工具定義時,token用量從15萬降至2,000——這也是GitHub的gh這類命令列工具(執行前不花錢)往往勝過常駐外掛的原因。

進階:將護欄建進系統

假設一位開發者需要處理1,000張各2,000 token的發票,答案各200 token:在使用以下技巧之前,這項工作在Fable 5.1上成本約30美元,在Haiku 5.5上約0.30美元。

**10. 快取不變的部分。**將穩定的指令放在最前,變動的部分放最後,並將穩定區塊標記為可快取。在Anthropic的API中,這只需額外一個欄位:

"system": [{
  "type": "text",
  "text": "Your invoice instructions...",
  "cache_control": {"type": "ephemeral"}
}]

從快取讀取的成本只是正常輸入價格的一小部分,而寫入預設的五分鐘快取則需額外費用。檢查每次回應中的cache_read_input_tokens欄位;如果第一次呼叫後仍顯示為零,快取就沒有生效。

**11. 能等的都批次處理。**OpenAI和Anthropic都以五折處理批次任務,OpenAI承諾24小時內出結果。將1,000張發票作為一個批次檔上傳,而不是進行1,000次即時呼叫,帳單會大幅下降。

**12. 給代理拴上皮帶。**為每次代理執行設定最大步數和美元上限,並在啟動前定義「完成」的標準。Claude Code接受用於腳本執行的--max-budget-usd旗標;Shopify使用斷器,若開發者一天內支出飆升可立即切斷其存取權,專為捕捉失控代理而設計。目前的常態是放飛代理,讓它們迴圈運轉直到結果被認為完美;如果沒有這個預算,就不要讓代理自己決定什麼才算「完美」。

其他進階技巧:將關鍵事實放在長提示詞的開頭或結尾——一項史丹佛主導的研究發現,模型在這些位置對資訊的利用最好,埋在中間時最差。只有當錯誤代價高昂(如合約條款或付款金額)時,才付費讓第二個模型檢查工作。在OpenAI的API上,為每個專案開啟硬性支出上限,因為其支出提醒只會通知你,不會阻止流量。

從一項測試開始

讓透過技巧1五項任務測試的最便宜模型成為一週的預設,只有失敗時才升級。然後將用量頁面與上週比較。在發票處理工作上,僅靠路由就把帳單從30美元降到3.90美元——即使付費讓Opus 5.5重做了300次失敗。

不過,更便宜的token並不能獨力解決問題。根據Silicon Data的Token Expenditure Index,單一token的價格自2023年以來下跌超過90%,但大型語言模型的支出自2025年底以來卻翻倍。經濟學家稱之為傑文斯悖論:一種資源變得太便宜,結果人們總體上反而花得更多。Bain & Company 6月的一份簡報發現了同樣的模式:2024年12月至2025年間token成本減半,但消耗的token數量成長了450%。

好消息是,只要不再為了炫耀而燒token,同樣的價格下跌就會對你有利。結合上述習慣,AI會同時變得更便宜、更好。