根據 Epoch AI 於 5 月 29 日發布的分析，自 2026 年 1 月以來，開放權重 AI 模型平均落後最先進的閉源模型約四個月。其中越來越多模型已能在許多人現有的硬體上運行，兩款免費程式——Ollama 和 LM Studio——負責處理安裝設定：小型模型約需 8GB 的 VRAM 或 Mac 統一記憶體，且 LM Studio 可完全離線運作。

最大的開放模型，例如阿里巴巴擁有 2.4 兆參數的 Qwen 3.8-Max，遠遠超出消費級硬體的負荷範圍，而且在阿里巴巴自己的比較測試中，閉源模型在 31 項測試中贏得 24 項。不過，就日常任務而言，差距已縮小到功能完善的聊天機器人可以完全在個人電腦上運行——既不用支付每月約 20 美元的訂閱費，也不必將對話傳送到企業的伺服器。

「開放權重」是指公司公開發布權重——即保存模型所學一切內容的檔案——因此任何人都可以下載並執行它們。Ollama 模型庫中的 Gemma 4 下載檔案大小約從 4.6GB 到 20GB 不等。本指南說明如何直接在電腦上下載並執行 AI 模型、需要什麼樣的硬體，以及如何使用 Ollama 和 LM Studio 等免費工具入門——無論目標是省錢、保持對話私密，或是嘗試可以自行客製化的模型。

為什麼要在自己的機器上執行 AI 模型

雲端聊天機器人會將每個提示詞傳送到企業的伺服器，而據 Decrypt 在一份聚焦隱私的 AI 工具評測中報導，法院曾命令 OpenAI 保存 ChatGPT 的日誌，包括已刪除的紀錄。本機模型則將對話保留在使用者的電腦上，未經許可任何人都無法使用。

LM Studio 的文件指出，該應用程式「可以完全離線運作，只需先取得一些模型檔案」，而且附加到聊天中的文件也可以完全離線使用。

付費聊天機器人的訂閱費用約為每月 20 美元，而本文介紹的軟體皆為免費；成本轉移到使用者可能已經擁有的硬體上。

授權條款決定了下載的權重可以做什麼。DeepSeek 的 R1 系列採用 MIT 授權，其模型卡說明這些模型「支援商業使用，允許任何修改和衍生作品」，而Google 的 Gemma 4 和 OpenAI 的 gpt-oss 則以 Apache 2.0 授權發布。在 Apache 或 MIT 等開源授權下執行模型，意味著使用者可以自由使用、修改模型，並對模型做任何想做的事——還能取得更符合自身需求的改良或修改版本。例如，需要擅長醫學領域模型的人，無需在意它的程式編寫能力。這種程度的個人化只有客製化模型才能提供。

你的硬體實際上能執行什麼

模型以參數衡量大小——參數是訓練過程中調整的內部數值——下載檔案大小也隨之增長。模型必須能放進顯示卡的視訊記憶體（即 VRAM），或 Mac 的統一記憶體（由處理器和圖形晶片共用）。

一般而言，至少 8GB 的 VRAM 是合理的基準，壓縮到更小尺寸的模型也能放得下。進階使用者則應考慮配備 24GB 或更多 VRAM 的遊戲顯示卡——無論是堆疊多張顯示卡，或是購買專用 AI 機架或統一記憶體機器，如 Mac Mini 或 Nvidia DGX Spark。

量化透過以更少的位元儲存每個權重來縮小模型。Hugging Face 的文件將其描述為以「低精度資料類型（如 8 位元整數 int8）而非常用的 32 位元浮點數 float32」來表示權重和激活值，這會以犧牲部分準確度為代價來減少記憶體使用。

LM Studio 的系統需求建議執行 macOS 14 或更新版本的 Apple Silicon Mac 配備 16GB 或更多 RAM，不過 8GB 的 Mac 可以處理較小的模型。在 Windows 上，它建議至少 16GB 的 RAM 和 4GB 的專用 VRAM，並支援 AVX2 處理器；不支援 Intel 晶片的 Mac。

Ollama 的模型庫列出 Gemma 4 26B 為 16 至 19GB，31B 版本為 19 至 20GB。據 OpenAI 所述，OpenAI 的 gpt-oss-20b 只需 16GB 記憶體，而 gpt-oss-120b 可在 80GB 記憶體內運行。

如何設定 Ollama 和 LM Studio

對大多數使用者而言，LM Studio 可能是首選，因為它提供了精緻的圖形使用者介面。相比之下，Ollama 針對的是偏好終端機（CLI）操作的開發人員和較有經驗的使用者。

使用 LM Studio 時，請從 lmstudio.ai 下載適用於你作業系統的安裝程式，在應用程式內搜尋模型，下載其權重並開啟聊天。該應用程式會搜尋 Hugging Face——發布開放模型的公共平台。

使用 Ollama 時，macOS 和 Linux 使用者以指令 curl -fsSL | sh 安裝，Windows 使用者在 PowerShell 中執行 irm | iex——兩者都列在 Ollama 的下載頁面上。

輸入 ollama pull gemma4:e2b 可下載模型，ollama run gemma4:e2b 則開啟聊天；輸入 /bye 退出，詳見 Ollama 的快速入門。該程式還會在 開啟本機 API，讓機器上的其他應用程式可以使用該模型。

以「:cloud」結尾的模型名稱，例如 gemma4:cloud，是在 Ollama 雲端中運行、無需下載的雲端模型——如果重視隱私，可以跳過這些模型。話雖如此，對於需要更強大模型的人來說，它們是合理的第二選擇：透過 API 處理的呼叫和提示詞不會儲存在供應商的伺服器上，也不會用於訓練模型。

生成速度也可以在本機提升。Google 為 Gemma 4 推出的 Multi-Token Prediction 起草器（在 Ollama 上以 Apache 2.0 授權提供），透過投機解碼（speculative decoding）將生成速度提升至多達 3 倍——由小模型提前提出數個 token，再由大模型一併驗證。Google 表示，「如果目標模型認可草稿，它會在一次前向傳遞中接受整個序列」，且目標模型會在同一傳遞中額外加入一個自己的 token。

本機模型還可以透過 MCP 伺服器（Model Context Protocol，模型上下文協定的縮寫）獲得網路搜尋和檔案存取能力，根據 Decrypt 的指南，LM Studio 在 0.3.17 版中加入了此支援。

本機模型在哪些方面仍敵不過雲端

四個月的平均差距描述的是最強大的開放模型，而最大的模型遠超消費級硬體的負荷。阿里巴巴的 Qwen3.8-Max 擁有 2.4 兆總參數，任何時刻有 950 億個處於活躍狀態，相比之下 gpt-oss-120b 可在 80GB 記憶體內運行。

當模型溢出 VRAM 進入系統 RAM 時，回應速度可能會明顯變慢，而更大的上下文視窗需要更多記憶體。Gemma 4 的小型模型提供 128K token 的上下文視窗——即模型一次能考量的文字量——較大的模型則提供 256K。雲端服務完全不需要這些規劃，其背後的前沿模型在最困難的測試中依然領先。

因此，實際的選擇是控制與便利之間的權衡：本機工具將對話保留在電腦上，並讓使用者可以選擇相容或客製化的權重，但使用者必須將模型與可用記憶體相匹配，並接受最強大的模型可能需要雲端服務或更強大的硬體。此外，模型離線時也無法自動進行網路存取；這需要 MCP 伺服器或其他連線工具。

對於想要私密使用 AI 的人，Decrypt 自己的評測建議「使用 xPrivo 搭配自架本機模型來處理絕不能離開電腦的日常起草工作」，而需要「網路檢索並接受 API 呼叫的權衡」時則選擇 Kagi。