根据Epoch AI于5月29日发布的分析，自2026年1月以来，开放权重AI模型与最优秀的闭源模型平均仅相差约四个月。其中越来越多的模型已经能够在许多人现有的硬件上运行，两个免费程序——Ollama和LM Studio——可以完成安装配置：小型模型大约需要8GB显存或Mac统一内存，而且LM Studio可以完全离线运行。

最大的开放模型，例如阿里巴巴2.4万亿参数的Qwen 3.8-Max，远超消费级硬件的能力范围，而且在阿里巴巴自己的对比测试中，闭源模型赢得了31项测试中的24项。不过对于日常任务来说，差距已经缩小到足以让一个功能强大的聊天机器人在个人电脑上完整运行——既无需每月约20美元的订阅费，也不必将对话发送到公司的服务器上。

"开放权重"意味着公司公开发布模型的权重——即保存模型所学全部内容的文件——因此任何人都可以下载并运行它们。Ollama库中的Gemma 4下载大小约为4.6GB至20GB。本指南将说明如何在你的电脑上直接下载和运行AI模型、需要什么样的硬件，以及如何使用Ollama和LM Studio等免费工具入门——无论你的目标是省钱、保护对话隐私，还是试用可以自行定制的模型。

为什么要在自己的机器上运行AI模型

云端聊天机器人会将每一条提示词发送到公司的服务器，而Decrypt在一篇聚焦隐私的AI工具评测中报道称，法院已要求OpenAI保留ChatGPT日志，包括已删除的记录。本地模型则将对话保存在用户自己的电脑上，未经许可任何人都无法使用。

LM Studio的文档称，该应用"可以完全离线运行，只需先获取一些模型文件"，并且聊天中附加的文档也可以完全离线使用。

付费聊天机器人的订阅费用约为每月20美元，而这里介绍的软件是免费的；成本转移到了用户可能已经拥有的硬件上。

许可证决定了你能对下载的权重做什么。DeepSeek的R1系列采用MIT许可证，其模型卡称这些模型"支持商业用途，允许任何修改和衍生作品"，而谷歌的Gemma 4和OpenAI的gpt-oss则以Apache 2.0许可证发布。在Apache或MIT等开源许可证下运行模型，意味着用户可以自由使用、修改模型，并对其做任何想做的事——还可以获取更符合自身需求的改进版或修改版。例如，需要擅长医学的模型的人，就不必在意它的编程能力有多好。这种程度的个性化只有定制模型才能提供。

你的硬件究竟能运行什么

模型以参数——即训练过程中调整的内部数值——来衡量大小，下载文件也随之增大。模型必须装进显卡的显存（即VRAM）中，或装进处理器与图形芯片共享的Mac统一内存中。

一般来说，至少8GB的VRAM是合理的基线，压缩到更小体积的模型也能装下。认真使用的用户应考虑购买24GB或更多VRAM的游戏GPU——要么堆叠多块GPU，要么购买专用AI机架或Mac Mini、Nvidia DGX Spark等统一内存机器。

量化通过用更少的比特存储每个权重来缩小模型。Hugging Face的文档将其描述为"用低精度数据类型（如8位整数int8）代替通常的32位浮点数（float32）"来表示权重和激活值，这会削减内存占用，但会牺牲一些精度。

LM Studio的系统要求建议运行macOS 14或更新版本的Apple Silicon Mac配备16GB或更多内存，不过8GB内存的Mac可以运行较小的模型。在Windows上，它建议至少16GB内存和4GB独立显存，并需支持AVX2指令集的处理器；不支持基于Intel的Mac。

Ollama的库列出Gemma 4 26B大小为16至19GB，31B版本为19至20GB。据OpenAI介绍，gpt-oss-20b仅需16GB内存，gpt-oss-120b则可在80GB内存内运行。

如何设置Ollama和LM Studio

对大多数用户来说，LM Studio可能是首选，因为它提供了精美的图形用户界面。相比之下，Ollama面向的是喜欢在终端（CLI）中工作的开发者和更有经验的用户。

对于LM Studio，从lmstudio.ai下载适合你操作系统的安装程序，在应用内搜索模型，下载其权重并打开聊天。该应用会搜索Hugging Face——发布开放模型的公共平台。

对于Ollama，macOS和Linux用户使用命令 curl -fsSL | sh 安装，Windows用户在PowerShell中运行 irm | iex——两者均列在Ollama的下载页面上。

输入 ollama pull gemma4:e2b 可下载模型，ollama run gemma4:e2b 可打开聊天；按Ollama的快速入门指南，/bye 可退出。该程序还会在 开启一个本地API，因此机器上的其他应用可以使用该模型。

以":cloud"结尾的模型名称（例如gemma4:cloud）是在Ollama云端运行的云模型，无需下载——如果重视隐私，可以跳过它们。不过，对于需要更强大模型的用户来说，这是合理的第二选择：通过API处理的调用和提示词不会存储在提供商的服务器上，也不会用于训练模型。

生成速度也可以在本地提升。谷歌为Gemma 4推出的Multi-Token Prediction起草模型（可在Ollama上以Apache 2.0许可证获取）使用推测解码将生成速度提升至最高3倍——由一个小模型提前提出若干token，再由大模型一次性共同校验。谷歌表示，"如果目标模型认可草稿，它会在一次前向传播中接受整个序列"，并且目标模型会在同一次传播中额外添加一个自己的token。

本地模型还可以通过MCP服务器（Model Context Protocol，模型上下文协议的缩写）获得网页搜索和文件访问能力，据Decrypt指南介绍，LM Studio已在0.3.17版本中加入支持。

本地模型在哪些方面仍不及云端

四个月的平均差距描述的是能力最强的开放模型，而最大的模型远远超出消费级硬件。阿里巴巴的Qwen3.8-Max总参数量达2.4万亿，任意时刻激活的参数为950亿，而gpt-oss-120b可在80GB内存内运行。

当模型从显存溢出到系统内存时，响应速度可能会大幅变慢，而更大的上下文窗口也需要更多内存。Gemma 4的小型模型提供128K token的上下文窗口——即模型一次能处理的文本量——较大的模型则提供256K。云服务完全不需要这些规划，其背后的前沿模型在最难的测试中依然领先。

因此，实际的选择是控制与便利之间的权衡：本地工具将对话保留在电脑上，并允许用户选择兼容或定制的权重，但用户必须让模型与可用内存相匹配，并接受最有能力的模型可能需要云服务或更强硬件这一事实。模型离线时，网页访问也不是自动具备的；它需要MCP服务器或其他联网工具。

对于希望私密使用AI的用户，Decrypt自己的评测推荐"使用自托管本地模型的xPrivo来处理绝不能离开你机器的日常起草工作"，以及在你"需要网页检索并能接受API调用的取舍"时选择Kagi。