Meta推出了Muse Glimmer，这是一个拥有300亿参数的人工智能模型，专为在消费级电脑上本地运行而构建。该模型的权重已根据Apache 2.0许可证发布，使开发者可以自由下载、修改和部署。Muse Glimmer是Meta超级智能实验室发布的首个开源权重模型，延续了公司通过Llama模型系列推行的开源AI系统战略。这种开源权重方式与OpenAI和Google等公司提供的完全专有模型形成对比，使开发者能够完全了解模型内部结构，并能够针对特定用例进行微调，而无需依赖托管的API。

功能与架构

Muse Glimmer专为能够执行多步骤任务的AI智能体而设计，无需用户持续监督。该模型可以规划工作流程、调用外部工具、验证中间结果，并从失败的步骤中自主恢复。这使得Glimmer处于行业向智能体AI发展的趋势之中——这类模型不仅用于生成文本，还能代表用户采取行动——Anthropic和Google等公司也在这方面进行了大量投入。

据Meta介绍，该模型可在配备24GB或32GB内存的设备上运行。兼容的硬件包括搭载M4或M5芯片的Mac，以及配备单个消费级GPU（如NVIDIA RTX 5090或AMD Radeon AI PRO）的系统。推理过程不需要互联网连接，这意味着用户数据在处理过程中保留在设备上——随着企业和监管机构日益审视信息如何流向云端AI服务，这一点变得愈发重要。

该模型支持文本和图像处理，并已在涵盖超过100种语言的数据集上进行了训练。

训练与优化

Meta使用源自其更大的Muse Spark模型的蒸馏过程来训练Glimmer，并辅以针对推理、编码和智能体任务的定向训练。蒸馏——即将较大模型的能力迁移到更小、更高效的模型中——已成为一种广泛使用的技术，用于在保持强大性能的同时，使模型适应消费级硬件的内存和计算限制。该公司发布了该模型的全精度和4位版本，以及推理代码和旨在加速文本生成的DFlash推测解码系统。

Meta报告称，与标准生成性能相比，DFlash在NVIDIA RTX 5090上将Glimmer的生成速度提高了3.1倍，在M5 Max上提高了1.8倍，在M4 Max上提高了1.5倍。

可用性与合作伙伴

Muse Glimmer可通过Hugging Face获取，对Ollama、LM Studio、llama.cpp和MLX等工具的支持正在陆续推出。这些是最广泛使用的本地运行大型语言模型的开源框架之一，其集成意味着开发者可以将Glimmer纳入现有工作流程，而无需使用专有软件。Meta表示，公司正在与AMD、Arm、Dell、Intel和NVIDIA等合作伙伴协作，以优化跨硬件平台的性能。

该公司指出，开发者可以利用该模型进行本地编码、工具调用、文件管理和其他智能体应用。预计Meta还将在未来几周内发布Muse Spark 1.2的权重，这是其领先的基础模型之一，这将使开源社区能够获得一个更大、更强能力的模型，以进行比较和进一步开发。

来源：TechNext24

主要参考：Meta Research – Introducing Muse Glimmer