По данным анализа Epoch AI от 29 мая, с января 2026 года открытые ИИ-модели отставали от лучших закрытых в среднем на четыре месяца. Все больше из них работают на железе, которое у многих уже есть, а установку упрощают две бесплатные программы — Ollama и LM Studio: небольшим моделям требуется около 8 ГБ видеопамяти или объединенной памяти Mac, а LM Studio может работать полностью автономно.

Крупнейшие открытые модели, такие как 2,4-триллионная по числу параметров Qwen 3.8-Max от Alibaba, далеко выходят за рамки потребительского железа, и закрытые модели победили в 24 из 31 тестов в собственном сравнении Alibaba. Впрочем, для повседневных задач разрыв сократился настолько, что полноценный чат-бот может работать целиком на персональном компьютере — без подписки примерно за 20 долларов в месяц и без передачи переписки на серверы компаний.

«Открытые веса» (open-weight) означают, что компания публикует веса — файлы, содержащие все, чему научилась модель, — так что любой может скачать и запустить их. Загрузки Gemma 4 в библиотеке Ollama составляют от примерно 4,6 ГБ до 20 ГБ. Это руководство объясняет, как скачать и запустить ИИ-модели прямо на своем компьютере, какое железо потребуется и как начать работу с бесплатными инструментами вроде Ollama и LM Studio — будь то экономия денег, конфиденциальность переписки или эксперименты с моделями, которые можно настроить под себя.

Зачем запускать ИИ-модель на собственной машине

Облачный чат-бот отправляет каждый запрос на серверы компании, и суд обязал OpenAI сохранять логи ChatGPT, включая удаленные, как сообщал Decrypt в обзоре ИИ-инструментов с акцентом на приватность. Локальная модель сохраняет переписку на компьютере пользователя, где никто не может воспользоваться ею без разрешения.

Документация LM Studio сообщает, что приложение «может работать полностью автономно, просто сначала загрузите файлы моделей», а документы, прикрепленные к чату, тоже можно использовать полностью офлайн.

Подписки на платные чат-боты стоят около 20 долларов в месяц, тогда как рассматриваемое здесь ПО бесплатно; расходы вместо этого переносятся на железо, которое у пользователя уже может быть.

Лицензии определяют, что можно делать с загруженными весами. Серия R1 от DeepSeek распространяется по лицензии MIT, и ее модельная карточка гласит, что модели «поддерживают коммерческое использование, допускают любые модификации и производные работы», а Gemma 4 от Google и gpt-oss от OpenAI выпускаются под Apache 2.0. Работа с моделями под открытыми лицензиями вроде Apache или MIT означает, что пользователь волен использовать, модифицировать и делать с моделью все что угодно — а также получать улучшенные или измененные версии, лучше подходящие под его нужды. К примеру, тому, кому нужна модель, сильная в медицине, не важно, насколько хорошо она пишет код. Такой уровень персонализации доступен только в кастомизированных моделях.

Что способно работать на вашем железе

Размер моделей измеряется в параметрах — внутренних числах, настраиваемых при обучении, — и объем загрузки растет вместе с ними. Модель должна уместиться в видеопамять видеокарты, известную как VRAM, или в объединенную память Mac, которой пользуются процессор и графический чип.

Как общее правило, разумным минимумом считается 8 ГБ VRAM — в такой объем поместятся сжатые модели меньшего размера. Серьезным пользователям стоит рассмотреть игровую GPU с 24 ГБ VRAM и более — либо с несколькими GPU, либо приобретая специализированные ИИ-стойки или машины с объединенной памятью вроде Mac Mini или Nvidia DGX Spark.

Квантизация уменьшает модель, сохраняя каждый вес меньшим числом бит. Документация Hugging Face описывает это как представление весов и активаций «низкоточные типы данных, например 8-битные целые числа (int8), вместо привычных 32-битных чисел с плавающей запятой (float32)», что снижает расход памяти ценой некоторой точности.

Системные требования LM Studio рекомендуют 16 ГБ оперативной памяти и более на Mac с Apple Silicon под управлением macOS 14 или новее, хотя Mac с 8 ГБ справляются с меньшими моделями. На Windows рекомендуется не менее 16 ГБ ОЗУ и 4 ГБ выделенной VRAM с поддержкой процессором AVX2; Mac на процессорах Intel не поддерживаются.

В библиотеке Ollama Gemma 4 26B занимает от 16 до 19 ГБ, а версия 31B — от 19 до 20 ГБ. OpenAI's gpt-oss-20b требуется всего 16 ГБ памяти, а gpt-oss-120b работает в пределах 80 ГБ, по данным OpenAI.

Как настроить Ollama и LM Studio

LM Studio, вероятно, станет выбором большинства пользователей благодаря аккуратному графическому интерфейсу. Ollama, напротив, ориентирована на разработчиков и более опытных пользователей, предпочитающих работать в терминале (CLI).

Для LM Studio скачайте установщик для своей операционной системы с lmstudio.ai, найдите модель в приложении, скачайте ее веса и откройте чат. Приложение ищет на Hugging Face — публичном хабе, где публикуются открытые модели.

Для Ollama пользователи macOS и Linux устанавливают программу командой curl -fsSL | sh, а пользователи Windows запускают irm | iex в PowerShell — обе команды указаны на странице загрузки Ollama.

Ввод ollama pull gemma4:e2b скачивает модель, а ollama run gemma4:e2b открывает чат; выход осуществляется командой /bye, согласно быстрому старту Ollama. Программа также открывает локальный API по адресу чтобы другие приложения на машине могли использовать модель.

Названия моделей с окончанием «:cloud», например gemma4:cloud, — это облачные модели, которые работают в облаке Ollama и не требуют загрузки — их можно пропустить, если важна приватность. При этом это разумный второй вариант для тех, кому нужны более мощные модели: вызовы и запросы, обрабатываемые через API, не сохраняются на серверах провайдера и не используются для обучения моделей.

Скорость генерации также можно повысить локально. Драфтеры Multi-Token Prediction от Google для Gemma 4, доступные в Ollama под Apache 2.0, ускоряют генерацию до 3 раз с помощью спекулятивного декодирования, при котором небольшая модель предлагает несколько токенов вперед, а большая проверяет их одновременно. Google заявил, что «если целевая модель соглашается с черновиком, она принимает всю последовательность за один прямой проход», и в том же проходе целевая модель добавляет один собственный токен.

Локальные модели также могут получить веб-поиск и доступ к файлам через MCP-серверы — сокращение от Model Context Protocol — и LM Studio добавила поддержку в версии 0.3.17, согласно руководству Decrypt.

Где локальные модели все еще уступают облаку

Среднее отставание в четыре месяца относится к самым способным открытым моделям, а крупнейшие из них далеко выходят за рамки потребительского железа. Qwen3.8-Max от Alibaba насчитывает 2,4 триллиона общих параметров, из которых 95 миллиардов активны в каждый момент времени, — в сравнении с 80 ГБ памяти, в пределах которых работает gpt-oss-120b.

Когда модель не помещается в VRAM и переходит в системную память, ответы могут заметно замедлиться, а большие окна контекста требуют больше памяти. Небольшие модели Gemma 4 предлагают окно контекста в 128K токенов — объем текста, который модель может учитывать одновременно, — а более крупные — 256K. Облачным сервисам не требуется ничего из этого планирования, а стоящие за ними флагманские модели по-прежнему лидируют в самых сложных тестах.

Таким образом, практический выбор — это компромисс между контролем и удобством: локальные инструменты сохраняют переписку на компьютере и позволяют выбирать совместимые или кастомизированные веса, но пользователь должен подбирать модель под доступную память и смириться с тем, что самые способные модели могут требовать облачных сервисов или более мощного железа. Доступ к вебу при офлайн-работе модели также не возникает автоматически; для него нужен MCP-сервер или другой подключенный инструмент.

Тем, кто хочет использовать ИИ приватно, собственный обзор Decrypt рекомендовал «xPrivo с самостоятельно размещенной локальной моделью для повседневного написания текстов, которые не должны покидать вашу машину», и Kagi — «когда нужен веб-поиск и вы готовы принять компромисс с API-вызовами».