Según el análisis del 29 de mayo de Epoch AI, los modelos de IA de pesos abiertos han ido por detrás de los mejores modelos cerrados por un promedio de cuatro meses desde enero de 2026. Un número creciente de ellos ahora funciona en hardware que muchas personas ya poseen, y dos programas gratuitos —Ollama y LM Studio— se encargan de la configuración: los modelos pequeños necesitan alrededor de 8GB de VRAM o memoria unificada de Mac, y LM Studio puede operar completamente sin conexión.

Los modelos abiertos más grandes, como Qwen 3.8-Max de Alibaba con 2.4 billones de parámetros, están muy por encima del hardware de consumo, y los modelos cerrados ganaron 24 de 31 pruebas en la comparación de la propia Alibaba. Sin embargo, para las tareas cotidianas, la brecha se ha reducido lo suficiente como para que un chatbot capaz funcione por completo en una computadora personal, sin la suscripción de unos 20 dólares mensuales y sin enviar las conversaciones a los servidores de una empresa.

"Pesos abiertos" significa que la empresa publica los pesos —los archivos que contienen todo lo que el modelo aprendió— para que cualquier persona pueda descargarlos y ejecutarlos. Las descargas de Gemma 4 en la biblioteca de Ollama van de unos 4.6GB a 20GB. Esta guía explica cómo descargar y ejecutar modelos de IA directamente en tu computadora, qué tipo de hardware se necesita y cómo comenzar con herramientas gratuitas como Ollama y LM Studio, ya sea para ahorrar dinero, mantener las conversaciones privadas o experimentar con modelos que puedes personalizar.

Por qué ejecutar un modelo de IA en tu propia máquina

Un chatbot en la nube envía cada mensaje a los servidores de una empresa, y un tribunal ordenó a OpenAI conservar los registros de ChatGPT, incluidos los eliminados, según informó Decrypt en una revisión de herramientas de IA enfocadas en la privacidad. Un modelo local mantiene la conversación en la computadora del usuario, donde nadie puede usarla sin permiso.

La documentación de LM Studio indica que la aplicación "puede operar completamente sin conexión, solo asegúrate de obtener primero algunos archivos de modelo", y que los documentos adjuntos a un chat también pueden usarse completamente sin conexión.

Las suscripciones a chatbots de pago cuestan alrededor de 20 dólares al mes, mientras que el software descrito aquí es gratuito; el costo se traslada al hardware que el usuario quizás ya posee.

Las licencias deciden qué se puede hacer con los pesos descargados. La serie R1 de DeepSeek está bajo la Licencia MIT, y su tarjeta de modelo dice que los modelos "son compatibles con el uso comercial, permiten cualquier modificación y obras derivadas", mientras que Gemma 4 de Google y gpt-oss de OpenAI se distribuyen bajo Apache 2.0. Ejecutar modelos bajo licencias de código abierto como Apache o MIT significa que los usuarios pueden usar, modificar y hacer lo que quieran con un modelo, así como acceder a versiones mejoradas o modificadas que se ajusten mejor a sus necesidades. Alguien que necesita un modelo bueno en medicina, por ejemplo, no tiene que preocuparse por qué tan bien programa. Ese nivel de personalización solo está disponible en modelos personalizados.

Lo que tu hardware puede ejecutar realmente

Los modelos se miden en parámetros —los números internos que se ajustan durante el entrenamiento— y la descarga crece con ellos. El modelo debe caber en la memoria de video de la tarjeta gráfica, conocida como VRAM, o en la memoria unificada de una Mac, que comparten el procesador y el chip gráfico.

Como regla general, al menos 8GB de VRAM es una base razonable, y los modelos comprimidos a tamaños más pequeños cabrán. Los usuarios exigentes deberían considerar una GPU de gaming con 24GB de VRAM o más, ya sea apilando varias GPUs o comprando racks de IA dedicados o máquinas con memoria unificada como la Mac Mini o la Nvidia DGX Spark.

La cuantización reduce un modelo al almacenar cada peso con menos bits. La documentación de Hugging Face la describe como representar pesos y activaciones "con tipos de datos de baja precisión como enteros de 8 bits (int8) en lugar del habitual punto flotante de 32 bits (float32)", lo que reduce el uso de memoria a costa de cierta precisión.

Los requisitos del sistema de LM Studio recomiendan 16GB o más de RAM en Macs con Apple Silicon que ejecuten macOS 14 o más reciente, aunque las Macs de 8GB pueden manejar modelos más pequeños. En Windows recomienda al menos 16GB de RAM y 4GB de VRAM dedicada, con soporte de procesador AVX2; las Macs basadas en Intel no son compatibles.

La biblioteca de Ollama lista Gemma 4 26B en 16 a 19GB y la versión 31B en 19 a 20GB. gpt-oss-20b de OpenAI solo necesita 16GB de memoria, y gpt-oss-120b funciona dentro de 80GB, según OpenAI.

Cómo configurar Ollama y LM Studio

LM Studio probablemente sea la opción preferida para la mayoría de los usuarios porque ofrece una interfaz gráfica pulida. Ollama, en cambio, está dirigido a desarrolladores y usuarios más experimentados que prefieren trabajar en una terminal (CLI).

Para LM Studio, descarga el instalador para tu sistema operativo desde lmstudio.ai, busca un modelo dentro de la aplicación, descarga sus pesos y abre un chat. La aplicación busca en Hugging Face, el centro público donde se publican los modelos abiertos.

Para Ollama, los usuarios de macOS y Linux instalan con el comando curl -fsSL | sh, y los usuarios de Windows ejecutan irm | iex en PowerShell; ambos están listados en la página de descarga de Ollama.

Escribir ollama pull gemma4:e2b descarga un modelo, y ollama run gemma4:e2b abre un chat; /bye sale, según la guía de inicio rápido de Ollama. El programa también abre una API local en para que otras aplicaciones de la máquina puedan usar el modelo.

Los nombres de modelos que terminan en ":cloud", como gemma4:cloud, son modelos en la nube que se ejecutan en la nube de Ollama y no requieren descarga, por lo que pueden omitirse si la privacidad es la prioridad. Dicho esto, son una segunda opción razonable para quienes necesitan modelos más potentes: las llamadas y los mensajes manejados por la API no se almacenan en los servidores del proveedor y no se usan para entrenar modelos.

La velocidad de generación también puede mejorarse localmente. Los redactores de Multi-Token Prediction de Google para Gemma 4, disponibles en Ollama bajo Apache 2.0, aceleran la generación hasta 3 veces mediante decodificación especulativa, en la que un modelo pequeño propone varios tokens por adelantado y el grande los verifica juntos. Google dijo que "si el modelo objetivo está de acuerdo con el borrador, acepta toda la secuencia en una sola pasada hacia adelante", y el modelo objetivo agrega un token adicional propio en esa misma pasada.

Los modelos locales también pueden obtener búsqueda web y acceso a archivos mediante servidores MCP —siglas de Model Context Protocol— y LM Studio agregó soporte en la versión 0.3.17, según la guía de Decrypt.

Dónde los modelos locales aún pierden frente a la nube

El promedio de cuatro meses describe a los modelos abiertos más capaces, y los más grandes están muy lejos del hardware de consumo. Qwen3.8-Max de Alibaba tiene 2.4 billones de parámetros en total, con 95 mil millones activos en un momento dado, en comparación con los 80GB de memoria dentro de los que funciona gpt-oss-120b.

Cuando un modelo se desborda de la VRAM a la RAM del sistema, las respuestas pueden volverse considerablemente más lentas, y las ventanas de contexto más grandes requieren más memoria. Los modelos pequeños de Gemma 4 ofrecen una ventana de contexto de 128K tokens —la cantidad de texto que un modelo puede considerar a la vez— mientras que los más grandes ofrecen 256K. Los servicios en la nube no requieren esa planificación, y los modelos frontera que los respaldan todavía lideran en las pruebas más difíciles.

La elección práctica es, por lo tanto, un equilibrio entre control y conveniencia: las herramientas locales mantienen las conversaciones en la computadora y permiten a los usuarios elegir pesos compatibles o personalizados, pero deben hacer coincidir el modelo con la memoria disponible y aceptar que los modelos más capaces pueden requerir servicios en la nube o hardware más potente. El acceso web tampoco es automático cuando un modelo está sin conexión; requiere un servidor MCP u otra herramienta conectada.

Para quienes quieran usar IA de forma privada, la propia revisión de Decrypt recomendó "xPrivo con un modelo local autoalojado para la redacción diaria que no debe salir de tu máquina", y Kagi "cuando necesitas recuperación web y aceptas el compromiso de la llamada a la API".