Open-weight AI-modellen lopen sinds januari 2026 gemiddeld vier maanden achter op de beste gesloten modellen, volgens de analyse van Epoch AI van 29 mei. Een groeiend aantal ervan draait nu op hardware die veel mensen al bezitten, en twee gratis programma's—Ollama en LM Studio—regelen de installatie: kleine modellen hebben ongeveer 8GB VRAM of Mac unified memory nodig, en LM Studio kan volledig offline werken.

De grootste open modellen, zoals Alibaba's Qwen 3.8-Max met 2,4 biljoen parameters, reiken ver voorbij consumenthardware, en gesloten modellen wonnen 24 van de 31 tests in Alibaba's eigen vergelijking. Voor alledaagse taken is de kloof echter zodanig gesloten dat een capabele chatbot volledig op een personal computer kan draaien—zonder het maandelijkse abonnement van circa $20 en zonder gesprekken naar servers van een bedrijf te sturen.

"Open-weight" betekent dat het bedrijf de weights publiceert—de bestanden die alles bevatten wat het model heeft geleerd—zodat iedereen ze kan downloaden en draaien. Gemma 4-downloads in Ollama's bibliotheek variëren van ongeveer 4,6GB tot 20GB. Deze gids legt uit hoe je AI-modellen rechtstreeks op je computer downloadt en draait, welke hardware nodig is en hoe je aan de slag gaat met gratis tools zoals Ollama en LM Studio—of het doel nu geld besparen is, gesprekken privé houden, of experimenteren met modellen die je zelf kunt aanpassen.

Waarom je een AI-model op je eigen machine draait

Een cloud-chatbot stuurt elke prompt naar de servers van een bedrijf, en een rechtbank beval OpenAI om ChatGPT-logs te bewaren, inclusief verwijderde logs, zoals Decrypt rapporteerde in een overzicht van privacygerichte AI-tools. Een lokaal model houdt het gesprek op de computer van de gebruiker, waar niemand het zonder toestemming kan gebruiken.

De documentatie van LM Studio stelt dat de app "volledig offline kan werken, zorg er alleen voor dat je eerst wat modellbestanden ophaalt," en dat documenten die aan een chat zijn toegevoegd ook volledig offline kunnen worden gebruikt.

Abonnementen op betaalde chatbots kosten ongeveer $20 per maand, terwijl de software die hier wordt behandeld gratis is; de kosten verschuiven in plaats daarvan naar hardware die de gebruiker wellicht al bezit.

Licenties bepalen wat er met gedownloade weights kan worden gedaan. DeepSeek's R1-serie valt onder de MIT-licentie, en de modelkaart stelt dat de modellen "commercieel gebruik ondersteunen en elke wijziging en afgeleide creatie toestaan," terwijl Google's Gemma 4 en OpenAI's gpt-oss onder Apache 2.0 worden uitgebracht. Het draaien van modellen onder open-sourcelicenties zoals Apache of MIT betekent dat gebruikers vrij zijn een model te gebruiken, aan te passen en ermee te doen wat ze willen—en dat ze toegang hebben tot verbeterde of aangepaste versies die beter bij hun behoeften passen. Iemand die bijvoorbeeld een model nodig heeft dat goed is in geneeskunde, hoeft niet te letten op hoe goed het codeert. Dat niveau van personalisatie is alleen beschikbaar in aangepaste modellen.

Wat je hardware feitelijk kan draaien

Modellen worden gemeten in parameters—de interne getallen die tijdens training worden aangepast—en de download groeit ermee mee. Het model moet passen in het videogeheugen van een grafische kaart, bekend als VRAM, of in het unified memory van een Mac, dat de processor en grafische chip delen.

Als vuistregel geldt dat minimaal 8GB VRAM een verstandig uitgangspunt is, en modellen die naar kleinere formaten zijn gecomprimeerd passen dan. Serieuze gebruikers moeten een gaming-GPU met 24GB VRAM of meer overwegen—hetzij door meerdere GPU's te stapelen, hetzij door speciale AI-racks of unified-memory-machines te kopen zoals de Mac Mini of de Nvidia DGX Spark.

Kwantisering verkleint een model door elke weight met minder bits op te slaan. De documentatie van Hugging Face omschrijft het als het representeren van weights en activaties "met datatype's met lage precisie zoals 8-bit integer (int8) in plaats van de gebruikelijke 32-bit floating point (float32)," wat geheugengebruik verlaagt ten koste van enige nauwkeurigheid.

De systeemvereisten van LM Studio adviseren 16GB RAM of meer op Apple Silicon Macs met macOS 14 of nieuwer, alhoewel 8GB-Macs kleinere modellen aankunnen. Op Windows wordt minimaal 16GB RAM en 4GB dedicated VRAM aanbevolen, met AVX2-processorsupport; Intel-gebaseerde Macs worden niet ondersteund.

Ollama's bibliotheek vermeldt Gemma 4 26B op 16 tot 19GB en de 31B-versie op 19 tot 20GB. OpenAI's gpt-oss-20b heeft slechts 16GB geheugen nodig, en gpt-oss-120b draait binnen 80GB, volgens OpenAI.

Hoe je Ollama en LM Studio installeert

LM Studio is waarschijnlijk de meest logische keuze voor de meeste gebruikers, omdat het een gepolijste grafische gebruikersinterface biedt. Ollama daarentegen is gericht op ontwikkelaars en meer ervaren gebruikers die liever in een terminal (CLI) werken.

Voor LM Studio: download het installatieprogramma voor je besturingssysteem van lmstudio.ai, zoek een model in de app, download de weights en open een chat. De app doorzoekt Hugging Face, de publieke hub waar open modellen worden gepubliceerd.

Voor Ollama installeren macOS- en Linux-gebruikers met het commando curl -fsSL | sh, en Windows-gebruikers draaien irm | iex in PowerShell—beide staan vermeld op Ollama's downloadpagina.

Het typen van ollama pull gemma4:e2b downloadt een model, en ollama run gemma4:e2b opent een chat; /bye sluit af, volgens Ollama's quickstart. Het programma opent ook een lokale API op zodat andere apps op de machine het model kunnen gebruiken.

Modelnamen die eindigen op ":cloud," zoals gemma4:cloud, zijn cloudmodellen die in Ollama's cloud draaien en geen download vereisen—deze kunnen worden overgeslagen als privacy het doel is. Dat gezegd hebbende, zijn ze een redelijk tweede optie voor wie krachtigere modellen nodig heeft: calls en prompts die via de API verlopen worden niet opgeslagen op de servers van de provider en worden niet gebruikt om modellen te trainen.

De generatiesnelheid kan ook lokaal worden verbeterd. Google's Multi-Token Prediction-drafters voor Gemma 4, beschikbaar op Ollama onder Apache 2.0, versnellen generatie tot 3x via speculative decoding, waarbij een klein model meerdere tokens vooruit voorstelt en het grote model ze in één keer controleert. Google zei dat "als het doelmodel het met het ontwerp eens is, het de volledige sequentie accepteert in een enkele forward pass," en het doelmodel in diezelfde pass één extra token van zichzelf toevoegt.

Lokale modellen kunnen ook webzoekopdrachten en bestandstoegang krijgen via MCP-servers—kort voor Model Context Protocol—en LM Studio voegde ondersteuning toe in versie 0.3.17, volgens de Decrypt-gids.

Waar lokale modellen nog verliezen van de cloud

Het gemiddelde van vier maanden beschrijft de meest capabele open modellen, en de grootste reiken ver voorbij consumenthardware. Alibaba's Qwen3.8-Max heeft in totaal 2,4 biljoen parameters, met 95 miljard actief op elk gegeven moment, vergeleken met de 80GB geheugen waarbinnen gpt-oss-120b draait.

Wanneer een model uit de VRAM naar het systeemgeheugen overloopt, kunnen reacties aanzienlijk trager worden, en grotere contextvensters vereisen meer geheugen. Gemma 4's kleine modellen bieden een contextvenster van 128K tokens—de hoeveelheid tekst die een model tegelijk kan overwegen—terwijl de grotere 256K bieden. Clouddiensten vereisen geen van die planning, en de frontiermodellen erachter scoren nog steeds het best op de zwaarste tests.

De praktische keuze is daarom een afweging tussen controle en gemak: lokale tools houden gesprekken op de computer en laten gebruikers compatibele of aangepaste weights kiezen, maar gebruikers moeten het model afstemmen op het beschikbare geheugen en accepteren dat de meest capabele modellen mogelijk clouddiensten of krachtigere hardware vereisen. Webtoegang is ook niet automatisch wanneer een model offline is; dit vereist een MCP-server of een andere verbonden tool.

Voor wie AI privé wil gebruiken, adviseerde Decrypt's eigen overzicht "xPrivo met een zelf gehost lokaal model voor dagelijks schrijfwerk dat je machine niet mag verlaten," en Kagi "als je webopslag nodig hebt en de API-call-afweging accepteert."