Open-Weight-KI-Modelle liegen seit Januar 2026 im Durchschnitt nur noch etwa vier Monate hinter den besten geschlossenen Modellen zurück, wie eine Analyse von Epoch AI vom 29. Mai zeigt. Eine wachsende Zahl von ihnen läuft inzwischen auf Hardware, die viele bereits besitzen, und zwei kostenlose Programme – Ollama und LM Studio – übernehmen die Einrichtung: Kleine Modelle benötigen rund 8GB VRAM oder einheitlichen Mac-Speicher, und LM Studio kann vollständig offline betrieben werden.

Die größten offenen Modelle, wie Alibabas Qwen 3.8-Max mit 2,4 Billionen Parametern, übersteigen Consumer-Hardware bei Weitem, und geschlossene Modelle gewannen 24 von 31 Tests in Alibabas eigenem Vergleich. Für alltägliche Aufgaben hat sich die Lücke jedoch so weit verkleinert, dass ein leistungsfähiger Chatbot vollständig auf einem privaten Computer laufen kann – ohne das monatliche Abo von rund 20 Dollar und ohne Übermittlung der Unterhaltungen an Firmenserver.

„Open-Weight“ bedeutet, dass das Unternehmen die Gewichte veröffentlicht – die Dateien, die alles enthalten, was das Modell gelernt hat –, sodass sie jeder herunterladen und ausführen kann. Gemma-4-Downloads in Ollamas Bibliothek liegen zwischen etwa 4,6GB und 20GB. Dieser Leitfaden erklärt, wie man KI-Modelle direkt auf dem eigenen Computer herunterlädt und ausführt, welche Hardware erforderlich ist und wie man mit kostenlosen Tools wie Ollama und LM Studio startet – egal ob das Ziel darin besteht, Geld zu sparen, Unterhaltungen privat zu halten oder mit anpassbaren Modellen zu experimentieren.

Warum man ein KI-Modell auf dem eigenen Rechner ausführt

Ein Cloud-Chatbot sendet jede Eingabe an die Server eines Unternehmens, und ein Gericht ordnete an, dass OpenAI ChatGPT-Protokolle aufbewahren muss, einschließlich gelöschter, wie Decrypt in einem Überblick über datenschutzfreundliche KI-Tools berichtete. Ein lokales Modell hält die Unterhaltung auf dem Computer des Nutzers, wo niemand ohne Erlaubnis darauf zugreifen kann.

LM Studios Dokumentation sagt, die App „kann vollständig offline betrieben werden, stellen Sie nur sicher, vorher einige Modelldateien herunterzuladen“, und auch an einen Chat angehängte Dokumente können vollständig offline genutzt werden.

Abos für kostenpflichtige Chatbots kosten rund 20 Dollar pro Monat, während die hier behandelte Software kostenlos ist; die Kosten verlagern sich stattdessen auf Hardware, die der Nutzer möglicherweise bereits besitzt.

Lizenzen bestimmen, was mit heruntergeladenen Gewichten geschehen darf. DeepSeeks R1-Serie steht unter der MIT-Lizenz, und seine Modellkarte erklärt, die Modelle „unterstützen kommerzielle Nutzung und erlauben jegliche Modifikationen und abgeleitete Werke“, während Googles Gemma 4 und OpenAIs gpt-oss unter Apache 2.0 erscheinen. Modelle unter Open-Source-Lizenzen wie Apache oder MIT zu betreiben bedeutet, dass Nutzer sie frei verwenden, verändern und beliebig einsetzen können – und auf verbesserte oder modifizierte Versionen zugreifen können, die besser zu ihren Anforderungen passen. Wer beispielsweise ein Modell benötigt, das in Medizin stark ist, muss sich nicht dafür interessieren, wie gut es programmiert. Dieses Maß an Personalisierung ist nur mit angepassten Modellen möglich.

Was die eigene Hardware tatsächlich ausführen kann

Modelle werden in Parametern bemessen – den internen Zahlen, die während des Trainings angepasst werden –, und der Download wächst mit ihnen. Das Modell muss in den Videospeicher der Grafikkarte, bekannt als VRAM, oder in den einheitlichen Speicher eines Mac passen, den Prozessor und Grafikchip gemeinsam nutzen.

Als Faustregel gilt: mindestens 8GB VRAM sind ein sinnvoller Ausgangspunkt, und auf kleinere Größe komprimierte Modelle passen hinein. Ambitionierte Nutzer sollten eine Gaming-GPU mit 24GB VRAM oder mehr in Betracht ziehen – entweder durch den Einsatz mehrerer GPUs oder durch den Kauf spezialisierter KI-Racks oder Rechner mit einheitlichem Speicher wie dem Mac Mini oder dem Nvidia DGX Spark.

Quantisierung verkleinert ein Modell, indem jedes Gewicht mit weniger Bits gespeichert wird. Hugging Faces Dokumentation beschreibt es als Darstellung von Gewichten und Aktivierungen „mit Datentypen niedriger Präzision wie 8-Bit-Integer (int8) statt des üblichen 32-Bit-Fließkommaformats (float32)“, was den Speicherverbrauch auf Kosten etwas geringerer Genauigkeit senkt.

LM Studios Systemanforderungen empfehlen 16GB RAM oder mehr auf Apple-Silicon-Macs mit macOS 14 oder neuer, wobei 8GB-Macs kleinere Modelle bewältigen können. Unter Windows werden mindestens 16GB RAM und 4GB dedizierter VRAM mit AVX2-Prozessorunterstützung empfohlen; Intel-basierte Macs werden nicht unterstützt.

Ollamas Bibliothek führt Gemma 4 26B mit 16 bis 19GB und die 31B-Version mit 19 bis 20GB. OpenAIs gpt-oss-20b benötigt nur 16GB Speicher, und gpt-oss-120b läuft innerhalb von 80GB, wie OpenAI angibt.

Ollama und LM Studio einrichten

LM Studio ist für die meisten Nutzer vermutlich die erste Wahl, da es eine komfortable grafische Benutzeroberfläche bietet. Ollama richtet sich dagegen an Entwickler und erfahrene Nutzer, die im Terminal (CLI) arbeiten möchten.

Für LM Studio den Installer für das eigene Betriebssystem von lmstudio.ai herunterladen, in der App nach einem Modell suchen, seine Gewichte herunterladen und einen Chat öffnen. Die App durchsucht Hugging Face, das öffentliche Hub für offene Modelle.

Für Ollama installieren macOS- und Linux-Nutzer mit dem Befehl curl -fsSL | sh, und Windows-Nutzer führen irm | iex in PowerShell aus – beide sind auf Ollamas Downloadseite aufgeführt.

Die Eingabe von ollama pull gemma4:e2b lädt ein Modell herunter, und ollama run gemma4:e2b öffnet einen Chat; /bye beendet die Sitzung, wie Ollamas Schnellstart erklärt. Das Programm öffnet außerdem eine lokale API unter sodass andere Apps auf dem Rechner das Modell nutzen können.

Modellnamen, die auf „:cloud“ enden, wie gemma4:cloud, sind Cloud-Modelle, die in Ollamas Cloud laufen und keinen Download erfordern – wer den Fokus auf Privatsphäre legt, kann sie auslassen. Für Nutzer, die leistungsfähigere Modelle benötigen, sind sie dennoch eine sinnvolle zweite Option: Anfragen und Eingaben über die API werden nicht auf den Servern des Anbieters gespeichert und nicht zum Training von Modellen verwendet.

Auch die Generierungsgeschwindigkeit lässt sich lokal verbessern. Googles Multi-Token-Prediction-Drafters für Gemma 4, auf Ollama unter Apache 2.0 verfügbar, beschleunigen die Generierung um bis zum Faktor 3 durch speculative decoding, bei dem ein kleines Modell mehrere Tokens im Voraus vorschlägt und das große sie gemeinsam prüft. Google erklärte, dass „das Zielmodell bei Zustimmung zum Entwurf die gesamte Sequenz in einem einzigen Forward-Pass akzeptiert“, und das Zielmodell fügt im selben Durchlauf ein eigenes zusätzliches Token hinzu.

Lokale Modelle erhalten Websuche und Dateizugriff über MCP-Server – kurz für Model Context Protocol –, und LM Studio fügte die Unterstützung in Version 0.3.17 hinzu, wie der Decrypt-Leitfaden berichtet.

Wo lokale Modelle weiterhin der Cloud unterliegen

Der Vier-Monats-Durchschnitt beschreibt die leistungsfähigsten offenen Modelle, und die größten liegen weit über Consumer-Hardware. Alibabas Qwen3.8-Max hat insgesamt 2,4 Billionen Parameter, davon jederzeit 95 Milliarden aktiv, verglichen mit den 80GB Speicher, innerhalb derer gpt-oss-120b läuft.

Wenn ein Modell aus dem VRAM in den Systemspeicher ausweicht, können die Antworten deutlich langsamer ausfallen, und größere Kontextfenster benötigen mehr Speicher. Gemma 4s kleine Modelle bieten ein Kontextfenster von 128K Tokens – die Textmenge, die ein Modell gleichzeitig berücksichtigen kann –, die größeren bieten 256K. Cloud-Dienste erfordern keine dieser Planungen, und die Frontier-Modelle dahinter führen weiterhin bei den schwersten Tests.

Die praktische Wahl ist daher ein Kompromiss zwischen Kontrolle und Komfort: Lokale Tools halten Unterhaltungen auf dem Computer und erlauben die Auswahl kompatibler oder angepasster Gewichte, doch Nutzer müssen das Modell an den verfügbaren Speicher anpassen und akzeptieren, dass die leistungsfähigsten Modelle möglicherweise Cloud-Dienste oder stärkere Hardware erfordern. Auch der Webzugriff ist bei einem offline laufenden Modell nicht automatisch; er erfordert einen MCP-Server oder ein anderes verbundenes Tool.

Wer KI privat nutzen möchte, für empfahl Decrypts eigener Überblick „xPrivo mit einem selbst gehosteten lokalen Modell für alltägliche Entwürfe, die Ihren Rechner nicht verlassen dürfen“, und Kagi, „wenn Sie Websuche benötigen und den API-Aufruf-Kompromiss akzeptieren“.