Ein Forschungsteam bei Multiverse Computing — einem Quantencomputing-Unternehmen mit Sitz in San Sebastián, Spanien, das zuvor das quanteninspirierte Komprimierungswerkzeug CompactifAI für große Sprachmodelle veröffentlicht hat — hat am 25. August auf dem Hugging-Face-Blog eine Methode namens Quantization-Aware Healing vorgestellt. Darin beschreibt das Team, wie es OpenAIs offenes GPT-OSS-Modell von 120 Milliarden auf 60 Milliarden Parameter verkleinerte und den Speicherbedarf auf 4-Bit-Präzision senkte — wobei das kleinere Modell in 7 von 9 Tests das qualitativ vollwertige Ausgangsmodell übertraf, von dem es abgeleitet wurde.

Der Schlüssel zu diesem Ergebnis: Das verkleinerte Modell wurde anhand der hochwertigen Originalversion trainiert, nicht anhand einer schwachen Zwischenkopie.

Die Forscher haben eine kleinere, günstigere Version eines großen KI-Modells gebaut — und die kleinere Version erwies sich als schlauer als das Modell, von dem sie verkleinert wurde. Eigentlich sollte das nicht passieren — es ist, als würde man Muskelmasse verlieren und gleichzeitig stärker werden. Doch die Gruppe bei Multiverse Computing sagt, genau das sei geschehen, und der Grund dafür legt nahe, dass die Branche KI-Modelle bisher auf die falsche Weise verkleinert.

„Für Praktiker lautet die praktische Botschaft, dass in einer destillationsbasierten Healing-Pipeline der Quantisierungsschritt keine zu minimierende Kostenposition ist, sondern eine zusätzliche Gelegenheit für die Überwachung durch das Lehrermodell. Das Ergebnis ist ein Modell, das gleichzeitig günstiger bereitzustellen, genügsamer im Speicher und mindestens so genau ist wie sein Gegenstück in voller Präzision“, schrieben die Forscher in einem am Freitag veröffentlichten Paper.

Wie Modellkomprimierung normalerweise funktioniert

Die Parameter eines KI-Modells lassen sich als eine riesige Wand aus Reglern vorstellen — Zahlen, in denen alles gespeichert ist, was das Modell gelernt hat. Mehr Regler bedeuten in der Regel ein schlaueres Modell, aber auch eines, das schwerer zu betreiben ist. OpenAIs GPT-OSS 120B verfügt über 120 Milliarden dieser Regler, und jeder einzelne kostet Speicher und Strom. GPT-OSS ist die Modellfamilie, die OpenAI im August 2025 als seine ersten Open-Weight-Sprachmodelle seit GPT-2 im Jahr 2019 veröffentlichte — was externen Teams wie diesem den Download und die Modifikation erst ermöglichte.

Um KI günstig bereitzustellen, entfernen Unternehmen Regler und verkleinern die verbleibenden. Der Vorgang ist wie das Zippen eines Fotos: Die Datei wird kleiner, aber zu starke Komprimierung verwischt das Bild — ähnlich wie beim Wechsel von 4K auf 720p. Verkleinert man ein Modell zu stark, lässt seine Leistung nach. Dieser Kompromiss wurde weithin akzeptiert.

Diese Forscher gingen weiter. Sie reduzierten GPT-OSS auf 60 Milliarden Parameter und pressten jeden einzelnen in einen winzigen 4-Bit-Slot — das digitale Äquivalent extremster Komprimierung. Normalerweise würde das das Modell ruinieren, doch die Forscher fanden einen Weg, es tatsächlich zu verbessern. In fast allen zum Vergleich herangezogenen Benchmarks schnitt das kleinere Modell besser ab als ein Modell, das mit voller Präzision gebaut wurde.

Der Fotokopier-Fehler

Verkleinert man ein Modell, korrigiert man dessen Fehler üblicherweise durch den Abgleich mit der „halb verkleinerten“ Version — jener mit 60 Milliarden Reglern und höherer Präzision. Dieses Lehrer-Schüler-Verfahren ist in der Fachwelt als Knowledge Distillation (Wissensdestillation) bekannt, eine Technik, die in einflussreichen Arbeiten von Geoffrey Hinton und Kollegen formalisiert wurde. Das Problem: Das Zwischenmodell ist bereits eine unscharfe Kopie des Originals. Das winzige Modell wird also angeleitet, einen fehlerhaften Zwilling nachzuahmen — und kann diesen niemals übertreffen.

Was die Forscher „Quantization-Aware Healing“ nennen, ändert das Ziel. Es richtet das kleine Modell wieder auf das große, unkomprimierte Original aus und weist es an, dessen Antworten zu kopieren. Das kleine Modell lernt vom Meister, nicht von der trüben Mitte. In 7 von 9 Tests schlug das 4-Bit-Modell mit 60 Milliarden Parametern den 60-Milliarden-Zwilling, der eigentlich seine bessere Hälfte sein sollte. Das echte Modell mit 120 Milliarden Parametern gewinnt noch die meisten Runden — die Größe wurde nicht abgeschafft —, doch die „Diät“-Version nahm eine Hürde, die ihr niemand zugetraut hätte.

Kleiner und schlauer zugleich ist ein wichtiges Thema, denn KI verschlingt Hardware. Das geheilte Modell benötigt etwa ein Viertel des Speichers und die Hälfte der Regler des Originals. Das ist der Unterschied zwischen einer KI, die im Rechenzentrum lebt, und einer, die auf einem ordentlichen Desktop Platz findet — oder irgendwann auf dem Smartphone. 4-Bit-Quantisierung ist ohnehin das Arbeitspferd unter lokalen KI-Tools wie llama.cpp und Ollama, die komprimierte Modelle auf Consumer-Hardware ausführen — eine Methode, die die Genauigkeit bei 4 Bit erhält, trifft also genau auf den Weg, den lokale Entwickler bereits einschlagen. Ein Modell, das bei halbem Energieverbrauch bessere Ergebnisse liefert, bedeutet viel für kleine Labore und lokale Entwickler.

Das Modell ist zudem kostenlos. Das Team hat das geheilte Modell Hypernova-60B als Open Weights auf Hugging Face veröffentlicht, sodass es jeder herunterladen und ausführen kann. Das passt zu einer ganzen Serie offener Modelle, die überraschende Hürden nehmen: Ein mysteriöses freies Modell, Ox Alpha, hat kürzlich ein Claude-System geschlagen, ohne dass ein Entwickler dahinter bekannt wäre; dazu der Hype um Alibabas Qwen 3.8 Flash Next und die Welle von Finetunes, die kleine Modelle mithilfe von Denkspuren größerer LLMs wie Fable oder Claude Opus verbessern.

Allerdings sollte man es nicht übertreiben. Das Verkleinerungswerkzeug, das den 60-Milliarden-Schüler erzeugt, ist proprietär, das Rezept also noch nicht vollständig offen — und das Team hat ausschließlich GPT-OSS getestet, nicht die Familien Llama, Qwen oder Mistral.