Microsoft-Forscher haben einen Weg gefunden, wie ein günstigeres KI-Modell seinen eigenen teuren Reasoning-Modus übertreffen kann – und der Trick kostet etwa so viel wie ein Latte Macchiato.

Ein am 11. August veröffentlichtes Paper mit dem Titel „Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills“ stellt eine passive Skill-Destillationsmethode vor, die aus einer kleinen Anzahl von Aufgabenbeispielen kompakte Regelwerke extrahiert. Diese Regeln, in einfachem Markdown geschrieben, werden in den System-Prompt eines Modells eingebunden und bringen ihm quasi Abkürzungen bei, die die Notwendigkeit kostenintensiver Chain-of-Thought-Reasonings umgehen. Das Zielmodell ist in diesem Fall GPT-5.4-mini, das bereits im März erschien.

Das Ergebnis bedeutet mehr als ein einzelner Benchmark-Sieg. Reasoning-Modi treiben die Inferenzkosten in die Höhe, da sie vor der Antwort lange Ketten von Zwischen-Tokens erzeugen, und der Token-Output ist bei KI-Anbietern im großen Maßstab ein zentraler Kostentreiber. Den Output an Tokens um ein Vielfaches zu senken – bei gleichbleibender oder verbesserter Genauigkeit – verändert die Wirtschaftlichkeit agentischer Workloads in Produktion unmittelbar, wo dieselbe Aufgabe Tausende oder Millionen Male ausgeführt werden kann.

Wie es funktioniert

Der Prozess ist verblüffend einfach. Ein Coding-Agent durchsicht zwischen 35 und 50 Aufgaben-Trajektorien – im Wesentlichen Aufzeichnungen davon, wie ein Modell bestimmte Aufgaben angegangen ist und dabei manchmal gescheitert ist. Aus diesen Trajektorien destilliert der Agent ein „Skill“-Dokument in natürlicher Sprache mit 40 bis 130 Zeilen Markdown. Dabei handelt es sich nicht um abstrakte Embeddings oder feinjustierte Gewichtsanpassungen. Es sind lesbare, prüfbare Regeln, abgeleitet daraus, was schiefging und was funktionierte.

Diese Lesbarkeit stellt eine bedeutende Abkehr von den beiden vorherrschenden Wegen dar, Domänenwissen in Modelle einzubringen: Fine-Tuning, das Trainingsläufe und spezialisierte Hardware erfordert, und intransparente Retrieval- oder Embedding-basierte Ansätze. Da das destillierte Wissen in einfachem Text vorliegt, können Entwickler ein Skill-Dokument genauso inspizieren, bearbeiten und versionieren wie jeden anderen Prompt-Bestandteil – ohne MLOps-Pipeline.

Sobald dieses Skill-Dokument in den System-Prompt eines Non-Reasoning-Modells eingebunden ist, geschieht etwas Bemerkenswertes: Das Modell holt zwischen 55 % und über 100 % des Leistungsunterschieds auf, der Reasoning- und Non-Reasoning-Modi normalerweise trennt. Einfacher gesagt: Der günstige Modus beginnt, sich wie der teure zu verhalten – und manchmal sogar besser.

Die Rechenkosten für die Erstellung des Skill-Dokuments einer Domäne liegen zwischen 1 und 3 US-Dollar, ohne dass das Modell neu trainiert werden muss.

Benchmark-Ergebnisse

Das Forschungsteam unter der Leitung von Agamdeep Singh, Srishti Gautam, Priyanshu Gupta, Nikita Mehrotra, Tanmay Bakshi und Sumit Gulwani evaluierte den Ansatz über vier agentische Benchmarks hinweg, darunter ALFWorld und SpreadsheetBench-Verified.

Auf ALFWorld erreichte das skill-erweiterte GPT-5.4-mini eine Punktzahl von 0,787, während der volle Reasoning-Modus auf 0,713 kam. Die günstigere, schnellere Variante schloss die Lücke nicht nur – sie übertraf sie.

Über die Benchmarks hinweg verbrauchte das skill-erweiterte Modell 2,7- bis 6-mal weniger Output-Tokens als der Reasoning-Modus. Weniger Tokens bedeuten auch schnellere Antworten – ein praktischer Vorteil für interaktive Agenten, bei denen die Latenz die Nutzererfahrung prägt.

Aufbauend auf SkillOpt

Das Paper baut direkt auf Microsofts im Juni veröffentlichtem SkillOpt-Framework auf, das Agent-Skills als trainierbare Parameter statt als statische Modellgewichte neu definierte. SkillOpt erzielte einen durchschnittlichen Zugewinn von 23,5 Punkten für GPT-5.5 über sechs Benchmarks hinweg und legte damit das theoretische Fundament, dass Skills unabhängig vom zugrunde liegenden Modell optimiert werden können.

Die neue Destillationsmethode greift dieses Konzept auf und macht es radikal zugänglicher. Da Skill-Dokumente lediglich Markdown-Dateien sind, die über System-Prompts eingebunden werden, funktionieren sie mit bestehenden Rollout-Strategien – keine spezielle Inferenz-Infrastruktur, keine spezialisierte Hardware und keine erneuten Trainingsläufe erforderlich.

Für Praktiker bleiben die offenen Fragen, wie belastbar destillierte Skills bleiben, wenn die zugrunde liegenden Modelle aktualisiert werden, und wie gut der Ansatz über die getesteten agentischen Domänen hinaus generalisiert – Fragen, die die Benchmark-Ergebnisse allein noch nicht beantworten.