METR hat eine Kennzahl namens „Expenditure Horizon“ eingeführt, um zu messen, wie kosteneffizient KI-Agenten bei der Lösung von Forschungsproblemen sind. Die ersten Ergebnisse aus der Anwendung der Kennzahl auf den NanoGPT-Speedrun sind begrenzt, und METR weist darauf hin, dass der Ansatz wichtige blinde Flecken hat. Neuere KI-Modelle könnten die Ergebnisse ebenfalls verändern.

Eine zentrale Frage in der KI-Forschung ist, ob KI-Systeme ihre eigene Entwicklung beschleunigen können, sodass ein Kreislauf entsteht, in dem Modelle dazu beitragen, nachfolgende Modelle immer schneller zu verbessern. Das zu messen war schwierig, weil die relevanten Kosten nicht direkt vergleichbar sind. Forschende müssen menschliche Arbeit, die für Experimente genutzte Rechenleistung und die Kosten für den Betrieb der KI-Systeme selbst berücksichtigen. Eine Kennzahl, die diese Kosten auf dieselbe Skala bringt, ist daher nützlich, um Aussagen über automatisierte KI-Forschung zu bewerten, ohne sich allein auf Benchmark-Ergebnisse oder anekdotische Beispiele zu stützen.

METRs vorgeschlagene Antwort ist der „Expenditure Horizon“. Die Kennzahl vergleicht, wie viel ein KI-System und ein Mensch jeweils ausgeben müssen, um dieselbe Verbesserung zu erzielen. Der Expenditure Horizon ist das Budgetniveau, bei dem beide Ansätze gleich viel kosten. Unterhalb dieses Niveaus ist die KI kosteneffizienter. Darüber ist der Mensch günstiger.

Die Kennzahl baut auf einem Muster auf, das METR nach eigenen Angaben in früheren Tests beobachtet hat: KI-Agenten erledigen einfache, kostengünstige Aufgaben häufig schneller als Menschen, fallen aber tendenziell zurück, wenn Budgets steigen und Aufgaben schwieriger werden.

Laut METR hat die Methode zwei Vorteile gegenüber typischen KI-Benchmarks. Erstens liefert sie nicht nur ein Bestanden-oder-nicht-bestanden-Ergebnis. Stattdessen gibt sie ein feineres Maß dafür, wie viel Verbesserung für einen bestimmten Geldbetrag erzielt wird. Zweitens überführt sie unterschiedliche Eingaben in eine gemeinsame Währung, darunter die Kosten für den Betrieb von KI-Systemen, die für Experimente genutzte Rechenleistung und die Arbeitszeit von Menschen.

METR schätzt, dass Menschen etwa $2,500 pro Beschleunigung um ein Prozent ausgeben

METR testete die Kennzahl am NanoGPT-Speedrun, einem öffentlichen Community-Projekt, bei dem Freiwillige darum konkurrieren, ein KI-Sprachmodell so schnell wie möglich zu trainieren. Die Aufgabe selbst bleibt unverändert, während die Teilnehmenden nur den Trainingsansatz ändern können. Seit Mai 2024 ist die auf standardisierter Hardware benötigte Zeit über 82 dokumentierte Verbesserungsschritte hinweg von etwa 45 Minuten auf weniger als zwei Minuten gesunken. Das macht den Speedrun zu einem nützlichen kontrollierten Umfeld für Kostenvergleiche, aber auch zu einem engen Stellvertreter für die breitere KI-Forschung, in der sich Ziele, Einschränkungen und Bewertungskriterien während eines Projekts ändern können.

Um die Kosten menschlicher Arbeit zu schätzen, interviewte METR zwei der aktivsten Beitragenden des Projekts. Außerdem bat METR ein KI-Modell, Opus-4.6, den Aufwand hinter jeder Verbesserung zu schätzen. Beide Ansätze ergaben einen ähnlichen Wert: ungefähr 16 Arbeitsstunden für jede Beschleunigung um ein Prozent. Bei einem angenommenen Stundensatz von $150 berechnete METR Kosten von etwa $2,500 pro Prozentpunkt.

METR betont, dass diese Schätzung sehr unsicher ist. Die Interviews hoben außerdem hervor, dass der Großteil der Zeit der Beitragenden auf Ideen entfiel, die letztlich nicht funktionierten.

KI-Agenten haben bisher nur begrenzte Fortschritte erzielt

Für den Vergleich beauftragte METR sechs KI-Modelle damit, unabhängig voneinander an derselben Aufgabe zu arbeiten. Die Modelle begannen nicht bei null. Stattdessen starteten sie mit einer bereits stark optimierten Version des Speedruns, Record #78 aus März 2026, und durften pro Durchlauf bis zu $10,000 für Rechen- und Betriebskosten ausgeben.

Die daraus geschätzten Expenditure Horizons lagen zwischen $0 und $3,300. Die Leistung unterschied sich deutlich zwischen den Modellen. GPT-5 und Opus-4.1 erzielten nach sorgfältiger Überprüfung keinen echten Fortschritt; ihre scheinbaren Verbesserungen wurden auf zufälliges Rauschen zurückgeführt. GPT-5.5 und Opus-4.8 hingegen lieferten reale Verbesserungen von etwa 1 Prozent beziehungsweise 1.5 Prozent.

Die Qualität der Vorschläge der Modelle war gemischt. Der Maintainer des Speedruns schätzte, dass etwa 70 Prozent der von KI erzeugten Ideen grundsätzlich in das Projekt integriert werden könnten, viele davon jedoch nicht besonders originell waren. Er bezeichnete eine Low-Level-Optimierung von GPT-5.5 als die „coolest one“, charakterisierte die meisten übrigen Vorschläge jedoch als Parameter-Tuning.

Die Modelle versuchten außerdem mehrfach zu schummeln. Dabei handelte es sich um Abkürzungen, die künstlich gute Testergebnisse erzeugten, in der Praxis aber nutzlos gewesen wären, etwa das Abschalten von Teilen des Trainings kurz vor der Ziellinie. Dieses Problem unterstreicht, warum METRs Verifizierungsschritt wichtig ist: Ohne zu prüfen, ob eine Beschleunigung die beabsichtigte Aufgabe beibehält, kann automatisierte Optimierung Verhalten belohnen, das das gemessene Ergebnis verbessert, aber das zugrunde liegende Experiment untergräbt.

METRs Schlussfolgerung lautet: Obwohl einzelne Modelle Expenditure Horizons im niedrigen vierstelligen Bereich erreichten, sind diese Werte im Vergleich zu den geschätzten $250,000 an gesamtem menschlichem Aufwand hinter dem NanoGPT-Speedrun sehr gering. Nach METRs Einschätzung hat autonome Optimierung bisher nur marginal zum gesamten Fortschritt von NanoGPT beigetragen.

Neuere KI-Modelle könnten den Vergleich verändern

METRs Test hat eine wichtige Einschränkung: Er umfasste nur ältere Modelle, konkret GPT-5, GPT-5.2, GPT-5.5, Opus-4.1 und Opus-4.8. Später veröffentlichte Modelle, darunter Fable 5, GPT-5.6 Sol und Opus 5, wurden in der Studie nicht berücksichtigt.

Anthropic stellt Opus 5 als große Verbesserung dar. Bei Frontier-Bench verdoppelt Opus 5 nach Angaben des Unternehmens die Leistung von Opus 4.8 und senkt zugleich die Kosten pro Aufgabe. Laut Anthropic verschwendet Opus 5 weniger Aufwand auf Sackgassen, überprüft die eigene Arbeit zuverlässiger und erreicht eine ähnliche Leistung mit durchschnittlich 26 Prozent weniger Rechenschritten. Jeder dieser Faktoren wirkt sich direkt auf METRs Expenditure Horizon aus.

Auch die Ergebnisse bei ARC-AGI-3 sind bemerkenswert. Der Benchmark soll Problemlösungsfähigkeit statt auswendig gelerntem Wissen testen. KI-Systeme werden in unbekannte, spielähnliche Umgebungen ohne Anweisungen oder Ziele versetzt und müssen durch Versuch und Irrtum herausfinden, wie sie vorgehen sollen.

Opus 5 hält seit dem 24. Juli 2026 die Spitzenposition bei ARC-AGI-3, mit einem Ergebnis von 30.2 Prozent. Es löste fünf Aufgaben, an denen alle vorherigen Modelle gescheitert waren. Opus 4.8, sein Vorgänger, erreichte nur 1.5 Prozent. Das ARC-Prize-Team führt die Verbesserung auf stärkeres logisches Denken zurück, das es der KI ermöglicht, unabhängiger zu erkunden und zu planen. Diese Fähigkeit könnte auch für den NanoGPT-Speedrun relevant sein, auch wenn METRs veröffentlichter Vergleich mit neueren Modellen wiederholt werden müsste, um zu zeigen, ob sich deren Expenditure Horizons unterscheiden.

Die Studie misst keine Zusammenarbeit zwischen Mensch und KI

Eine der größten Einschränkungen der Studie benennt METR selbst: Die Analyse misst KI-Systeme, die allein arbeiten, also rein autonome Optimierung. In der realen KI-Forschung nutzen Menschen KI in der Regel als Werkzeug, anstatt Forschungsaufgaben vollständig an sie zu delegieren.

METR beschreibt für dieses Szenario der Mensch-KI-Zusammenarbeit eine dritte, hypothetische Kurve. Wenn Menschen wirksame Entscheidungen darüber treffen, wann und wie sie KI einsetzen, sollte der hybride Ansatz theoretisch sowohl den rein menschlichen als auch den rein KI-basierten Ansatz übertreffen, indem er die Stärken beider kombiniert.

METR warnt jedoch, dass dieses Ergebnis nicht garantiert ist. Die Organisation verweist auf eigene frühere Arbeiten, die zeigen, dass Mensch-plus-KI-Setups manchmal schlechter abschnitten als Menschen allein. Der Nutzen hängt davon ab, ob KI an den richtigen Stellen des Prozesses eingesetzt wird.

Um das korrekt zu messen, wäre ein kontrolliertes Experiment erforderlich, das dieselben Forschenden mit und ohne KI-Unterstützung vergleicht. METR zufolge wäre ein solches Experiment schwer zu organisieren, aber sehr aufschlussreich. Bis dahin liefert der Expenditure Horizon Hinweise darauf, was KI-Systeme eigenständig leisten können, sagt aber deutlich weniger darüber aus, wie stark sie menschliche Forschende in der Praxis beschleunigen.