Epoch AI Benchmark: Sechs führende LLMs erreichen nicht die Arbeitsqualität der eigenen Mitarbeiter
Wichtige Erkenntnisse
- •Die am 8. Oktober 2026 veröffentlichten Automation Reports von Epoch AI ergaben, dass keines der sechs getesteten Large Language Models den 100%-Qualitätsstandard erreichte, der durch die Arbeit der eigenen menschlichen Mitarbeiter definiert wird.
- •Claude Fable 5.1 und GPT-6 Astra teilten sich mit rund 65 % der menschlichen Arbeitsqualität die Spitzenposition, während Gemini 3.8 Flash mit 42 % zurücklag – ein Abstand von mehr als 20 Prozentpunkten.
- •Die Evaluation verwendete offene Aufgaben aus der realen internen Arbeit von Epoch, darunter Grafikdesign und Forschungsdesign, wobei menschliche Bewerter die Ergebnisse an den internen Standards der Organisation maßen.
- •Alle getesteten Modelle schnitten bei strukturierten Aufgaben wie Programmierung und Datenanalyse besser ab, hatten jedoch alle Schwierigkeiten mit offenen Aufgaben, die Urteilsvermögen oder eine Anpassung an ein bestimmtes Publikum erforderten.
- •Die Modell-Rangliste zeigte zwischen dem 8. Oktober und dem 17. November 2026 keine Veränderung, und kein einzelner Entwickler hat sich bei dieser Art offener Arbeit decisiv durchgesetzt.

Epoch AI hat sechs der leistungsfähigsten Large Language Models einem quasi Vorstellungsgespräch unterzogen – und keiner der Kandidaten hat den Job bekommen. Laut den neuen Automatisierungsberichten der Forschungsgruppe erreichten die besten Modelle im Durchschnitt rund 65 % der Arbeitsqualität von Menschen bei realen internen Aufgaben.
Die Epoch Automation Reports der Forschungsorganisation, veröffentlicht am 8. Oktober 2026, ergaben, dass keines der getesteten Modelle die Qualitätsanforderung erfüllte, die Epoch an die Arbeit ihrer eigenen menschlichen Mitarbeiter anlegt. Die stärksten Modelle landeten bei etwa zwei Dritteln dieses Niveaus. Da die 100%-Marke durch das eigene Personal und interne Aufgaben von Epoch definiert ist, messen die Ergebnisse die Akzeptanzschwelle eines echten Arbeitgebers und nicht eine abstrakte Testobergrenze.
Wie die Evaluation ablief
EPOCHs Bewertung verwendete offene Aufgaben aus der realen Arbeit innerhalb der Organisation, darunter Grafikdesign und Forschungsdesign. Menschliche Bewerter bewerteten anschließend jedes Ergebnis anhand der internen Standards von Epoch, mit dem Ziel, etwas näher an der tatsächlichen Arbeitsleistung zu messen als an einem Quizwettbewerb. Diese Designentscheidung ist für alle relevant, die die KI-Adoption am Arbeitsplatz verfolgen: Ein starkes Abschneiden bei einem konventionellen Benchmark bedeutet nicht automatisch, dass ein Arbeitgeber das Ergebnis eines Modells abnehmen würde.
Die Bewertungsskala war an Menschen orientiert: Ein Ergebnis von 100 % steht für Arbeit in der Qualität, die von einem menschlichen Mitarbeiter bei Epoch erwartet werden würde.
Die Ergebnisliste
Zwei Modelle teilten sich die Spitzenposition: Claude Fable 5.1 und GPT-6 Astra erreichten jeweils durchschnittlich rund 65 % über alle Aufgaben hinweg. Am unteren Ende lag Gemini 3.8 Flash mit 42 % – ein Abstand von mehr als 20 Prozentpunkten zwischen den Spitzenreitern und dem Schlusslicht.
Kein Modell überschritt die 100%-Marke. Keines erreichte Gleichstand mit den Menschen, deren Arbeit den Standard vorgab.
Die Modelle schnitten bei strukturierten Aufgaben besser ab, wobei Programmierung und Datenanalyse als relative Stärken hervortraten. Jedes Modell hatte Schwierigkeiten mit offenen Aufgaben, die Urteilsvermögen erforderten oder eine Anpassung an ein bestimmtes Publikum verlangten.
Die Rangliste blieb ebenfalls stabil. Stand 17. November 2026 hatten sich die Platzierungen seit der Oktober-Veröffentlichung nicht verändert.
Warum Epoch einen weiteren Benchmark entwickelt hat
Epochs Automatisierungsberichte sollen Schwächen konventioneller Leistungsmessung beheben, indem sie die Aufgaben abbilden, die Menschen tatsächlich bei der Arbeit erledigen. Das Projekt ist Teil von Epochs umfassenderer Mission, den Fortschritt und die Fähigkeiten von KI präzise zu verfolgen. Diese Einordnung verwandelt Modellvergleiche in die Frage, die Arbeitgeber tatsächlich stellen: Wie nah kommt das Ergebnis an die Arbeit heran, die ein eingestellter Mensch liefern würde?
Was die Ergebnisse bedeuten
Modelle, die bei strukturierten Tests übermenschlich wirken, erreichten deutlich weniger als menschliche Qualität, sobald die Arbeit Urteilsvermögen verlangte. Strukturierte Aufgaben wie Programmierung und Datenanalyse scheinen das Gebiet zu sein, auf dem aktuelle Modelle ihre Stärken ausspielen, während Aufgaben, die auf Zielgruppenbewusstsein und Diskretion beruhen, weiterhin einen Menschen im Prozess zu erfordern scheinen – oder zumindest jemanden, der das Ergebnis prüft.
Dass zwei konkurrierende Labore sich den Spitzenplatz teilen, deutet darauf hin, dass kein einzelner Entwickler bei dieser Art offener Arbeit einen deutlichen Vorsprung erlangt hat. Das Ergebnis von 42 % für Gemini 3.8 Flash veranschaulicht zugleich, wie groß die Streuung unter Modellen sein kann, die für ernsthafte Nutzung vermarktet werden.
Zwischen dem 8. Oktober und dem 17. November 2026 hat sich kein Modell in der Rangliste verbessert. Die nächste Modellveröffentlichung wird einem klaren und öffentlichen Test gegenüberstehen: ob sie die Marke von rund 65 % bei der Art von Arbeit übertreffen kann, die echte Mitarbeiter jeden Tag leisten.
Hinweis: Dieser Artikel basiert auf einer Berichterstattung von CryptoBriefing, redigiert von Diego Almada Lopez. Originalartikel: https://cryptobriefing.com/epoch-ai-llms-fail-employee-quality-standard/