Benchmark Epoch AI: sześć wiodących LLM-ów nie dorówna jakości pracy własnych pracowników
Najważniejsze informacje
- •Automation Reports od Epoch AI, opublikowane 8 października 2026 r., wykazały, że żaden z sześciu testowanych dużych modeli językowych nie osiągnął 100% standardu jakości definiowanego pracą własnych pracowników organizacji.
- •Claude Fable 5.1 i GPT-6 Astra dzieliły najlepszy wynik na poziomie około 65% jakości pracy ludzkiej, podczas gdy Gemini 3.8 Flash uzyskał 42%, co oznacza różnicę ponad 20 punktów procentowych.
- •Ocena wykorzystywała otwarte zadania zaczerpnięte z rzeczywistej pracy wewnętrznej Epoch, w tym projektowanie graficzne i projektowanie badań, a ludzie oceniający przyznawali punkty według wewnętrznych standardów organizacji.
- •Wszystkie testowane modele radziły sobie lepiej w zadaniach ustrukturyzowanych, takich jak kodowanie i analiza danych, ale każdy miał trudności z otwartą pracą wymagającą osądu lub dostosowania do konkretnej grupy odbiorców.
- •Ranking modeli nie zmienił się między 8 października a 17 listopada 2026 r., a żaden producent nie uzyskał zdecydowanej przewagi w tego typu otwartej pracy.

Epoch AI poddał sześć najbardziej zaawansowanych dużych modeli językowych czemuś w rodzaju rozmowy kwalifikacyjnej — i żaden z kandydatów nie dostał pracy. Według nowych raportów automatyzacji grupy badawczej najlepsze modele osiągały średnio około 65% jakości pracy ludzkiej na rzeczywistych wewnętrznych zadaniach.
Automation Reports organizacji badawczej, opublikowane 8 października 2026 r., wykazały, że żaden z testowanych modeli nie spełnił progu jakości, jaki Epoch stosuje do pracy wykonywanej przez własnych pracowników. Najlepsi wykonawcy zatrzymali się na mniej więcej dwóch trzecich drogi. Ponieważ poziom 100% jest zdefiniowany przez samych pracowników Epoch i ich wewnętrzne zadania, wyniki mierzą rzeczywisty próg akceptacji pracodawcy, a nie abstrakcyjny sufit testu.
Jak przebiegała ocena
Ocena Epoch wykorzystywała otwarte zadania zaczerpnięte z rzeczywistej pracy wewnątrz organizacji, w tym projektowanie graficzne i projektowanie badań. Ludzie oceniający przyznawali następnie punkty za każdy wynik według wewnętrznych standardów Epoch, mając na celu zmierzenie czegoś bliższego rzeczywistej wydajności w pracy niż konkursowi na wiedzę. Ten wybór projektu ma znaczenie dla każdego, kto śledzi adopcję AI w pracy: dobry wynik w konwencjonalnym benchmarku nie oznacza automatycznie, że wynik pracy modelu zostanie zaakceptowany przez pracodawcę.
Skala ocen była zakotwiczona w ludziach: wynik 100% oznacza pracę o jakości, jakiej oczekiwalibyśmy od pracownika Epoch.
Tabela wyników
Dwa modele dzieliły pierwsze miejsce: Claude Fable 5.1 i GPT-6 Astra osiągały średnio około 65% w poszczególnych zadaniach. Na dnie znalazł się Gemini 3.8 Flash z wynikiem 42% — co pozostawia ponad 20 punktów procentowych różnicy między liderami a ostatnim modelem.
Żaden model nie przekroczył linii 100%. Żaden nie osiągnął równowagi z ludźmi, których praca wyznaczała standard.
Modele radziły sobie lepiej w pracy ustrukturyzowanej, przy czym kodowanie i analiza danych wyróżniały się jako względne mocne strony. Każdy model miał trudności z otwartymi zadaniami wymagającymi osądu lub dostosowania pracy do konkretnego odbiorcy.
Tabela wyników pozostaje też niezmienna. Na dzień 17 listopada 2026 r. ranking nie zmienił się od październikowej publikacji.
Dlaczego Epoch stworzył kolejny benchmark
Raporty automatyzacji Epoch mają na celu rozwiązanie słabości konwencjonalnego pomiaru wydajności poprzez odzwierciedlenie zadań, które ludzie faktycznie wykonują w pracy. Projekt wpisuje się w szerszą misję Epoch polegającą na dokładnym śledzeniu postępów i możliwości AI. Taka perspektywa zamienia porównania modeli w pytanie, które faktycznie zadają pracodawcy: jak blisko wyniku pracy zatrudnionego człowieka jest output modelu?
Co oznaczają wyniki
Modele, które wydają się ponadludzkie w testach ustrukturyzowanych, znacząco odbiegały od jakości ludzkiej, gdy praca wymagała decyzji oceniających. Praca ustrukturyzowana, taka jak kodowanie i analiza danych, wydaje się obszarem, w którym obecne modele pokazują swoją wartość, podczas gdy zadania zależne od świadomości odbiorcy i dyskrecji wciąż wymagają obecności człowieka — przynajmniej człowieka sprawdzającego wynik.
To, że dwa konkurujące ze sobą laboratoria dzielą najlepszy wynik, sugeruje, że żaden producent nie zyskał zdecydowanej przewagi w tego typu otwartej pracy. Tymczasem wynik 42% dla Gemini 3.8 Flash pokazuje, jak duży może być rozrzut między modelami promowanymi do poważnego zastosowania.
W okresie od 8 października do 17 listopada 2026 r. żaden model nie awansował w rankingu. Kolejna premiera modelu stanie przed jasnym i publicznym testem: czy zdoła przekroczyć około 65% w pracy, którą prawdziwi pracownicy wykonują codziennie.
Zastrzeżenie: Ten artykuł powstał w oparciu o materiały CryptoBriefing, redakcja: Diego Almada Lopez. Oryginalny artykuł: https://cryptobriefing.com/epoch-ai-llms-fail-employee-quality-standard/