Wśród 157 przedsiębiorstw organizacje przyznają agentom AI coraz większą autonomię, jednocześnie tracąc zaufanie do ewaluacji, które mają tę autonomię nadzorować. Połowa już wdrożyła agenta, który przeszedł wewnętrzne ewaluacje, by następnie zawieść w kontakcie z klientem. Tylko jedna na dwadzieścia organizacji w pełni ufa dziś automatycznej ewaluacji, a najczęściej wskazywaną słabością jest to, że ewaluacje nie są zgodne z rezultatami w rzeczywistych warunkach. Mimo to dwie trzecie organizacji już zezwala lub aktywnie pracuje nad możliwością wdrażania zmian agentów na produkcję wyłącznie na podstawie automatycznej ewaluacji — bez udziału człowieka.

Rezultatem jest to, co VentureBeat nazywa „luką ewaluacyjną”: dystans między tym, ile autonomii przedsiębiorstwa przekazują swoim agentom, a tym, jak bardzo ufają testom zaprojektowanym do wychwytywania awarii. Luka ma częściowo charakter strukturalny. W przeciwieństwie do tradycyjnego oprogramowania, gdzie deterministyczne testy jednostkowe i integracyjne mogą weryfikować oczekiwane zachowanie, agenci AI łączą wiele kroków rozumowania, wywołują zewnętrzne narzędzia i API oraz generują zmienne wyniki dla tych samych danych wejściowych — co z natury utrudnia zdefiniowanie poprawnego rezultatu, nie mówiąc już o zautomatyzowaniu testu, który go sprawdzi.

Przegląd badania

Ta odsłona VentureBeat Pulse Research — tracker Agentic Reliability & Evals — analizuje, w jaki sposób liderzy techniczni mierzą wydajność agentów, z jakich platform niezawodności i ewaluacji korzystają, jak je wybierają i jakim zaufaniem je obdarzają, co psuje się na produkcji oraz jak daleko są gotowi pozwolić agentom działać bez nadzoru człowieka.

Metodologia

VentureBeat przeprowadził to badanie w ramach swojej trwającej serii Pulse Research. Odpowiedzi ograniczono do organizacji zatrudniających 100 lub więcej pracowników (n=157), pochodzących z jednej fali badania przeprowadzonej w czerwcu 2026 r. Ponieważ jest to pojedyncza fala, a nie zbiorcza próba obejmująca wiele miesięcy, raport ma charakter przekrojowy i nie wnioskuje o trendach miesiąc do miesiąca. W pytaniach wielokrotnego wyboru udziały mogą sumować się do ponad 100%.

Próba jest dojrzała i wiarygodna zakupowo pod względem ról: 38% respondentów to ostateczni decydenci w sprawie zakupów AI, a kolejne 34% to osoby rekomendujące lub wpływające na decyzje. Wśród wskazanych stanowisk znaleźli się menedżerowie produktu i programu (15%), konsultanci i doradcy (10%), dyrektorzy ds. inżynierii/IT (8%) oraz CIOs/CTOs/CISOs (8%), obok dużej kategorii „Inne” (37%).

Pod względem wielkości organizacji próba jest ukierunkowana na średni segment rynku: największe grupy to firmy zatrudniające 100–499 pracowników (37%) oraz 500–2,499 pracowników (27%), a następnie 2,500–9,999 (20%), 10,000–49,999 (10%) i 50,000+ (6%). Najliczniej reprezentowaną branżą jest Technology/Software z udziałem 23%, a dalej Retail/Consumer (15%), Healthcare/Life Sciences (12%) oraz Manufacturing (10%).

Przy 157 respondentach próba jest wystarczająco duża, by dostarczać informacji kierunkowych, ale należy ją traktować jako sygnał, a nie precyzyjny pomiar. Jest samo-selekcyjna, nie jest próbą probabilistyczną i skłania się ku średniemu segmentowi rynku — dlatego najlepiej odczytywać ją jako perspektywę organizacji aktywnie budujących praktyki ewaluacji agentów, a nie największych operatorów.

Uwaga: To badanie zostało przebudowane na falę czerwcową na bazie wcześniejszego badania „LLM observability and evaluations”. Ponieważ pytania i próba różnią się, nie dokonuje się porównań z danymi z kwietnia–maja.

Ustalenie 1: Pozytywny wynik ewaluacji nie oznacza działającego agenta

Organizacje zapytano, czy w ostatnich 12 miesiącach wdrożyły agenta lub funkcję LLM, które przeszły wewnętrzne ewaluacje, ale następnie spowodowały awarię widoczną dla klienta. Połowa tych, które prowadzą ewaluacje, odpowiedziała twierdząco.

To kluczowa statystyka raportu. Połowa organizacji (50%) wypuściła funkcję AI, która przeszła wewnętrzne ewaluacje, a następnie zawiodła w kontakcie z klientem — czy to przez błędny wynik, przerwany przepływ pracy, czy incydent jakościowy. Jedna czwarta doświadczyła tego więcej niż raz. Tylko 36% nie zgłasza takiej awarii, podczas gdy pozostałe organizacje albo nie prowadzą ewaluacji przedwdrożeniowych (8%), albo nie śledzą przyczyn źródłowych wystarczająco dokładnie, by to wiedzieć (6%).

Awaria jest konkretna i istotna: ewaluacja wskazała, że agent był gotowy, a nie był. Każde kolejne ustalenie — to, jak przedsiębiorstwa ufają swoim ewaluacjom, co monitorują i ile autonomii przyznają — jest kształtowane przez to doświadczenie.

Ustalenie 2: Prawie nikt w pełni nie ufa automatycznej ewaluacji

Respondentów zapytano, które ograniczenie najbardziej zmniejsza ich zaufanie do automatycznych ewaluacji agentów. Tylko niewielki odsetek przedsiębiorstw nie zgłosił żadnych zastrzeżeń.

Zaufanie do automatycznej ewaluacji jest ograniczone i dotyczy konkretnych problemów. Tylko 5% organizacji twierdzi, że w pełni ufa automatycznej ewaluacji w jej obecnej postaci, co oznacza, że 95% wskazuje czynnik ograniczający. Najczęstsze ograniczenie, wskazane przez 29%, bezpośrednio wyjaśnia Ustalenie 1: ewaluacje słabo odpowiadają wynikom w rzeczywistych warunkach, przepuszczając agentów, którzy później zawodzą. Stronniczość lub niespójność pojawia się na poziomie 21%, a brak wyjaśnialności — przedsiębiorstwa nie zawsze mogą ustalić, dlaczego ewaluacja wydała taki werdykt — odpowiada za 18%. Kolejne 17% wskazuje obawy dotyczące wycieku danych lub prywatności w samym procesie ewaluacji.

Testy zaprojektowane do certyfikowania agentów nie są jeszcze postrzegane jako godne zaufania w tej roli, co sprawia, że trajektoria autonomii opisana w Ustaleniu 3 jest szczególnie uderzająca.

Ustalenie 3: Pułap autonomii mimo wszystko rośnie

Organizacje zapytano, czy pozwoliłyby autonomicznemu agentowi wdrożyć zmianę w kodzie lub systemie na produkcję wyłącznie na podstawie wyników automatycznej ewaluacji, bez walidacji z udziałem człowieka.

To paradoks leżący u podstaw raportu. Pomimo niemal powszechnej nieufności wobec automatycznej ewaluacji (Ustalenie 2), dwie trzecie organizacji (66%) albo już zezwala na wdrożenia bez udziału człowieka dla agentów niskiego ryzyka (34%), albo aktywnie projektuje swoje pipeline’y tak, by umożliwić to w ciągu roku (33%). Tylko 22% wyklucza to w dającej się przewidzieć przyszłości.

Kierunek jest jednoznaczny: przedsiębiorstwa zmierzają do tego, by ewaluacje autonomicznie kontrolowały dostęp do produkcji — usuwając kontrolę człowieka — dokładnie w chwili, gdy przyznają, że te ewaluacje nie odzwierciedlają niezawodnie rzeczywistości. Pułap autonomii rośnie szybciej niż poziom zapewnienia pod nim, tworząc mechanizm, dzięki któremu awarie wynikające z fałszywego poczucia pewności z Ustalenia 1 będą się skalować, a nie maleć.

Co istotne, ten zwrot ku autonomii nie ogranicza się do mniejszych firm. Po podziale próby według wielkości przedsiębiorstwa większe organizacje są nieco dalej na drodze do braku przeglądu przez człowieka niż mniejsze (70% wobec 64%) i nieco częściej wdrożyły agenta, który przeszedł ewaluację, a następnie zawiódł klienta (54% wobec 48%). Założenie, że duże, regulowane organizacje najdłużej utrzymują człowieka w procesie, w tej próbie jest odwrócone. Dane te mają charakter kierunkowy i pochodzą od 57 respondentów z firm zatrudniających 2,500+ pracowników oraz 100 z mniejszych organizacji.

Ustalenie 4: Stos ewaluacyjny jest rozdrobniony i prowadzony przez dostawców

Respondentów zapytano, z jakiej platformy niezawodności lub ewaluacji agentów korzystają przede wszystkim. Rynek nie ma wyraźnego lidera, a znaczna część firm nie ma dedykowanego narzędzia.

Warstwa ewaluacji jest wczesna i nieskonsolidowana. Prowadzą narzędzia natywne dostawców: natywne evals i traces OpenAI (17%) oraz evals Anthropic Claude Console (13%) łącznie przewyższają każdą niezależną platformę. Jednak narzędzia natywne dostawców remisują na szczycie z istotną odpowiedzią — 17% przedsiębiorstw w ogóle nie korzysta z dedykowanego narzędzia do ewaluacji agentów, co jest uderzającą luką w przypadku organizacji wysyłających agentów do klientów. Wyspecjalizowani dostawcy ewaluacji — DeepEval (12%), Braintrust (8%), LangSmith, Weave, Promptfoo, Langfuse i Arize — są rozproszeni od udziałów jednocyfrowych po niskie dwucyfrowe, a 11% zbudowało własne rozwiązania. Żadna niezależna platforma nie stała się jeszcze standardem kategorii, przez co większość przedsiębiorstw ocenia agentów za pomocą narzędzi natywnych dostawców, własnych skryptów albo wcale. Rozdrobnienie częściowo odzwierciedla tempo zmian po stronie źródłowej: otwarte frameworki agentowe, takie jak LangChain, AutoGen i CrewAI, rozpowszechniły się szybciej, niż mogły powstać standardy ewaluacji, pozostawiając każdemu ekosystemowi definiowanie własnych pojęć poprawności.

Ustalenie 5: Monitoring produkcji rzadko obserwuje jakość wyników

Monitoring produkcyjny agenta AI może śledzić dwie zasadniczo różne rzeczy. Może monitorować, czy system działa — czy agent jest dostępny i odpowiada, czy każde żądanie zostało ukończone, jak szybko, jakim kosztem i czy wystąpiły błędy. Może też monitorować, czy wynik agenta jest poprawny — poprzez automatyczne kontrole oceniające treść każdej odpowiedzi w momencie jej wysyłania: czy agent udzielił właściwej odpowiedzi, podjął właściwe działanie i pozostał w granicach polityki.

To rozróżnienie ma znaczenie, ponieważ pewna siebie, ale błędna odpowiedź jest niewidoczna dla pierwszego typu monitoringu. Żądanie się kończy, odpowiedź jest szybka, nie pojawia się błąd, a wszystkie metryki działania wyglądają zdrowo.

Po pogrupowaniu według tego, co faktycznie jest monitorowane, podział jest wyraźny: 51% organizacji monitoruje wyłącznie to, czy agent działa, podczas gdy 23% monitoruje, czy jego odpowiedzi są poprawne. Uwzględniając przeglądy ad hoc i osoby, które nie wiedzą, około trzy czwarte organizacji nie prowadzi automatycznej, bieżącej ewaluacji poprawności wyników na produkcji. Widzą, że system działa i ile kosztuje, ale poprawność jego odpowiedzi przyjmują na wiarę.

Bariera techniczna utrudniająca zamknięcie tej luki jest znacząca: ocena poprawności wyników w czasie rzeczywistym zwykle wymaga drugiego modelu — często nazywanego LLM-as-judge — który punktuje każdą odpowiedź w momencie jej wysyłania, a technika ta ma własne ograniczenia niezawodności i spójności, odzwierciedlające dokładnie te obawy, które przedsiębiorstwa zgłaszają wobec automatycznej ewaluacji w Ustaleniu 2.

Ta ślepa plamka jest produkcyjnym odpowiednikiem luki przedwdrożeniowej z Ustalenia 1: te same organizacje, które usuwają człowieka z decyzji wdrożeniowej, w dużej mierze nie widzą w czasie rzeczywistym, kiedy wdrożony agent zaczyna generować błędne odpowiedzi.

Ustalenie 6: Kupowane ze względu na koszt, mierzone spójnością

Organizacje zapytano, co najbardziej wpływa na wybór dostawcy ewaluacji i co uznają za główną miarę sukcesu. Obie odpowiedzi są pragmatyczne.

Przedsiębiorstwa kupują narzędzia ewaluacyjne na podstawie ekonomii i ufają im ze względu na powtarzalność. Koszt ewaluacji (28%) nieznacznie prowadzi wśród kryteriów wyboru, tuż przed łatwością integracji (27%) i dokładnością ewaluacji (24%). Zakres obserwowalności (13%) i roadmapa dostawcy (4%) mają znacznie mniejsze znaczenie.

Jeśli chodzi o definicję sukcesu, ponad jedna trzecia (36%) wskazuje spójność ewaluacji — otrzymywanie tego samego werdyktu dla tego samego zachowania za każdym razem — zdecydowanie przed szybkością eksperymentowania (19%), redukcją awarii (18%), widocznością produkcji (13%) i zgodnością regulacyjną (11%). Nacisk na spójność jest wymowny: zanim przedsiębiorstwa będą mogły zaufać werdyktowi ewaluacji, potrzebują, by był stabilny — a brak właśnie tej właściwości (stronniczość i niespójność) znalazł się wśród głównych ograniczeń zaufania w Ustaleniu 2. Zadowolenie z obecnych narzędzi jest jedynie umiarkowane i wynosi średnio 3.8 w pięciostopniowej skali obejmującej ogólne zadowolenie, łatwość wdrożenia oraz stosunek wartości do ceny.

Ustalenie 7: Kolejne środki trafiają do ludzi i obserwowalności

Respondentów zapytano, która inwestycja w niezawodność i ewaluację wzrośnie najbardziej w ciągu następnego roku. Finansowanie płynie w kierunku ściślejszego nadzoru nad agentami — także z udziałem ludzi.

Drugą największą planowaną inwestycją — zaraz po obserwowalności produkcji — są przepływy pracy związane z przeglądem przez człowieka, na poziomie 26%. W zestawieniu z Ustaleniem 1 jest to najcichsza sprzeczność raportu: w tym samym czasie, gdy dwie trzecie przedsiębiorstw usuwa człowieka z decyzji wdrożeniowej, więcej z nich planuje zwiększyć wydatki na recenzentów ludzkich (26%) niż na automatyczne pipeline’y ewaluacyjne (16%), które miałyby ich zastąpić. Trajektoria bez udziału człowieka i budżet na przegląd przez ludzi rosną jednocześnie w tych samych firmach. W istocie tylko 8% zgłasza, że ich budżet nie rośnie.

Łącznie oznacza to, że przedsiębiorstwa zabezpieczają się: budują w kierunku autonomii, jednocześnie inwestując w uważniejszą obserwację agentów i utrzymując ludzi dostępnych do decyzji, których automatycznej ewaluacji nie można jeszcze powierzyć.

Ustalenie 8: Nadchodzi przetasowanie narzędzi

Organizacje zapytano, czy planują przyjąć nową, dodatkową lub zastępczą platformę ewaluacyjną oraz które rozwiązania rozważają. Niewiele z nich zamierza pozostać przy obecnym stanie.

Rynek ewaluacji jest szeroko otwarty. Choć 36% nie planuje zmian, wyraźna większość (64%) zamierza przyjąć nową, dodatkową lub zastępczą platformę w ciągu dwunastu miesięcy, a 31% w następnym kwartale. Zestaw rozważanych rozwiązań pokazuje, gdzie obecne wykorzystanie jest najcieńsze: Confident AI’s DeepEval prowadzi wśród ocenianych platform (20%), przed natywnymi evals OpenAI (13%) i Braintrust (9%) — przy czym specjaliści open source przyciągają większe zainteresowanie, niż sugerowałby ich obecny udział.

Biorąc pod uwagę, że wiele przedsiębiorstw polega dziś na narzędziach natywnych dostawców albo nie ma żadnych narzędzi (Ustalenie 4), jest to mniej odejście od dotychczasowych rozwiązań, a bardziej pierwsza rzeczywista fala adopcji narzędzi — moment, w którym warstwa ewaluacji zaczyna się konsolidować. Które platformy zdobędą zaufanie na rynku, na którym prawie nikt jeszcze nie ufa automatycznej ewaluacji, pozostaje otwartym pytaniem, które ta seria będzie nadal śledzić.

Konkluzja: Luka ewaluacyjna, którą autonomia poszerzy, a nie zamknie

Organizacje zatrudniające 100 lub więcej pracowników przyznają agentom AI więcej niezależności, niż ufają swoim ewaluacjom, że są w stanie ją wspierać. Połowa już wdrożyła agenta, który przeszedł swoje ewaluacje, a następnie zawiódł klienta. Prawie nikt w pełni nie ufa automatycznej ewaluacji, przede wszystkim dlatego, że nie odpowiada ona rezultatom w rzeczywistych warunkach. Większość monitoruje produkcję pod kątem dostępności i kosztu, a nie tego, czy odpowiedzi agenta są poprawne. Mimo to dwie trzecie już zezwala lub aktywnie buduje możliwość wdrażania na produkcję wyłącznie na podstawie automatycznej ewaluacji.

Ta dynamika rozwija się w momencie, gdy ramy regulacyjne zaczynają formalizować oczekiwania dotyczące testowania AI. EU AI Act, który wszedł w życie w sierpniu 2024 r., wprowadza obowiązki oparte na ryzyku, w tym ocenę przedwdrożeniową i monitoring po wprowadzeniu na rynek dla systemów AI wysokiego ryzyka. NIST AI Risk Management Framework, opublikowany w styczniu 2023 r., zapewnia dobrowolne wytyczne dotyczące mierzenia, zarządzania i monitorowania niezawodności AI. Oba frameworki podkreślają tę samą zasadę, którą ujawniają dane z badania: zdolność do wykazania wiarygodnej ewaluacji staje się wymogiem, a nie preferencją.

Rynek dostawców jest wczesny i nieustabilizowany: najczęstsze podstawowe narzędzia ewaluacyjne to evals natywne dostawców, remisujące z całkowitym brakiem dedykowanych narzędzi, a wyraźna większość planuje przyjąć lub zmienić platformę w ciągu roku. Kolejne środki trafiają do obserwowalności i — co znamienne — przeglądu przez ludzi, co sugeruje, że przedsiębiorstwa dostrzegają lukę nawet wtedy, gdy projektują rozwiązania, które ją omijają.

Przy 157 respondentach w jednej fali jest to odczyt kierunkowy, przechylony ku średniemu segmentowi rynku. Kierunek jest jednak jasny: autonomia jest przyznawana na podstawie ewaluacji, którym osoby ją przyznające jeszcze nie ufają. Luka ewaluacyjna nie jest problemem pokrycia, który zamknie samo zwiększenie liczby testów; jest problemem ewaluacji, które odzwierciedlają rzeczywistość i którym można zaufać przy kontrolowaniu dostępu do niej. Otwartym pytaniem dla kolejnych fal jest to, czy zapewnienie jakości dogoni autonomię — czy też awarie wynikające z fałszywego poczucia pewności eskalują z incydentów u klientów do zmian, które wdrażają się same.

Na podstawie odpowiedzi ankietowych od 157 kwalifikowanych respondentów z przedsiębiorstw (100+ pracowników), pochodzących z jednej fali z czerwca 2026 r. Jest to odczyt kierunkowy, a nie precyzyjny pomiar — próba jest samo-selekcyjna, nie jest próbą probabilistyczną i skłania się ku średniemu segmentowi rynku. Respondenci obejmują między innymi menedżerów produktu i programu, konsultantów i doradców, dyrektorów ds. inżynierii/IT oraz CIOs/CTOs/CISOs, w różnych funkcjach i branżach, w tym technology/software, retail/consumer, healthcare/life sciences, manufacturing i innych.