Bij 157 ondernemingen geven organisaties AI-agenten steeds meer autonomie, terwijl hun vertrouwen afneemt in de evaluaties die die autonomie moeten reguleren. De helft heeft al een agent ingezet die interne evaluaties doorstond, om vervolgens bij een klant te falen. Slechts één op de twintig vertrouwt geautomatiseerde evaluatie vandaag volledig, en de meest genoemde zwakte is dat evaluaties niet aansluiten op uitkomsten in de praktijk. Toch staat twee derde van de organisaties al toe, of werkt actief toe naar, het doorvoeren van agentwijzigingen naar productie op basis van alleen geautomatiseerde evaluatie — zonder menselijke tussenkomst.

Het resultaat is wat VentureBeat een "evaluatiekloof" noemt: de afstand tussen hoeveel autonomie ondernemingen hun agenten geven en hoeveel vertrouwen zij hebben in de tests die fouten moeten opvangen. Die kloof is deels structureel. Anders dan bij traditionele software, waar deterministische unit- en integratietests verwacht gedrag kunnen verifiëren, koppelen AI-agenten meerdere redeneerstappen aan elkaar, roepen ze externe tools en API’s aan en produceren ze variabele outputs voor dezelfde input — waardoor het inherent moeilijk is om te definiëren hoe een correcte uitkomst eruitziet, laat staan om daar een test voor te automatiseren.

Overzicht van het onderzoek

Deze editie van VentureBeat Pulse Research — de Agentic Reliability & Evals tracker — onderzoekt hoe technische leiders agentprestaties meten, welke betrouwbaarheids- en evaluatieplatforms zij gebruiken, hoe zij die selecteren en vertrouwen, wat er misgaat in productie en hoe ver zij agenten willen laten opereren zonder menselijk toezicht.

Methodologie

VentureBeat voerde dit onderzoek uit als onderdeel van zijn doorlopende Pulse Research-reeks. Antwoorden werden gefilterd op organisaties met 100 of meer werknemers (n=157), afkomstig uit één enquête die in juni 2026 werd uitgevoerd. Omdat dit één meetronde is en geen samengevoegde steekproef over meerdere maanden, is het rapport cross-sectioneel en worden er geen maand-op-maandtrends afgeleid. Waar vragen meerdere antwoorden toestonden, kunnen percentages optellen tot meer dan 100%.

De steekproef is naar rol senior en geloofwaardig vanuit kopersperspectief: 38% is eindbeslisser voor AI-aankopen, en nog eens 34% is aanbeveler of beïnvloeder. Genoemde functies omvatten product- en programmamanagers (15%), consultants en adviseurs (10%), directeuren engineering/IT (8%) en CIOs/CTOs/CISOs (8%), naast een grote categorie "Overig" (37%).

Naar organisatiegrootte is de steekproef gewogen richting het middensegment: 100–499 werknemers (37%) en 500–2.499 werknemers (27%) voeren de lijst aan, gevolgd door 2.500–9.999 (20%), 10.000–49.999 (10%) en 50.000+ (6%). Technologie/Software is met 23% de grootste vertegenwoordigde sector, gevolgd door Retail/Consument (15%), Gezondheidszorg/Life Sciences (12%) en Productie (10%).

Met 157 respondenten is de steekproef groot genoeg om richtinggevend te zijn, maar zij moet worden behandeld als een signaal en niet als een precieze meting. De steekproef is zelfselecterend, geen kanssteekproef, en helt over naar het middensegment — waardoor zij het best kan worden gelezen als het perspectief van organisaties die actief evaluatiepraktijken voor agenten opbouwen, in plaats van dat van de grootste operators.

Opmerking: dit onderzoek werd voor de junigolf opnieuw opgebouwd op basis van het eerdere onderzoek naar "LLM observability and evaluations". Omdat de vragen en de steekproef verschillen, worden er geen vergelijkingen gemaakt met de gegevens van april–mei.

Bevinding 1: Een geslaagde eval is nog geen werkende agent

Organisaties werd gevraagd of zij in de afgelopen 12 maanden een agent of LLM-functie hadden uitgerold die interne evaluaties doorstond, maar vervolgens een klantgerichte storing veroorzaakte. De helft van degenen die evaluaties uitvoeren, meldde dat dit was gebeurd.

Dit is de bepalende statistiek van het rapport. De helft van de organisaties (50%) heeft een AI-functie geleverd die interne evaluaties doorstond en vervolgens bij een klant faalde — hetzij door een onjuiste output, een kapotte workflow of een kwaliteitsincident. Een kwart heeft dit meer dan eens meegemaakt. Slechts 36% meldt geen dergelijke storing, terwijl de rest ofwel geen evaluaties vóór implementatie uitvoert (8%) of de oorzaken niet nauwkeurig genoeg volgt om het te weten (6%).

De fout is precies en belangrijk: de evaluatie gaf aan dat de agent klaar was, maar dat was niet zo. Elke daaropvolgende bevinding — hoe ondernemingen hun evaluaties vertrouwen, wat zij monitoren en hoeveel autonomie zij toestaan — wordt door deze ervaring gevormd.

Bevinding 2: Bijna niemand vertrouwt geautomatiseerde evaluatie volledig

Respondenten werd gevraagd welke beperking hun vertrouwen in geautomatiseerde agentevaluaties het meest vermindert. Slechts een klein deel van de ondernemingen meldde helemaal geen klacht.

Vertrouwen in geautomatiseerde evaluatie is schaars en specifiek. Slechts 5% van de organisaties zegt geautomatiseerde evaluatie zoals die nu werkt volledig te vertrouwen, wat betekent dat 95% een beperkende factor noemt. De meest voorkomende beperking, genoemd door 29%, verklaart Bevinding 1 rechtstreeks: evaluaties sluiten slecht aan op uitkomsten in de praktijk en laten agenten slagen die later falen. Bias of inconsistentie volgt met 21%, en een gebrek aan uitlegbaarheid — ondernemingen kunnen niet altijd bepalen waarom een evaluatie tot haar oordeel kwam — is goed voor 18%. Nog eens 17% noemt zorgen over datalekken of privacy binnen het evaluatieproces zelf.

De tests die zijn ontworpen om agenten te certificeren, worden daarvoor nog niet vertrouwd, wat het autonomietraject dat in Bevinding 3 wordt beschreven bijzonder opvallend maakt.

Bevinding 3: Het autonomieplafond stijgt toch

Organisaties werd gevraagd of zij een autonome agent zouden toestaan een code- of systeemwijziging naar productie te implementeren uitsluitend op basis van geautomatiseerde evaluatieresultaten, zonder human-in-the-loop-validatie.

Dit is de paradox in het hart van het rapport. Ondanks het vrijwel algemene wantrouwen tegenover geautomatiseerde evaluatie (Bevinding 2), staat twee derde van de organisaties (66%) zero-human-in-the-loop-implementatie voor laagrisicoagenten al toe (34%) of werkt actief aan pipelines die dit binnen een jaar mogelijk maken (33%). Slechts 22% sluit het voor de voorzienbare toekomst uit.

De richting is ondubbelzinnig: ondernemingen bewegen richting het autonoom laten bewaken van productie door evaluaties — waarbij de menselijke controle verdwijnt — precies op het moment dat zij erkennen dat die evaluaties niet betrouwbaar overeenkomen met de werkelijkheid. Het autonomieplafond stijgt sneller dan de onderliggende zekerheid, waardoor het mechanisme ontstaat waarmee de fouten door schijnzekerheid uit Bevinding 1 eerder zullen opschalen dan afnemen.

Opvallend is dat deze beweging naar autonomie niet beperkt is tot kleinere bedrijven. Wanneer de steekproef wordt opgesplitst naar bedrijfsgrootte, zijn grotere ondernemingen iets verder op weg naar nul menselijke beoordeling dan kleinere ondernemingen (70% versus 64%) en hebben zij iets vaker een agent uitgerold die een evaluatie doorstond maar vervolgens bij een klant faalde (54% versus 48%). De aanname dat grote, gereguleerde organisaties de mens het langst in de lus houden, is in deze steekproef omgekeerd. Deze cijfers zijn richtinggevend, gebaseerd op 57 respondenten bij bedrijven met 2.500+ werknemers en 100 bij kleinere organisaties.

Bevinding 4: De evaluatiestack is gefragmenteerd en provider-gedreven

Respondenten werd gevraagd welk platform voor agentbetrouwbaarheid of -evaluatie zij primair gebruiken. De markt heeft geen duidelijke leider, en een aanzienlijk deel heeft helemaal geen specifieke tooling.

De evaluatielaag bevindt zich in een vroeg stadium en is nog niet geconsolideerd. Provider-native tooling loopt voorop: OpenAI’s native evals en traces (17%) en Anthropic’s Claude Console evals (13%) wegen samen zwaarder dan welk onafhankelijk platform dan ook. Toch staat provider-native tooling bovenaan gelijk met een opvallend antwoord — 17% van de ondernemingen gebruikt helemaal geen specifieke tooling voor agentevaluatie, een opmerkelijke leemte voor organisaties die agenten aan klanten leveren. Gespecialiseerde evaluatieleveranciers — DeepEval (12%), Braintrust (8%), LangSmith, Weave, Promptfoo, Langfuse en Arize — zijn verspreid over enkelcijferige tot lage dubbelcijferige percentages, en 11% heeft eigen oplossingen gebouwd. Nog geen enkel onafhankelijk platform is de categorienorm geworden, waardoor de meeste ondernemingen agenten evalueren met provider-native tools, zelfgemaakte scripts of helemaal niets. De fragmentatie weerspiegelt deels het tempo stroomopwaarts: open-source agentframeworks zoals LangChain, AutoGen en CrewAI verspreidden zich sneller dan evaluatiestandaarden konden ontstaan, waardoor elk ecosysteem zijn eigen opvattingen over correctheid definieerde.

Bevinding 5: Productiemonitoring kijkt zelden naar outputkwaliteit

Productiemonitoring voor een AI-agent kan twee fundamenteel verschillende zaken volgen. Zij kan monitoren of het systeem functioneert — is de agent beschikbaar en reageert hij, werd elk verzoek voltooid, hoe snel, tegen welke kosten en met eventuele fouten. Of zij kan monitoren of de output van de agent correct is — geautomatiseerde controles die de inhoud van elke respons evalueren terwijl die naar buiten gaat: gaf de agent het juiste antwoord, nam hij de juiste actie en bleef hij binnen het beleid.

Dit onderscheid is belangrijk omdat een zelfverzekerd verkeerd antwoord onzichtbaar is voor het eerste type monitoring. Het verzoek wordt voltooid, de respons is snel, er wordt geen fout gemeld en elke functioneringsmetric oogt gezond.

Wanneer wordt gegroepeerd naar wat daadwerkelijk wordt gemonitord, is de verdeling scherp: 51% van de organisaties monitort alleen of de agent functioneert, terwijl 23% monitort of zijn antwoorden correct zijn. Inclusief ad-hocbeoordelaars en degenen die het niet weten, voert ongeveer driekwart van de organisaties geen geautomatiseerde, realtime evaluatie uit van outputcorrectheid in productie. Zij kunnen zien dat het systeem actief is en wat het kost, maar nemen de correctheid van de antwoorden op vertrouwen aan.

De technische barrière om deze kloof te dichten is aanzienlijk: outputcorrectheid in realtime evalueren vereist doorgaans een tweede model — vaak een LLM-as-judge genoemd — om elke respons te scoren terwijl die naar buiten gaat, een techniek waarvan de eigen beperkingen op het gebied van betrouwbaarheid en consistentie dezelfde zorgen weerspiegelen die ondernemingen in Bevinding 2 over geautomatiseerde evaluatie uiten.

Deze blinde vlek is de runtime-tegenhanger van de kloof vóór implementatie in Bevinding 1: dezelfde organisaties die de mens uit de implementatiebeslissing ontwerpen, kunnen grotendeels niet realtime zien wanneer de uitgerolde agent verkeerde antwoorden begint te produceren.

Bevinding 6: Gekocht op kosten, gemeten op consistentie

Organisaties werd gevraagd wat hun keuze voor een evaluatieleverancier het meest beïnvloedt en wat zij als hun primaire maatstaf voor succes beschouwen. Beide antwoorden zijn pragmatisch.

Ondernemingen kopen evaluatietooling op basis van economische overwegingen en vertrouwen die vanwege herhaalbaarheid. Evaluatiekosten (28%) voeren de selectiecriteria nipt aan, net vóór gemak van integratie (27%) en evaluatienauwkeurigheid (24%). Breedte van observability (13%) en de roadmap van de leverancier (4%) zijn veel minder belangrijk.

Bij de vraag hoe succes eruitziet, noemt meer dan een derde (36%) evaluatieconsistentie — elke keer hetzelfde oordeel krijgen voor hetzelfde gedrag — ruim vóór snelheid van experimenteren (19%), vermindering van fouten (18%), productiezichtbaarheid (13%) en compliance (11%). De nadruk op consistentie is veelzeggend: voordat ondernemingen een evaluatieoordeel kunnen vertrouwen, moet het stabiel zijn — precies de eigenschap waarvan het ontbreken (bias en inconsistentie) tot de belangrijkste vertrouwensbeperkingen in Bevinding 2 behoorde. De tevredenheid over huidige tooling is slechts matig, met een gemiddelde van 3,8 op een vijfpuntsschaal voor algehele tevredenheid, implementatiegemak en waar voor het geld.

Bevinding 7: De volgende euro gaat naar mensen en observability

Respondenten werd gevraagd welke investering in betrouwbaarheid en evaluatie het komende jaar het meest zal groeien. De financiering stroomt naar nauwer toezicht op agenten — ook via mensen.

De op één na grootste geplande investering — alleen achter production observability — betreft workflows voor menselijke beoordeling, met 26%. Afgezet tegen Bevinding 1 is dit de stilste tegenstelling van het rapport: terwijl twee derde van de ondernemingen de mens uit de implementatiebeslissing ontwerpt, zijn er meer die van plan zijn de uitgaven aan menselijke beoordelaars te verhogen (26%) dan aan de geautomatiseerde evaluatiepipelines (16%) die hen zouden vervangen. Het zero-human-traject en het budget voor menselijke beoordeling stijgen tegelijkertijd binnen dezelfde bedrijven. Slechts 8% meldt dat hun budget niet toeneemt.

Alles bij elkaar dekken ondernemingen zich in: zij bouwen richting autonomie terwijl zij investeren om agenten nauwlettender te volgen en mensen beschikbaar houden voor beslissingen waarvoor geautomatiseerde evaluatie nog niet betrouwbaar genoeg is.

Bevinding 8: Er komt een herschikking van tooling

Organisaties werd gevraagd of zij van plan zijn een nieuw, aanvullend of vervangend evaluatieplatform te adopteren, en welke platforms zij overwegen. Weinigen zijn van plan niets te veranderen.

De evaluatiemarkt ligt wijd open. Terwijl 36% geen wijzigingsplannen heeft, is een duidelijke meerderheid (64%) van plan binnen twaalf maanden een nieuw, aanvullend of vervangend platform te adopteren, en 31% binnen het volgende kwartaal. De overwegingslijst laat zien waar huidig gebruik het dunst is: Confident AI’s DeepEval voert de platforms aan die worden geëvalueerd (20%), vóór OpenAI’s native evals (13%) en Braintrust (9%) — waarbij open-source specialisten meer belangstelling trekken dan hun huidige marktaanwezigheid zou doen vermoeden.

Omdat veel ondernemingen vandaag vertrouwen op provider-native tools of helemaal niets (Bevinding 4), is dit minder een overstapgolf dan een eerste echte golf van toolingadoptie — het moment waarop de evaluatielaag begint te consolideren. Welke platforms vertrouwen winnen in een markt waarin bijna niemand geautomatiseerde evaluatie al vertrouwt, blijft de open vraag die deze reeks zal blijven volgen.

Conclusie: Een evaluatiekloof die autonomie zal vergroten, niet sluiten

Organisaties met 100 of meer werknemers geven AI-agenten meer onafhankelijkheid dan zij hun evaluaties toevertrouwen om te ondersteunen. De helft heeft al een agent geleverd die zijn evaluaties doorstond en vervolgens bij een klant faalde. Bijna niemand vertrouwt geautomatiseerde evaluatie volledig, vooral omdat die niet overeenkomt met uitkomsten in de praktijk. De meeste organisaties monitoren productie op uptime en kosten in plaats van op de correctheid van de antwoorden van de agent. Toch staat twee derde al toe, of werkt actief toe naar, productie-implementatie op basis van alleen geautomatiseerde evaluatie.

Deze dynamiek ontvouwt zich terwijl regelgevingskaders verwachtingen voor AI-tests beginnen te formaliseren. De EU AI Act, die in augustus 2024 in werking trad, introduceert risicogebaseerde verplichtingen, waaronder beoordeling vóór implementatie en post-market monitoring voor AI-systemen met hoog risico. Het NIST AI Risk Management Framework, gepubliceerd in januari 2023, biedt vrijwillige richtlijnen voor het meten, beheren en monitoren van AI-betrouwbaarheid. Beide kaders onderstrepen hetzelfde principe dat de onderzoeksgegevens laten zien: het kunnen aantonen van betrouwbare evaluatie wordt een vereiste, geen voorkeur.

De leveranciersmarkt is vroeg en onzeker: de meest voorkomende primaire evaluatietools zijn provider-native evals, gelijk met helemaal geen specifieke tooling, en een duidelijke meerderheid is van plan binnen het jaar platforms te adopteren of te wisselen. De volgende euro gaat naar observability en — nadrukkelijk — menselijke beoordeling, wat suggereert dat ondernemingen de kloof aanvoelen, zelfs terwijl zij er technisch voorbij bouwen.

Met 157 respondenten in één meetronde is dit een richtinggevende lezing, met een scheefgroei richting het middensegment. De richting is echter duidelijk: autonomie wordt toegekend op basis van evaluaties die de mensen die haar toekennen nog niet vertrouwen. De evaluatiekloof is geen dekkingsprobleem dat met meer tests alleen wordt gesloten; het is een probleem van evaluaties die de werkelijkheid weerspiegelen en betrouwbaar genoeg zijn om die te bewaken. De open vraag voor latere meetrondes is of assurance de autonomie inhaalt — of dat fouten door schijnzekerheid escaleren van klantincidenten naar wijzigingen die zichzelf implementeren.

Gebaseerd op enquêteantwoorden van 157 gekwalificeerde zakelijke respondenten (100+ werknemers), afkomstig uit één meetronde in juni 2026. Dit is een richtinggevende lezing en geen precieze meting — de steekproef is zelfselecterend, geen kanssteekproef, en helt over naar het middensegment. Respondenten omvatten onder meer product- en programmamanagers, consultants en adviseurs, directeuren engineering/IT en CIOs/CTOs/CISOs, verspreid over technologie/software, retail/consument, gezondheidszorg/life sciences, productie en andere sectoren.