Au sein de 157 entreprises, les organisations accordent une autonomie croissante aux agents IA tout en perdant confiance dans les évaluations censées encadrer cette autonomie. La moitié a déjà déployé un agent qui avait réussi les évaluations internes pour ensuite échouer face à un client. Seulement une sur vingt fait pleinement confiance à l'évaluation automatisée aujourd'hui, et la faiblesse la plus fréquemment citée est que les évaluations ne correspondent pas aux résultats réels. Néanmoins, deux tiers des organisations autorisent déjà ou préparent activement le déploiement de modifications d'agents en production basé uniquement sur l'évaluation automatisée — sans intervention humaine.

Il en résulte ce que VentureBeat appelle un « écart d'évaluation » : la distance entre l'autonomité que les entreprises accordent à leurs agents et la confiance qu'elles accordent aux tests conçus pour détecter les défaillances. Cet écart est en partie structurel. Contrairement aux logiciels traditionnels, où des tests unitaires et d'intégration déterministes peuvent vérifier le comportement attendu, les agents IA enchaînent plusieurs étapes de raisonnement, appellent des outils et des API externes, et produisent des résultats variables pour une même entrée — rendant intrinsèquement difficile la définition de ce qu'est un résultat correct, sans parler de l'automatisation d'un test pour le vérifier.

Aperçu de l'enquête

Cette édition de VentureBeat Pulse Research — le suivi Agentic Reliability & Evals — examine la manière dont les dirigeants techniques mesurent la performance des agents, quelles plateformes de fiabilité et d'évaluation ils utilisent, comment ils les sélectionnent et leur font confiance, ce qui dysfonctionne en production, et jusqu'où ils sont prêts à laisser les agents fonctionner sans supervision humaine.

Méthodologie

VentureBeat a mené cette enquête dans le cadre de sa série Pulse Research en cours. Les réponses ont été filtrées pour ne retenir que les organisations de 100 employés ou plus (n=157), issues d'une seule enquête menée en juin 2026. S'agissant d'une seule vague plutôt que d'un échantillon cumulé sur plusieurs mois, le rapport est transversal et n'infère pas de tendances d'un mois à l'autre. Lorsque les questions autorisaient plusieurs sélections, les pourcentages peuvent dépasser 100 %.

L'échantillon est composé de profils seniors et crédibles en tant qu'acheteurs : 38 % sont décideurs finaux pour les achats d'IA, et 34 % supplémentaires sont des recommandeurs ou influenceurs. Les intitulés de poste incluent des chefs de produit et de programme (15 %), des consultants et conseillers (10 %), des directeurs d'ingénierie/IT (8 %) et des CIO/CTO/CISO (8 %), aux côtés d'une large catégorie « Autre » (37 %).

En taille d'organisation, l'échantillon est pondéré vers le marché intermédiaire : 100–499 employés (37 %) et 500–2 499 employés (27 %) dominent, suivis de 2 500–9 999 (20 %), 10 000–49 999 (10 %) et 50 000+ (6 %). La technologie/logiciel est le secteur le plus représenté avec 23 %, suivi par la vente au détail/biens de consommation (15 %), la santé/sciences de la vie (12 %) et l'industrie manufacturière (10 %).

Avec 157 répondants, l'échantillon est suffisamment grand pour fournir une indication directionnelle, mais doit être traité comme un signal plutôt que comme une mesure précise. Il est auto-sélectionné, ne constitue pas un échantillon probabiliste, et penche vers le marché intermédiaire — il reflète donc davantage le point de vue d'organisations en train de mettre en place des pratiques d'évaluation d'agents que celui des plus grands opérateurs.

Note : Cette enquête a été reconstruite pour la vague de juin à partir de l'enquête précédente « LLM observability and evaluations ». Les questions et l'échantillon étant différents, aucune comparaison n'est faite avec les données d'avril–mai.

Résultat 1 : Une évaluation réussie ne fait pas un agent fonctionnel

Les organisations ont été interrogées sur le fait d'avoir, au cours des 12 derniers mois, déployé un agent ou une fonction LLM qui avait réussi les évaluations internes mais qui a ensuite provoqué une défaillance face à un client. La moitié de celles qui effectuent des évaluations ont répondu par l'affirmative.

C'est la statistique définissante du rapport. La moitié des organisations (50 %) ont déployé une fonction IA qui a passé les évaluations internes puis a échoué face à un client — qu'il s'agisse d'un résultat incorrect, d'un flux de travail interrompu ou d'un incident de qualité. Un quart a connu cette situation plus d'une fois. Seulement 36 % ne signalent aucune défaillance de ce type, tandis que les autres soit n'effectuent aucune évaluation pré-déploiement (8 %), soit ne suivent pas suffisamment les causes profondes pour le savoir (6 %).

La défaillance est précise et consécutive : l'évaluation indiquait que l'agent était prêt, et il ne l'était pas. Tous les résultats qui suivent — la façon dont les entreprises font confiance à leurs évaluations, ce qu'elles surveillent et l'autonomie qu'elles accordent — sont façonnés par cette expérience.

Résultat 2 : Quasiment personne ne fait pleinement confiance à l'évaluation automatisée

Les répondants ont été interrogés sur la limitation qui réduit le plus leur confiance dans les évaluations automatisées d'agents. Seule une infime fraction des entreprises n'a signalé aucune plainte.

La confiance dans l'évaluation automatisée est rare et spécifique. Seulement 5 % des organisations déclarent faire pleinement confiance à l'évaluation automatisée telle qu'elle existe aujourd'hui, ce qui signifie que 95 % identifient un facteur limitant. La limitation la plus courante, citée par 29 %, explique directement le Résultat 1 : les évaluations correspondent mal aux résultats réels, laissant passer des agents qui échouent ensuite. Le biais ou l'incohérence suit avec 21 %, et le manque d'explicabilité — les entreprises ne peuvent pas toujours déterminer pourquoi une évaluation a abouti à son verdict — représente 18 %. 17 % supplémentaires citent des préoccupations relatives aux fuites de données ou à la confidentialité dans le processus d'évaluation lui-même.

Les tests conçus pour certifier les agents ne sont pas encore jugés fiables pour le faire, ce qui rend la trajectoire d'autonomie décrite dans le Résultat 3 particulièrement frappante.

Résultat 3 : Le plafond d'autonomie augmente malgré tout

Les organisations ont été interrogées sur leur volonté de laisser un agent autonome déployer une modification de code ou de système en production sur la base des seuls résultats d'évaluation automatisée, sans validation humaine.

C'est le paradoxe au cœur du rapport. Malgré une défiance quasi universelle envers l'évaluation automatisée (Résultat 2), deux tiers des organisations (66 %) autorisent soit déjà le déploiement sans intervention humaine pour les agents à faible risque (34 %), soit préparent activement leurs pipelines pour le permettre dans un délai d'un an (33 %). Seulement 22 % l'excluent pour un avenir prévisible.

La direction est sans ambiguïté : les entreprises s'orientent vers une production contrôlée de manière autonome par les évaluations — supprimant la vérification humaine — au moment même où elles reconnaissent que ces évaluations ne correspondent pas de manière fiable à la réalité. Le plafond d'autonomie augmente plus vite que les garanties qui le sous-tendent, créant le mécanisme par lequel les défaillances de fausse confiance du Résultat 1 se multiplieront au lieu de diminuer.

Notamment, cette dynamique vers l'autonomie n'est pas confinée aux petites entreprises. En divisant l'échantillon par taille d'entreprise, les grandes entreprises sont légèrement plus avancées sur le chemin de la suppression de la revue humaine que les plus petites (70 % contre 64 %) et sont légèrement plus susceptibles d'avoir déployé un agent ayant réussi l'évaluation qui a ensuite échoué face à un client (54 % contre 48 %). L'hypothèse selon laquelle les grandes organisations régulées maintiennent l'intervention humaine le plus longtemps est, dans cet échantillon, inversée. Ces chiffres sont directionnels, issus de 57 répondants d'entreprises de 2 500+ employés et 100 d'organisations plus petites.

Résultat 4 : La pile d'évaluation est fragmentée et dominée par les fournisseurs

Les répondants ont été interrogés sur la plateforme de fiabilité ou d'évaluation d'agents qu'ils utilisent principalement. Le marché n'a pas de leader clair, et une part importante n'a rien de dédié.

La couche d'évaluation est à un stade précoce et non consolidé. Les outils natifs des fournisseurs dominent : les évaluations natives et traces d'OpenAI (17 %) et les évaluations de l'Anthropic Claude Console (13 %) pèsent plus que toute plateforme indépendante. Cependant, les outils natifs des fournisseurs sont à égalité en tête avec une réponse notable — 17 % des entreprises n'utilisent aucun outil dédié d'évaluation d'agents, un manque frappant pour des organisations qui déploient des agents auprès de clients. Les fournisseurs spécialisés d'évaluation — DeepEval (12 %), Braintrust (8 %), LangSmith, Weave, Promptfoo, Langfuse et Arize — sont dispersés entre les chiffres unitaires et la dizaine basse, et 11 % ont construit leur propre solution. Aucune plateforme indépendante ne s'est encore imposée comme standard de la catégorie, ce qui laisse la plupart des entreprises évaluer leurs agents avec des outils natifs de fournisseurs, des scripts maison, ou rien du tout. Cette fragmentation reflète en partie le rythme en amont : les frameworks d'agents open source tels que LangChain, AutoGen et CrewAI se sont multipliés plus vite que les standards d'évaluation ne pouvaient se former, laissant chaque écosystème définir ses propres notions de correction.

Résultat 5 : La surveillance en production vérifie rarement la qualité des résultats

La surveillance en production d'un agent IA peut suivre deux choses fondamentalement différentes. Elle peut surveiller si le système fonctionne — l'agent est-il actif et répond-il, chaque requête s'est-elle terminée, à quelle vitesse, à quel coût, avec quelles erreurs. Ou elle peut surveiller si les résultats de l'agent sont corrects — des vérifications automatisées qui évaluent le contenu de chaque réponse au moment où elle est émise : l'agent a-t-il donné la bonne réponse, entrepris la bonne action, respecté les règles.

Cette distinction est importante car une réponse fausse mais formulée avec assurance est invisible au premier type de surveillance. La requête se termine, la réponse est rapide, aucune erreur n'est déclenchée, et toutes les métriques de fonctionnement indiquent un état sain.

Regroupées selon ce qui est réellement surveillé, les données sont sans appel : 51 % des organisations surveillent uniquement si l'agent fonctionne, tandis que 23 % surveillent si ses réponses sont correctes. En comptant les réviseurs occasionnels et ceux qui ne savent pas, environ les trois quarts des organisations ne réalisent aucune évaluation automatisée en temps réel de l'exactitude des résultats en production. Elles peuvent voir que le système est actif et combien il coûte, mais elles prennent l'exactitude de ses réponses sur la base de la foi.

L'obstacle technique à la résolution de cet écart est significatif : évaluer l'exactitude des résultats en temps réel nécessite généralement un second modèle — souvent appelé LLM-as-judge — pour noter chaque réponse au moment où elle est émise, une technique dont les propres limites de fiabilité et de cohérence font écho aux préoccupations mêmes que les entreprises expriment concernant l'évaluation automatisée dans le Résultat 2.

Cet angle mort est le pendant en exécution de l'écart pré-déploiement du Résultat 1 : les mêmes organisations qui suppriment l'humain de la décision de déploiement ne peuvent largement pas voir, en temps réel, quand l'agent déployé commence à produire des réponses erronées.

Résultat 6 : Acheté selon le coût, mesuré selon la cohérence

Les organisations ont été interrogées sur ce qui influence le plus leur choix de fournisseur d'évaluation et ce qu'elles considèrent comme leur principal critère de réussite. Les deux réponses sont pragmatiques.

Les entreprises achètent des outils d'évaluation sur des critères économiques et leur font confiance pour leur répétabilité. Le coût des évaluations (28 %) devance légèrement les critères de sélection, juste devant la facilité d'intégration (27 %) et la précision de l'évaluation (24 %). L'étendue de l'observabilité (13 %) et la feuille de route du fournisseur (4 %) comptent beaucoup moins.

Concernant la définition de la réussite, plus d'un tiers (36 %) citent la cohérence de l'évaluation — obtenir le même verdict pour le même comportement à chaque fois — loin devant la vitesse d'expérimentation (19 %), la réduction des défaillances (18 %), la visibilité en production (13 %) et la conformité (11 %). L'accent mis sur la cohérence est révélateur : avant que les entreprises puissent faire confiance au verdict d'une évaluation, elles ont besoin qu'il soit stable — la propriété même dont l'absence (biais et incohérence) figurait parmi les principales limitations de confiance dans le Résultat 2. La satisfaction à l'égard des outils actuels n'est que modérée, avec une moyenne de 3,8 sur une échelle de cinq points pour la satisfaction globale, la facilité de mise en œuvre et le rapport qualité-prix.

Résultat 7 : Le prochain dollar va à l'humain et à l'observabilité

Les répondants ont été interrogés sur l'investissement en fiabilité et évaluation qui connaîtra la plus forte croissance l'année prochaine. Les fonds se dirigent vers une surveillance plus rapprochée des agents — y compris par des personnes.

Le deuxième investissement planifié en importance — derrière uniquement l'observabilité en production — concerne les flux de revue humaine, à 26 %. Lu en regard du Résultat 1, c'est la contradiction la plus discrète du rapport : au moment même où deux tiers des entreprises suppriment l'humain de la décision de déploiement, plus d'entre elles prévoient d'augmenter les dépenses en réviseurs humains (26 %) que dans les pipelines d'évaluation automatisée (16 %) censés les remplacer. La trajectoire sans intervention humaine et le budget de revue humaine augmentent simultanément dans les mêmes entreprises. En effet, seulement 8 % indiquent que leur budget n'augmente pas.

Dans l'ensemble, les entreprises se couvrent : elles se dirigent vers l'autonomie tout en investissant pour surveiller les agents de plus près et en gardant des humains disponibles pour les décisions auxquelles l'évaluation automatisée ne peut pas encore être jugée fiable.

Résultat 8 : Une recomposition des outils est à venir

Les organisations ont été interrogées sur leur intention d'adopter une nouvelle plateforme d'évaluation, supplémentaire ou de remplacement, et lesquelles elles envisagent. Peu ont l'intention de rester immobiles.

Le marché de l'évaluation est grand ouvert. Alors que 36 % n'ont pas l'intention de changer, une nette majorité (64 %) a l'intention d'adopter une plateforme nouvelle, supplémentaire ou de remplacement dans les douze mois, et 31 % dans le prochain trimestre. L'ensemble des plateformes envisagées met en lumière les zones où l'usage actuel est le plus faible : DeepEval de Confident AI mène les plateformes en cours d'évaluation (20 %), devant les évaluations natives d'OpenAI (13 %) et Braintrust (9 %) — les spécialistes open source attirant plus d'intérêt que leur empreinte actuelle ne le suggérerait.

Étant donné que de nombreuses entreprises s'appuient aujourd'hui sur des outils natifs de fournisseurs ou sur rien du tout (Résultat 4), il s'agit moins d'une défection que d'une première véritable vague d'adoption d'outils — le moment où la couche d'évaluation commence à se consolider. Les plateformes qui gagneront cette confiance, dans un marché où quasi personne ne fait encore confiance à l'évaluation automatisée, restent la question ouverte que cette série continuera de suivre.

Conclusion : Un écart d'évaluation que l'autonomie va creuser, pas combler

Les organisations de 100 employés ou plus accordent aux agents IA plus d'indépendance que ce que leurs évaluations peuvent étayer. La moitié a déjà déployé un agent qui a réussi ses évaluations puis a échoué face à un client. Presque aucune ne fait pleinement confiance à l'évaluation automatisée, principalement parce qu'elle ne correspond pas aux résultats réels. La plupart surveillent la production pour la disponibilité et le coût plutôt que pour l'exactitude des réponses de l'agent. Pourtant, deux tiers autorisent déjà, ou préparent activement, le déploiement en production sur la base de l'évaluation automatisée seule.

Cette dynamique se déploie alors que les cadres réglementaires commencent à formaliser les attentes en matière de tests d'IA. l'EU AI Act, entré en vigueur en août 2024, introduit des obligations fondées sur les risques, notamment l'évaluation pré-déploiement et la surveillance post-marché pour les systèmes d'IA à haut risque. Le NIST AI Risk Management Framework, publié en janvier 2023, fournit des recommandations volontaires pour mesurer, gérer et surveiller la fiabilité de l'IA. Ces deux cadres soulignent le même principe que les données de l'enquête révèlent : la capacité de démontrer une évaluation digne de confiance devient une exigence, non une préférence.

Le marché des fournisseurs est précoce et instable : les principaux outils d'évaluation sont les évaluations natives des fournisseurs, à égalité avec l'absence totale d'outil dédié, et une nette majorité prévoit d'adopter ou de changer de plateforme dans l'année. Le prochain dollar va à l'observabilité et — de manière révélatrice — à la revue humaine, ce qui suggère que les entreprises sentent l'écart même lorsqu'elles le contournent par l'ingénierie.

Avec 157 répondants en une seule vague, il s'agit d'une lecture directionnelle, penchée vers le marché intermédiaire. La direction, cependant, est claire : l'autonomie est accordée sur la base d'évaluations auxquelles ceux qui l'accordent ne font pas encore confiance. L'écart d'évaluation n'est pas un problème de couverture que de simples tests supplémentaires combleront ; c'est un problème d'évaluations qui reflètent la réalité et auxquelles on peut faire confiance pour la contrôler. La question ouverte pour les prochaines vagues est de savoir si les garanties rattraperont l'autonomie — ou si les défaillances de fausse confiance passeront d'incidents clients à des modifications qui se déploient d'elles-mêmes.

Basé sur les réponses à l'enquête de 157 répondants entreprises qualifiés (100+ employés), issues d'une seule vague de juin 2026. Il s'agit d'une lecture directionnelle plutôt que d'une mesure précise — l'échantillon est auto-sélectionné, non probabiliste, et penche vers le marché intermédiaire. Les répondants incluent des chefs de produit et de programme, des consultants et conseillers, des directeurs d'ingénierie/IT et des CIO/CTO/CISO, parmi d'autres fonctions, dans les secteurs de la technologie/logiciel, de la vente au détail/biens de consommation, de la santé/sciences de la vie, de l'industrie manufacturière et d'autres secteurs.