157社の企業を対象に見ると、組織はAIエージェントにより大きな自律性を与える一方で、その自律性を管理するための評価への信頼を低下させている。半数は、社内評価に合格したエージェントをすでに導入したものの、顧客の前で障害を起こした経験がある。現在、自動評価を全面的に信頼しているのは20社に1社にすぎず、最も頻繁に挙げられた弱点は、評価が現実世界の成果と一致しないことだった。それでもなお、組織の3分の2は、人間を介さず、自動評価のみに基づいてエージェントの変更を本番環境へデプロイすることをすでに認めているか、その方向で積極的にエンジニアリングを進めている。

その結果として生じているのが、VentureBeatのいう「評価ギャップ」だ。これは、企業がエージェントに与える自律性の大きさと、障害を検出するために設計されたテストへの信頼度との間の距離を指す。このギャップには構造的な側面もある。従来型ソフトウェアでは、決定論的な単体テストや統合テストによって期待される挙動を検証できる。一方、AIエージェントは複数の推論ステップを連鎖させ、外部ツールやAPIを呼び出し、同じ入力に対しても可変的な出力を生成する。そのため、何が正しい結果なのかを定義すること自体が本質的に難しく、ましてそれを自動テスト化することはさらに困難だ。

調査の概要

VentureBeat Pulse Researchの今回の調査 — Agentic Reliability & Evals tracker — は、技術リーダーがエージェントの性能をどのように測定しているか、どの信頼性・評価プラットフォームを利用しているか、それらをどのように選定し信頼しているか、本番環境で何が破綻するのか、そして人間の監督なしにどこまでエージェントを稼働させる意思があるのかを検証している。

調査方法

VentureBeatは、継続中のPulse Researchシリーズの一環として本調査を実施した。回答は従業員100人以上の組織（n=157）に絞り込まれており、2026年6月に実施された単一の調査から得られたものだ。これは複数月のサンプルを統合したものではなく単一の波であるため、レポートは横断的な分析として扱われ、前月比の傾向は推定していない。複数回答が可能な設問では、割合の合計が100%を超える場合がある。

回答者の役職を見ると、サンプルは上級層であり、購買判断に関与する信頼性の高い層で構成されている。38%はAI購入に関する最終意思決定者であり、さらに34%は推薦者またはインフルエンサーだった。明示された役職には、プロダクトおよびプログラムマネージャー（15%）、コンサルタントおよびアドバイザー（10%）、エンジニアリング／ITディレクター（8%）、CIO/CTO/CISO（8%）が含まれ、大きな「その他」カテゴリ（37%）も存在する。

組織規模別では、サンプルはミッドマーケットに寄っている。100–499人（37%）と500–2,499人（27%）が中心で、続いて2,500–9,999人（20%）、10,000–49,999人（10%）、50,000人以上（6%）となっている。業種別では、テクノロジー／ソフトウェアが23%で最大であり、リテール／消費者向け（15%）、ヘルスケア／ライフサイエンス（12%）、製造業（10%）が続く。

回答者157人というサンプルは、方向性を把握するには十分な規模だが、精密な測定値ではなくシグナルとして扱うべきだ。サンプルは自己選択式であり、確率サンプルではなく、ミッドマーケットに偏っている。そのため、大手事業者全体の見方というよりも、エージェント評価の実務を積極的に構築している組織の視点として読むのが適切だ。

注：本調査は、以前の「LLM observability and evaluations」調査をもとに6月波向けに再構成された。設問とサンプルが異なるため、4月–5月のデータとの比較は行っていない。

調査結果1：評価に合格しても、機能するエージェントとは限らない

組織には、過去12カ月間に、社内評価に合格したエージェントまたはLLM機能を導入した後、顧客向けの障害を引き起こしたことがあるかを尋ねた。評価を実施している組織の半数が、経験があると回答した。

これは本レポートを特徴づける統計だ。組織の半数（50%）は、社内評価を通過したAI機能を出荷した後、顧客の前で失敗した経験がある。失敗の内容は、不正確な出力、ワークフローの破綻、品質インシデントなどだ。4分の1は、これを複数回経験している。こうした障害はなかったと回答したのは36%にとどまり、残りは本番前評価を実施していない（8%）か、根本原因を把握できるほど詳細に追跡していない（6%）。

この失敗は明確で重大だ。評価はエージェントが準備できていると示したが、実際にはそうではなかった。その後のすべての調査結果 — 企業が評価をどのように信頼しているか、何を監視しているか、どれほどの自律性を与えているか — は、この経験によって形作られている。

調査結果2：自動評価を全面的に信頼している組織はほとんどない

回答者には、自動エージェント評価への信頼を最も低下させている制約は何かを尋ねた。不満がまったくないと答えた企業はごくわずかだった。

自動評価への信頼は乏しく、かつ具体的な理由に基づいている。自動評価を現状のまま全面的に信頼していると答えた組織はわずか5%であり、つまり95%は何らかの制約要因を挙げている。最も多かった制約は29%が挙げたもので、調査結果1を直接説明している。すなわち、評価が現実世界の成果と十分に一致せず、後に失敗するエージェントを合格させてしまうという問題だ。続いて、バイアスまたは一貫性の欠如が21%、説明可能性の不足 — 企業が評価の判定理由を常に判断できるわけではないこと — が18%だった。さらに17%は、評価プロセス自体におけるデータ漏えいまたはプライバシー上の懸念を挙げた。

エージェントを認証するために設計されたテストは、まだその役割を果たすものとして信頼されていない。この点が、調査結果3で示される自律性の進展を特に際立たせている。

調査結果3：それでも自律性の上限は引き上げられている

組織には、人間による検証を介さず、自動評価の結果のみに基づいて、自律型エージェントがコードまたはシステム変更を本番環境にデプロイすることを認めるかどうかを尋ねた。

これが本レポートの中心にある逆説だ。自動評価に対する不信がほぼ普遍的であるにもかかわらず（調査結果2）、組織の3分の2（66%）は、低リスクのエージェントについて人間を一切介さないデプロイをすでに認めている（34%）か、1年以内にそれを可能にするパイプラインを積極的に構築している（33%）。近い将来にわたって認めないとする組織は22%にとどまった。

方向性は明確だ。企業は、評価が現実と確実に一致していないことを認めているまさにその時点で、人間による確認を取り除き、評価が自律的に本番環境へのゲートとなる方向へ進んでいる。自律性の上限は、その下にある保証よりも速く上昇しており、これにより調査結果1で見られた過信に基づく失敗は縮小するのではなく拡大する仕組みが生まれている。

注目すべきは、この自律性への動きが小規模企業に限られない点だ。会社規模でサンプルを分けると、大企業は小規模企業よりも、人間によるレビューをゼロにする道筋でやや先行しており（70%対64%）、評価に合格したエージェントがその後顧客に対して失敗した経験もやや多い（54%対48%）。規制対象になりやすい大規模組織ほど人間を最後までループ内に残すという想定は、このサンプルでは逆転している。これらの数値は、従業員2,500人以上の企業の回答者57人と、それより小さい組織の回答者100人から得られた方向性を示すものだ。

調査結果4：評価スタックは断片化しており、プロバイダー主導である

回答者には、主に利用しているエージェント信頼性または評価プラットフォームを尋ねた。市場には明確なリーダーがなく、専用ツールを持たない組織も相当数ある。

評価レイヤーはまだ初期段階で、統合されていない。プロバイダー標準のツールが先行しており、OpenAIのネイティブ評価とトレース（17%）、AnthropicのClaude Console評価（13%）を合わせると、どの独立系プラットフォームよりも大きい。しかし、プロバイダー標準ツールと首位で並ぶ注目すべき回答がある。企業の17%は、専用のエージェント評価ツールをまったく使っていない。これは、顧客向けにエージェントを出荷している組織にとって大きなギャップだ。専門評価ベンダーであるDeepEval（12%）、Braintrust（8%）、LangSmith、Weave、Promptfoo、Langfuse、Arizeは、1桁台から低い2桁台に分散しており、11%は自社でソリューションを構築している。独立系プラットフォームの中で、まだカテゴリ標準になったものはない。その結果、多くの企業はプロバイダー標準ツール、自社製スクリプト、または何もない状態でエージェントを評価している。この断片化は、上流の動きの速さも一因だ。LangChain、AutoGen、CrewAIのようなオープンソースのエージェントフレームワークは、評価基準が形成されるより速く普及し、それぞれのエコシステムが独自に正しさの概念を定義する状況を生んだ。

調査結果5：本番監視は出力品質をほとんど見ていない

AIエージェントの本番監視では、根本的に異なる2つの対象を追跡できる。1つは、システムが機能しているかどうかの監視だ。エージェントは稼働し応答しているか、各リクエストは完了したか、速度はどうか、コストはいくらか、エラーは発生しているか。もう1つは、エージェントの出力が正しいかどうかの監視だ。各応答が送信される際に、その内容を評価する自動チェックであり、エージェントは正しい答えを出したか、正しいアクションを取ったか、ポリシーの範囲内にとどまったかを確認する。

この違いは重要だ。自信を持って間違った回答は、前者の監視では見えないからだ。リクエストは完了し、応答は速く、エラーは発生せず、すべての機能指標は健全に見える。

実際に何が監視されているかで分類すると、その差は鮮明だ。組織の51%はエージェントが機能しているかだけを監視しており、回答が正しいかを監視しているのは23%にとどまる。アドホックなレビュアーや把握していない回答者も含めると、およそ4分の3の組織は、本番環境における出力の正確性について、自動化されたリアルタイム評価を実施していない。システムが稼働していることとコストは見えているが、回答の正しさについては信頼に委ねている。

このギャップを埋める技術的な障壁は大きい。出力の正確性をリアルタイムで評価するには通常、各応答を送信時に採点する第2のモデル — しばしばLLM-as-judgeと呼ばれる — が必要になる。しかしこの手法自体の信頼性や一貫性の限界は、調査結果2で企業が自動評価について挙げた懸念を反映している。

この盲点は、調査結果1で示された本番前のギャップに対応する実行時の問題だ。デプロイ判断から人間を外そうとしている同じ組織の多くは、デプロイされたエージェントが誤った回答を出し始めたとき、それをリアルタイムで把握できていない。

調査結果6：購入基準はコスト、評価基準は一貫性

組織には、評価ベンダーの選定に最も影響する要因と、成功の主要指標として何を重視しているかを尋ねた。どちらの回答も実務的だった。

企業は評価ツールを経済性に基づいて購入し、反復可能性に基づいて信頼する。評価コスト（28%）が選定基準として僅差で首位となり、統合の容易さ（27%）と評価精度（24%）が続いた。オブザーバビリティの幅（13%）やベンダーのロードマップ（4%）の重要度はかなり低い。

成功の姿については、3分の1を超える回答者（36%）が評価の一貫性 — 同じ挙動に対して毎回同じ判定を受けること — を挙げており、実験速度（19%）、障害の削減（18%）、本番可視性（13%）、コンプライアンス（11%）を大きく上回った。一貫性の重視は示唆的だ。企業が評価の判定を信頼する前に、その判定が安定している必要がある。これはまさに、調査結果2で信頼を損なう上位要因に挙げられた性質（バイアスと一貫性の欠如）の裏返しである。現在のツールへの満足度は中程度にとどまり、総合満足度、実装の容易さ、費用対効果を合わせた5段階評価の平均は3.8だった。

調査結果7：次の投資は人間とオブザーバビリティへ向かう

回答者には、今後1年で最も伸びる信頼性・評価投資は何かを尋ねた。資金は、エージェントをより綿密に監督する方向 — 人間を介した監督を含む — に流れている。

計画されている投資のうち、プロダクション・オブザーバビリティに次いで2番目に大きいのは、人間によるレビューワークフローで26%だった。調査結果1と照らし合わせると、これは本レポートで最も静かな矛盾だ。企業の3分の2がデプロイ判断から人間を外す方向でエンジニアリングを進めているのと同時に、人間レビュアーへの支出を増やす計画の企業（26%）は、それを置き換えるはずの自動評価パイプラインへの支出（16%）より多い。ゼロ・ヒューマンの軌道と人間レビュー予算は、同じ企業内で同時に上昇している。実際、予算が増えないと回答したのは8%にすぎない。

総合すると、企業はヘッジしている。自律性に向けて構築を進めながら、エージェントをより注意深く監視するために投資し、自動評価にまだ任せられない判断のために人間を利用可能な状態に保っている。

調査結果8：ツールの入れ替えが近づいている

組織には、新規、追加、または置き換えの評価プラットフォームを採用する予定があるか、またどのプラットフォームを検討しているかを尋ねた。現状維持を意図している組織は少ない。

評価市場は大きく開かれている。36%は変更の予定がない一方で、明確な過半数（64%）は12カ月以内に新規、追加、または代替のプラットフォームを採用する意向であり、31%は次の四半期内を予定している。検討対象は、現在の利用が最も薄い領域を浮き彫りにしている。企業が評価しているプラットフォームではConfident AIのDeepEvalが首位（20%）で、OpenAIのネイティブ評価（13%）とBraintrust（9%）が続く。オープンソース系の専門プレイヤーは、現在の導入規模から想定される以上の関心を集めている。

現在、多くの企業がプロバイダー標準ツールまたは何もない状態に依存していることを踏まえると（調査結果4）、これは離反というより、ツール導入の最初の本格的な波であり、評価レイヤーが統合され始める瞬間だ。自動評価をまだほとんど誰も信頼していない市場で、どのプラットフォームが信頼を獲得するのかは、このシリーズが今後も追跡する未解決の問いである。

結論：自律性によって縮まるのではなく広がる評価ギャップ

従業員100人以上の組織は、自社の評価が支えられると信頼している以上の独立性をAIエージェントに与えている。半数は、評価に合格したエージェントをすでに出荷し、その後顧客に対して失敗している。自動評価を全面的に信頼している組織はほとんどなく、その主な理由は現実世界の成果と一致しないことだ。多くは、エージェントの回答が正しいかどうかではなく、稼働時間とコストを本番監視している。それでも3分の2は、自動評価のみに基づく本番環境へのデプロイをすでに認めているか、その実現に向けて積極的に構築している。

この動きは、AIテストへの期待を規制フレームワークが正式化し始める中で進んでいる。2024年8月に発効したEU AI Actは、高リスクAIシステムに対する本番前評価や市場投入後監視を含む、リスクベースの義務を導入している。2023年1月に公開されたNIST AI Risk Management Frameworkは、AIの信頼性を測定、管理、監視するための任意ガイダンスを提供している。両フレームワークは、調査データが示す同じ原則を強調している。信頼できる評価を実証する能力は、選好ではなく要件になりつつあるということだ。

ベンダー市場は初期段階で不安定だ。最も一般的な主要評価ツールはプロバイダー標準の評価であり、専用ツールがまったくない状態と同率で並んでいる。また、明確な過半数が年内にプラットフォームを採用または切り替える計画だ。次の投資はオブザーバビリティ、そして特に人間によるレビューに向かっており、企業がこのギャップを認識しながらも、それを越えてエンジニアリングを進めていることを示している。

単一波の回答者157人に基づく本調査は、ミッドマーケット寄りの方向性を示すものだ。しかし方向性は明確である。自律性は、それを与えている人々がまだ信頼していない評価を根拠に付与されている。評価ギャップは、テストを増やすだけで解消するカバレッジの問題ではない。現実を反映し、その現実へのゲートとして信頼できる評価の問題である。今後の波で問われる未解決の問題は、保証が自律性に追いつくのか、それとも過信による失敗が顧客インシデントから、自己デプロイされる変更へとエスカレートするのかである。

本調査は、2026年6月の単一波から得られた、従業員100人以上の適格な企業回答者157人の回答に基づく。これは精密な測定ではなく方向性を示す読み取りであり、サンプルは自己選択式で、確率サンプルではなく、ミッドマーケットに偏っている。回答者には、プロダクトおよびプログラムマネージャー、コンサルタントおよびアドバイザー、エンジニアリング／ITディレクター、CIO/CTO/CISOなどが含まれ、業種はテクノロジー／ソフトウェア、リテール／消費者向け、ヘルスケア／ライフサイエンス、製造業、その他にわたる。