米国最大の暗号資産取引所コインベースは、かつて手作業での準備と実行に1〜2週間を要していた約90ケースのサポートテストサイクルを、現在は30〜45分で完了できると発表した。9月21日に同社のエンジニアが明らかにしたこの数字は、ブライアン・アームストロングCEOが推進する取引所のAIネイティブ企業化の取り組みに、具体的なデータを与えるものだ。

この成果を支えているツールは「Autopilot」と呼ばれる。同社のサポートボットが顧客の問題に対応する際に従う手順を検証し、手順変更が本番環境に反映される前に人間による承認を必須としている。アームストロングの経営モデルにとって未解決の課題は、より迅速な手順開発が信頼性の高いサポートと顧客アカウントへの説明可能な対応をもたらすかどうかだ。

顧客は、アカウントの問題が正しく解決されること、また自分のデータが適切な権限でのみアクセスされることを必要としている。コインベースの公表情報は両方のニーズに対応する取り組みを説明しているが、顧客への影響は測定されていない。同社がより多くの業務を自動化するなかで、変更の承認、権限の制限、実際の成果の測定は引き続き運用上の責任として残る。

時間短縮の源泉

アームストロングは5月5日のメモで、暗号資産市場の低迷と、AIが従業員の働き方を変えていることを理由に、約14%の人員削減を発表した。別の報道では削減人数は約700人とされている。彼は管理層の削減、自らも実務に直接貢献するリーダー、より小規模なAIネイティブチーム、そして「一人チーム」の実験を提案した。

9月のエンジニアリング報告は、この経営上の主張を具体的なサポートプロセスに落し込んだものだ。コインベースによれば、同社のボットはアカウントの状態を照会し、限定的なアクションを実行し、より高度な判断を要する問題を人間にエスカレーションする。Autopilotは、こうしたボットが従う手順の保守を支援する。

そのテストサービスは、分離されたテストユーザーと模擬的なアカウント状態を作成し、会話をシミュレーションし、トランスクリプトとツールの結果を記録し、何が起きたかを期待される動作と照らして評価する。エージェントがテストの生成を支援することもあり、反復可能なランナーがそれらを実行する。コインベースは、テストサービス、GitHub Actions(ソフトウェアワークフローを実行する広く利用されている自動化サービス)上で動作するリリースゲート、エンジニアリング部門と非エンジニアリング部門の両方が利用できるインターフェースを組み合わせたハイブリッドシステムを出荷したと述べている。

この分担こそが、時間比較を意味あるものにしている。テストアカウントの準備、会話の実行、結果の収集を繰り返すことは、まさに共有サービスが一貫して実行できる反復作業だ。ケースと期待される結果が適切であり続ける限り、より高速な検証により、手順変更をより頻繁にチェックすることが現実的になる可能性がある。

報告された比較が測定しているのは検証サイクルのみであり、顧客の応答時間や人員削減効果はその範囲外だ。このサイクルを人員削減と結びつけるには、どの業務が置き換えられ、どの程度のコストが生じたかを示す証拠が必要となる。

短いテストサイクルは、コインベースに変更を評価するより多くのキャパシティを与える。そのキャパシティがより良いサポートを生むかどうかは、テストが何をカバーするか、レビュアーがその発見をどう扱うか、そして結果として得られた手順がデプロイ後にどう機能するかにかかっている。

人間によるレビューはリリース境界に留まる

Autopilotは、期待される動作のテストに加えて、敵対的な会話も使用する。コインベースは、AIモデルがそれらの会話を採点すると説明するが、その「判定者」が誤る可能性があることも認めている。スコアは人間によるレビューとリリースゲートに供給されるのであり、手順の準備完了を独立して判断するものではない。

リース境界は、提案された手順と、サポートボットが顧客に対して使用できる手順を区別する。エージェントは変更を提案できるが、本番環境への書き込みと有効化の承認は人間が行わなければならない。これは、自動化された品質ループがレビューなしで自らの成果を昇格させることを防ぐ安全装置であり、システムが高速化するなかでもレビューが運用上の責任として残ることを意味する。

承認の範囲は正確に読み解く必要がある。コインベースの声明は、サポート手順の変更とその有効化に関するものである。デプロイされたボットが個々の顧客のアカウントに対して行うすべてのアクションを人間が承認するとは述べていない。

さらなる自動化は未完了のままだ。コインベースは、発見、作成、テスト、分析は存在するものの、特定されたパフォーマンスギャップから手順の昇格に至るまでのオーケストレーションはまだ開発中であると述べている。会話サマリーのための完全に共有されたコントラクトも未完了だ。これは自動化の利得とともに、統合作業を残すことになる。弱いフローを特定し、修正版を生成してテストするシステムであっても、それらのステップ間で信頼性の高い情報を受け渡し、リリースについて説明可能な意思決定を行う必要がある。

実行権限は独立した制御である

コインベースの8月18日の社内運用に関する報告は、顧客保護のもう一つの側面、すなわち誰が顧客データにアクセスでき、誰がそれを変更できるかに触れている。

同社はControl Centerを、サポート、コンプライアンス、法務、リスク、エンジニアリングのための独立した共有プラットフォームとして説明している。コインベースはAutopilotへの適用範囲については明らかにしていない。このプラットフォーム内では、認可、監査記録、承認、レート制限が基盤サービスの前に置かれている。

権限チェックは、要求されたアクションと対象の顧客の双方を考慮する。顧客スコープの操作に必要な顧客コンテキストが欠けていれば、拒否される。アクセスは担当ケースに紐付けられ、関係する顧客に限定され、有効期限が設定される。

返金、アカウント状態の変更、上限の上書きといった指定された機微な変更については、プラットフォームは変更の提案と実行を分離している。提案はレビューに入り、必要な承認が揃わなければならず、後、別の実行者が変更を実行する。失敗は人間による対応に委ねられる。

これらの制御は、会話ベースのテストだけでは答えられない問いに答えるものだ。手順は期待される応答を記述できるが、呼び出し元が当該の顧客データにアクセスできるかどうかは認可システムが決定し、機微な変更が進められるかどうかは承認ルールが決定する。

Control Centerは、継続的な作業も明示している。コインベースは、自動化されたエージェントを含む新しいクライアントタイプを認可・監査・レート制限のルールの下に組み入れ、呼び出し元が変わるたびに認証境界を再検証する必要があると述べている。

これらの制御がサポート自動化にどう適用されるかを確立するには、どのボットとアクションが権限チェックと承認チェックを通過するかについて、より明確な説明が必要だ。関連するカバレッジの指標は、これらのルールに支配される顧客操作の集合である。

AIネイティブな経営モデルにとって、帰結は明快だ。自動化された呼び出し元を追加する場合でも、その権限を規定するルールを維持する人が必要になる。アーキテクチャはその作業をより一貫したものにできるが、その有効性は、それぞれの新しい呼び出し元をルールの中に留めることに依存する。ケースに紐付けられたアクセスは具体例だ。ケースと呼び出し元が変わっても、権限は担当業務と一致し続けなければならない。より高速な手順開発と並行して、アカウントの境界は維持されなければならない。

より多くのテストには成果の測定が依然必要

活動を成果と結びつける必要があることは、コインベースの別のセキュリティプラットフォーム「Continuous Adversarial Testing(CAT)」にも当てはまる。9月15日、コインベースは2026年半ば以降、本番環境に対して15万回を超えるスキャンを実施し、そのうち12万8,000回以上が提案されたコード変更のプルリクエストレビューであり、ペネトレーションテスト(擬似サイバー攻撃)で発見された問題の修正も増えていると報告した。これらの報告された活動と修正は、セキュリティの文脈を提供する。

テストとデプロイ後のパフォーマンスの区別は、米国国立標準技術研究所(NIST)の2024年7月の生成AIリスクプロファイルの中心にもある。米国政府の標準機関であるNISTが公表したこの任意のフレームワークは、管理されたテストでは問題を見落とす可能性があるため、実世界のシナリオでシステムを評価することを推奨しており、実験室とデプロイ環境との間の測定ギャップについても論じている。このフレームワークは、コインベースのような主張を評価するための一般的な物差しを提供する。

Autopilotはすでに顧客指標へと向かう動きを見せている。コベースは、顧客の意図ラベル、解決状況、顧客満足度のシグナルが、弱い高ボリュームのサポートフローを特定するのに役立っていると述べている。これは、テストの完了と顧客の問題の解決が異なる指標であることを同社が認識していることを示唆する。

しかし、9月の報告には、顧客問題解決率や安全性に関する定量化された介入前後の結果は公表されていない。次に有用な証拠は、デプロイされた手順をこれらの成果と結びつけるものであり、テストシステムと権限システムがカバーする関連サポート活動の割合も併せて示されるべきだ。

解決の品質は、自動化が顧客の問題を解決しているかどうかを示すのに役立つ。エスカレーションのパフォーマンスは、人間の判断を要するケースが適切に人間へ届いているかを示すのに役立つ。不正なアクションやエラーに関する証拠は、テストスイートの実行時間よりも、保護の実態をより直接的に示すものだ。

報告された30〜45分の検証サイクルは、業務が自動化されている具体例だ。公表された承認ゲートとアクセス制限は、説明責任を経営モデルの一部にしている。顧客に対する価値を実証するには、その両方を実際のサポートでの成果と結びつけるとともに、公表されたシステムが依然として要するレビューとガバナンスの作業を担い続ける必要がある。