ハーバード大学とMITの研究チームが、人類のデジタルな鏡を構築した。新しいAI評価インフラであるMatrAIxは、83億のAIペルソナを内蔵しており、地球上の全人口ほぼ一人につき一つに相当し、各ペルソナは1,290のカテゴリー次元にわたって定義されている。このシステムは、現実の人々と同様の行動をとる合成人口に対してAI製品をテストすることを目的として設計されている。

AIシステムが数十億のユーザーに到達する中、多様な人口集団におけるパフォーマンスを評価することは周知の課題となっている。従来のテスト手法は通常、限定的なユーザー調査やデプロイ後のテレメトリに依存しており、特定の人口統計セグメント内や人口規模でのみ表面化する障害を見逃す可能性がある。

検証試験では、ペルソナは割り当てられた行動特性に対して91.5%の確率（10の異なる行動属性にわたる400回の試験中366回）で一貫性を維持した。

MatrAIxの機能

プロジェクトの中核は「Persona 8B」というデータベースである。研究者はこれを合成人間の国勢調査と表現しており、各レコードは基本的な人口統計だけでなく、1,290の次元にわたる広範なプロファイルを記録している。

研究チームは評価用にSurvey、AI Chatbot、Web、Appの4つのインタラクティブな環境を構築した。これらの設定は、開発者が現実的なシナリオにおいて異なるユーザータイプと相互作用する際のAIシステムのパフォーマンスをテストすることを目的としている。

これらの環境において、研究チームは25以上のドメインにわたる1,000以上のタスクを編成した。また、8つの代表的なタスクにわたって18,189回の評価試験を実施した。

研究チームとデータ公開

「MatrAIx: Simulating the World with 8.3 Billion Persona Agents」と題された論文は、2026年8月4日にarXivに提出された。主な貢献者は、筆頭連絡先のXiaomin Liをはじめ、Yuexing Hao、Marinka Zitnik、James Zouであり、スタンフォード大学やその他の機関との追加的な所属関係もある。

研究チームはさらに、約100万件のペルソナからなる品質フィルタリング済みコアセットを公開した。そのうち60万件は実在人間のデータに基づき、40万件は合成データである。この公開により、他の研究グループやAI開発者が、デプロイ前に共通の大規模な合成人口を用いて自社のシステムのストレステストを行うことが可能になる。