月に約4億件のクエリを処理するAI検索エンジンの運用には多大なコストがかかる。Perplexity AIはこうした費用を削減するため、コンパクトな埋め込みモデルから兆単位パラメータのモデルを稼働できる専有エンジンまで、カスタムサービング技術に関する研究を発表しながら、基盤の構築を静かに進めてきた。

この取り組みは業界全体の現実を反映している。AI検索エンジンは、従来のキーワード検索にはない計算コストをクエリごとに負担しており、消費者規模でAIの回答を経済的にする競争において、推論効率が主要な戦場になっている。

検索向けコンパクト埋め込みモデル

Perplexityの検索改善の中核にあるのが、pplx-embed-v1とpplx-embed-context-v1からなるpplx-embedモデルファミリーだ。モデルは2つのサイズで提供され、6億パラメータ版と、より大きい40億パラメータ版がある。いずれも2026年2月にリリースされた。

量子化技術——モデルの重みの数値精度を精度を損なわずに低下させる手法——により、Perplexityはストレージ要件を最大32分の1削減できると主張している。両モデルは低ストレージでの展開向けに特化して最適化されており、これはウェブ規模の検索では毎回膨大な埋め込み文書インデックスを探索する必要があるという現実を反映した設計判断だ。

ROSEとカスタムネットワーク

より野心的な基盤が、Runtime-Optimized Serving Engineの略である「ROSE」だ。2025年2月頃に導入されたROSEは、今日の最大級の言語モデルの多くを支える、ますます普及するMixture-of-Experts(MoE)形式を含む幅広いモデルアーキテクチャのサービングに対応するよう設計されている。MoEアーキテクチャはクエリごとにモデルのパラメータの一部のみを活性化するが、GPU間通信に大きな負荷をかけるため、ネットワーク効率は低コストでのサービングの鍵となる。

PerplexityはカスタムRDMAネットワーク最適化によってMoEサービングに取り組み、最大97.1%の帯域効率を達成した。RDMA(Remote Direct Memory Access)は、GPUがCPUを経由せずに通信できるようにする技術だ。このエンジンはAWS Elastic Fabric Adapter環境上で動作する。2025年11月、Perplexityはこれらの最適化を詳述した初の論文をarXivで発表し、兆単位パラメータモデルのサービングで最先端のレイテンシをもたらすと同社が述べるカスタムMoEカーネルを含む「fabric-lib」というライブラリをオープンソース化した。この公開は、DeepSeekが推論最適化技術を公開した例のように、AI研究所がサービング基盤研究を公開する広がる潮流と一致している。

ハイブリッド推論とデバイス上処理

2026年6月、Perplexityはハイブリッドのローカル・クラウド推論オーケストレーターを発表した。このシステムは、クエリの複雑さに応じて、ローカルハードウェア上で動作するデバイス上モデルと、より強力なクラウドベースのモデルの間でタスクを自動的に振り分ける。オーケストレーターは複数のローカルシリコンオプションに対応しており、特定のクエリをデバイス上で処理すればサーバーに一切送信されず、サービングコストを完全に排除するとともに、レイテンシやプライバシーへの配慮にも応える。

推論競争における位置づけ

PerplexityはNVIDIAのインフラ上で運用しており、AIワークロードの定番となったGPUクラウドプロバイダーCoreWeaveともNVIDIAとも戦略的パートナーシップを維持している。月4億件のクエリ規模では、ROSEの97.1%の帯域効率と量子化埋め込みによる32分の1のストレージ削減が、インフラコストの節減に直結する。今後の注目点は、Perplexityが公開したサービングスタックとハイブリッドオーケストレーターが、自社推論基盤を構築するより大規模な競合相手に対する差別化要因となるかどうか、そしてオープンソース化されたfabric-libがAIサービングコミュニティ全体で採用を広げるかどうかである。