AI がチャットボットから自律型エージェントへ移行するにつれ、オープンモデルは、AI をどこで実行し、どのように展開し、どのように進化させるかについて完全な制御を求める市場の需要に応えています。

本日 NVIDIA は、Nemotron 3 モデルファミリーを拡張し、Nemotron 3.5 Lightning を発表しました。これは、長時間稼働するエージェントAIワークロード向けに同クラスで最高効率をうたう 300億パラメータの mixture-of-experts モデルです。このリリースは Nemotron 3 Nano に続くもので、精度と速度の向上に向けてオープンモデルを継続的に改善する NVIDIA の取り組みを反映しています。

また NVIDIA は、人気のエージェントツール内でスマートルーティングを行うためのオープンソースライブラリ NeMo Switchyard も公開します。企業はこれを使って、自社の要件に基づくルーターを構築できます。導入後は、NeMo Switchyard がアプリケーションの書き換えを必要とせず、各リクエストをその処理に最も適した高性能なモデルへインテリジェントに振り分けます。

Nemotron 3.5 Lightning と NeMo Switchyard を組み合わせることで、PC、ワークステーション、データセンター、クラウド全体にわたり、AI の展開方法、実行場所、運用効率に対する制御をより高めることができます。

常時稼働エージェントにはモデルのシステムが必要

現代のエージェントシステム—常時稼働エージェント—は、異なるタスクごとに特化した複数のモデルで構成される「モデルのシステム」、すなわちモデルアンサンブルとして動作する傾向が強まっています。

NVIDIA のオープンモデル Nemotron は、このアーキテクチャ向けに設計されています。Nemotron 3 Ultra や GPT-5.6 のような最先端の推論モデルがワークフロー全体の計画と統括を担い、Nemotron 3.5 Lightning のような小型の特化モデルが、コードレビュー、ツール利用、セキュリティアラートの監視、請求関連の質問への回答などの対象タスクを実行できます。

Nemotron 3.5 Lightning で高頻度の専門タスクを処理

NVIDIA Nemotron 3.5 Lightning は、常時稼働エージェントを支える高頻度タスク向けに構築された、完全にカスタマイズ可能なオープンモデルです。このモデルは Nemotron Coalition の貢献を受けて開発されており、同連合のメンバーが評価手法、推論ソフトウェア、データセットを提供してモデルの進化を支えました。

このモデルは出力速度が最大 4倍に向上し、同クラスの他モデルと比べてエージェントタスクの完了が 30% 速くなると NVIDIA は説明しています。また、オープンかつカスタマイズ可能であるため、組織は自社のドメインデータ、ツール、ワークフローを用いて NVIDIA NeMo で後段学習し、専門タスクの精度を向上させることができます。

業界をまたいだ複数の AI リーダーが、すでにそれぞれのワークロード向けに Nemotron 3.5 Lightning をカスタマイズしています。たとえば CrowdStrike はサイバーセキュリティ用途で、Harvey は Trajectory とともに法務サービスで、CodeRabbit は Baseten と連携してコードレビューで活用しています。さらに Lila Sciences は物理科学および生命科学にわたるエージェントタスクの推論能力向上に取り組んでおり、Fastino Labs はモデルをカスタマイズして、ソフトウェア開発、金融、医療のワークロードで高い精度を示しているとしています。

Nemotron 3.5 Lightning は、組織にプライバシーと展開の柔軟性も提供します。NVIDIA RTX PCs、NVIDIA DGX Spark、NVIDIA DGX Station、NVIDIA Jetson を含むローカルAIシステム上で動作させることができ、既存インフラへの投資を最大化できます。また、エッジAIデバイス、NVIDIA RTX PRO workstations、データセンター、クラウド環境へとスケールさせ、企業向けユースケースに対応できます。さらに、高速応答が求められる高頻度の専門タスクについては、ローカルまたはオンプレミスで実行できます。

また、これまでの Nemotron の発表と同様に、NVIDIA はライセンス上許される範囲で学習データと手法をできるだけ公開し、追跡可能性、監査、他モデルの学習を可能にしています。Lightning と同時に、NVIDIA は Nemotron-RL-Agentic-Terminal-Pivot も公開します。これは、コーディングエージェント機能向けに後段学習するためのエージェント型強化学習データセットです。

モデルルーティングによる、より効率的なAIアプリ

モデルには、コーディング向け、推論向け、軽量タスク向け、プライバシーのためにローカル実行に最適化されたものなど、得意分野が異なります。顧客が1つの既定モデルだけに依存すると、過剰なコストを払うか、品質を損なう可能性があります。一方、ルーティングを手動で管理すると、導入を遅らせる統合作業が発生します。

NVIDIA NeMo Switchyard は、AI エージェント向けのオープンソースのモデルルーティングライブラリです。この技術は、エージェントワークフローの各段階で、特定の要件に基づいて最も高性能かつ効率的なモデルへプロンプトを自動的に振り分けます。エージェントアプリケーションの開発者は、品質、遅延、コスト要件などの優先事項に合わせて、異なるルーティングアルゴリズムでルーターを調整または変更できます。モデルのシステムでは、企業はトークノミクスを改善しつつ強力な AI エージェントを構築できます。

社内ベンチマークによると、NeMo Switchyard はフロンティア級の精度を維持しながら、タスク完了コストを Opus 4.8 単体の約 3分の1 に抑えます。

NVIDIA は AI エコシステム全体のパートナーと協力し、開発者がすでに使っているツールやプラットフォームにインテリジェントなモデルルーティングを組み込んでいます。

Boomi : Switchyard を5つのルーティング機能で評価し、ドメインルーティング精度 100% を達成。トラフィックの 59% を 5倍高速なファインチューニング済みモデルに振り分け、後続ターンの遅延を 21% 削減しました。

Cadence : ChipStack AI Super Agent を形式検証のユースケースで使用し、効率を 9.9% 向上させました。

Classmethod : 社内で opencode と Fireworks のワークロードに NeMo Switchyard を使用しており、初期テストでは品質を維持しながらコストを 27% 削減したとしています。

Cognition : NVIDIA 内部利用向けに、NeMo Switchyard の段階的ルーターを Devin Desktop に統合し、FrontierCode Main でフロンティア級に近い性能を達成しつつ、すべてのリクエストを単一の基盤フロンティアモデルに振り分けた場合と比べて平均コストを 28% 削減しました。

Kong : Kong AI Gateway を通じて、NeMo Switchyard によるルーティングをネイティブに提供します。

LangChain : 145 件のマルチターン Deep Agents タスクで、呼び出しの 7% だけをフロンティアモデルに振り分けることで、6% の精度トレードオフでコストを 74% 削減しました。

LiteLLM : 既存スタックを変更せずにルーティングの利点を利用できるよう、NeMo Switchyard をプロキシレイヤーのプラグインとして追加しています。

Nous Research : 開発者が簡単に設定できるルーティングシステムを提供するため、NeMo Switchyard を Hermes に統合しました。

Ramp : Ramp SWE-Bench で、フロンティアモデルの性能に合わせつつ、コストを 58% 、実行時間を 33% 削減するために NeMo Switchyard を使用しました。

Siemens : Fuse EDA AI Agent の効率向上に向け、ライブラリのベンチマークを実施しています。

Nemotron 3.5 Lightning は、Hugging Face、ModelScope、OpenRouter、build.nvidia.com で NVIDIA NIM マイクロサービスとして利用できるほか、NVIDIA Cloud Partners、後段学習プラットフォーム、推論プラットフォーム、クラウドサービスプロバイダーの広範なエコシステムでも提供されています。NeMo Switchyard は GitHub で利用でき、近くパートナープラットフォームにも登場する予定です。