概要

NVIDIAは2026年6月4日、総パラメータ数550B（1トークンあたりのアクティブパラメータ55B）のオープンウェイトMixture-of-Experts（MoE）モデル「Nemotron 3 Ultra」を正式リリースした。MambaレイヤーとTransformerの選択的Attentionレイヤーを組み合わせたハイブリッドアーキテクチャを採用し、長時間にわたるエージェント動作に最適化されている。米国製オープンウェイトモデルとして最高水準のIntelligence Indexスコア48を達成しており、HuggingFaceやNVIDIA NIM、OpenRouter、Together AIなど25以上のプラットフォームからアクセス可能。ライセンスはオープンウェイト・データ・レシピを包括するOpenMDW-1.1が採用されている。

アーキテクチャと技術革新

モデルは108レイヤー、8,192次元のモデル空間で構成される。Attentionヘッドは64クエリヘッドに対してキーバリューヘッドをわずか2つに抑えることでメモリフットプリントを最小化している。スパースMoE構造では1レイヤーあたり512のエキスパートを持ち、各トークンで上位22件が活性化される。

このリリースを特徴づける主な技術的革新は3点ある。まず「LatentMoE routing」はルーティングするエキスパートを拡張しながら隠れ次元を縮小することで、従来より高い効率を実現する。次に「Multi-Token Prediction」は並列トークン生成によるネイティブ投機的デコードを可能にし、デコードスループットを向上させる。最後に4ビット精度の「NVFP4量子化」（2次元ブロック量子化）により、記録された中で最大規模の安定したFP4トレーニングランが実現された。単一のNVFP4チェックポイント（1エレメントあたり5.03ビット）がBlackwellでのネイティブFP4、HopperでのW4A16モード、Ampereとの互換性をそれぞれ提供する。

トレーニングと長文脈対応

事前学習は2段階で計20兆トークンを使用した。前半15兆トークンは多様性重視、後半5兆トークンは品質重視の構成で、その後コンテキスト長を100万トークンにまで拡張している。

ポストトレーニングではSFT（教師あり微調整）、RLVR（検証可能報酬による強化学習）、MOPD（マルチティーチャーオンポリシー蒸留）を組み合わせた。NVIDIAは1,730億件の更新済みGitHubコードトークンを公開し、ポストトレーニングデータセットをSFT 5,000万サンプル・RLタスク200万件まで拡充した。

ベンチマーク性能

推論効率を重視した設計の成果として、デコード負荷の高いワークロードでは比較対象モデルの最大5.9倍のスループットを達成。主要ベンチマーク結果は以下のとおりだ。

  • PinchBench: 90.0（ホールドアウト評価）
  • SWE-Bench Verified: 71.9
  • RULER @ 1Mトークン: 94.7（長文脈検索）
  • AA-Omniscience: 78.7（テスト対象モデル中でハルシネーション率最低）

なおプリフィル性能よりデコード効率を優先する設計のため、長時間のエージェントインタラクションで本領を発揮するが、プリフィル性能単体での比較では他モデルに劣る場合がある。

推論モードとコスト管理

実用面では「オフ」「通常」「中程度」の3つの推論モードを提供し、推論時の予算制御を可能にしている。中程度モードではトークン消費量を約2.5倍削減しつつ精度低下を約7%に抑えられるため、コスト意識が高いマルチターンアプリケーションに適している。競合モデル（Qwen 3.5など）と比較して推論コストを約30%削減できるとされており、エンタープライズ用途での継続的な運用を見据えた設計となっている。