概要
OpenAIは8月25日(現地時間)、Hot Chipsカンファレンスにおいて、Broadcomと共同開発した自社製推論チップ「Jalapeño」の初となる実測ベンチマーク結果を公開した。第三者機関SemiAnalysisが提供する推論性能評価「InferenceXベンチマーク」でのテストにおいて、Jalapeñoは「ユーザーあたりのトークン数」および「1キロワットあたりのスループット」の両指標で、現在市場で入手可能な最先端の推論プロセッサを上回ったという。比較対象にはNvidiaのBlackwellシステムが用いられている。OpenAIハードウェア部門責任者のRichard Ho氏は、この結果について「最先端技術に対する非常に大きな性能面での進歩を示すものだ」とコメントしている。
技術的な特徴
Jalapeñoは、推論処理特有のボトルネックである「プリフィル」フェーズと「通信」フェーズにおける遅延の最小化を狙って設計されている点が特徴だ。不要なデータ移動を減らすアーキテクチャを採用することで、モデルの状態やKVキャッシュをチップ側にローカルに保持できるようにし、各処理段階に応じて計算資源・メモリ・ネットワーク資源を最適配分する仕組みを備える。これにより、大量のAIワークロードを効率的にさばきつつ、応答速度に直結する低レイテンシも同時に実現することを目指しているという。
開発の背景と今後の展開
JalapeñoはBroadcomとの協業により開発され、2025年10月に構想が発表されていた。OpenAI自身のAIモデル群、ハードウェア、メモリを一体的に統合するフルスタックのアプローチを採る点が特徴とされる。展開スケジュールについては、2026年末までにごく限定的な規模での導入を開始し、2027年により大規模な本格展開を計画しているとHo氏は述べている。自社インフラ向けにカスタムAIチップを開発する動きは、GoogleのTPUやAmazonのTrainium/Inferentiaなど大手クラウド事業者の間で先行しており、OpenAIも推論コストの削減とNvidia依存の低減を狙って自社チップ開発を進めているとみられる。
今後の注目点
現時点で公開されているのは限定的なベンチマーク結果にとどまり、具体的なモデルごとの性能数値や消費電力、量産スケジュールの詳細など、多くの情報はまだ明らかにされていない。2026年末の初期導入以降、実際の運用環境でどの程度の性能とコスト効率を発揮できるかが、OpenAIの推論インフラ戦略の成否を占う試金石になりそうだ。