概要

イーロン・マスク率いるxAIが、10兆パラメータという業界最大規模のAIモデルをトレーニング中であることが報じられた。このモデルは2026年中頃にリリースされる見込みで、現在同社のスーパーコンピュータ「Colossus 2」上で開発が進められている。10兆パラメータ規模のモデルを公式に訓練していることを認めている企業は、現時点でxAIのみとされており、AI開発競争において大きな一歩となる。

Colossus 2と並行トレーニング

Colossus 2では現在、7つのモデルが同時並行でトレーニングされている。ラインアップは以下の通りとなっている。

  • Grok Imagine V2（画像生成系）
  • 1兆パラメータモデル（2バリアント）
  • 1.5兆パラメータモデル（2バリアント）
  • 6兆パラメータモデル（1バリアント）
  • 10兆パラメータモデル（1バリアント）

この並行トレーニング体制は、段階的なモデル展開と異なる用途へのスケールアウトを可能にするものだ。

インフラストラクチャの規模

Colossus 2は約55万個のNVIDIA GPUで構成され、ハードウェアへの投資額だけで約180億ドルに上る。また、専用の電力供給設備として400MW以上の容量を確保しており、この電力規模はデータセンターとしても異例の大きさだ。

パラメータ数だけが性能指標ではない

報道では、パラメータ数はあくまで性能を測る要素の一部に過ぎないという見解も示されている。活性パラメータの効率や訓練データの質、アーキテクチャの設計が実際の性能を左右するため、10兆という数字が直接的な性能優位性を保証するわけではない。とはいえ、こうした超大規模モデルの開発を公言していること自体が、xAIの技術力と資金力を示す重要なシグナルとなっている。

今後の見通し

10兆パラメータモデルは2026年中頃のリリースが見込まれており、実現すればGrokシリーズの大幅な能力向上が期待される。xAIはSpaceXとの統合を経て得た巨大なインフラ基盤を背景に、OpenAIやGoogleなどとの競争をさらに激化させる構えを見せている。業界全体として超大規模モデルの開発競争が続く中、xAIの動向は今後のAI技術トレンドを占う上でも注目されている。