概要
Microsoft AIは10月15日、総パラメータ2.8兆(アクティブ800億)のMoE(Mixture of Experts)基盤モデル「MAI-Base-2」の事前学習完了を発表した。2026年6月に発表された前世代「MAI-Base-1」(総パラメータ1兆)の後継にあたり、16,000基のGB200 GPUを38日間用いて50兆トークンを学習した。同社はオープンウェイトモデルの最強格とされる「DeepSeek-V4-Pro-Base」との比較で、事前学習の計算量あたりの効率が4〜12倍に達したと主張しており、データ・モデル・インフラを自社で一貫開発する「フルスタック」戦略を加速させる姿勢を示した。現在はポストトレーニング段階にあり、既に後継の「MAI-Base-3」の準備も始まっているという。
学習基盤とアーキテクチャの工夫
学習は2026年8月から9月にかけて実施され、平均モデルFLOPS利用率(MFU)は21%、総スループットは89%に達した。効率向上の背景には複数のアーキテクチャ上の工夫がある。まず全レイヤーにMoEを採用し、多段階のドロップレスMoE実装によってトークンオーバーフローを処理しながらメモリ使用量を固定化、動的ルーティングに伴うメモリ断片化を排除した。最適化手法では、AdamWに代えてMuon最適化器を導入し、Newton-Schulzアルゴリズムによる重み行列の直交化を全体の計算コストのわずか2.1%で実現することで、より安定した学習動態を得たとしている。また、ネットワーク内の特定箇所で活性化勾配をクリップする手法を標準的なグローバル勾配クリッピングの代わりに採用し、勾配ノルムの安定性とスケール時の効果を確認したという。こうした工夫を踏まえ、学習率と重み減衰の積に関する経験的スケーリング則(LR* × WD* = 17.04 / steps)も確立し、中間スケールでの検証を済ませたとしている。
データとマルチモーダル対応
学習データは50兆トークンで、MAI-Base-1比で約36%増加した。知識カットオフは2026年3月まで更新されている。特徴的なのは、専用の画像エンコーダーを持たず、4.5兆トークン規模の視覚言語モデル(VLM)コーパスを学習混合物の18%として統合し、言語と視覚を単一のモデルで統合学習している点だ。Microsoftは、学習データが蒸留によるものではなく自然由来のデータである点を強調しており、これが後続の応用における信頼性確保につながるとの立場を取っている。
今後の展望
MAI-Base-2は次世代モデル群の基盤として位置づけられ、Microsoftは今後、同モデルを活用した追加発表を予告している。重みは企業向けプログラム「Foundry」を通じてライセンス提供される計画だが、一般提供の時期や価格は未定のままだ。同社はMAI-Base-2による性能向上に加え、2027年からAzureの推論基盤の中核を担う第3世代自社製AIチップ「Maia 300」の整備も進めており、フロンティアモデルの自前開発を加速する方針を明確にしている。すでに次世代モデル「MAI-Base-3」の準備も進行中とされ、Microsoftの自社AI開発競争における存在感は今後さらに強まる見通しだ。