概要

AMDは、完全にオープンソースなMixture-of-Experts(MoE)型言語モデル「Instella-MoE-16B-A3B」を発表した。総パラメータ数160億に対し、推論時にトークンごとに活性化するパラメータは28億のみという構成で、AMD Instinct MI300XおよびMI325X GPU上でゼロから学習された。モデル本体だけでなく、事前学習からポストトレーニングまでの全学習レシピ、各段階のチェックポイント、学習フレームワーク、データ構成、推論コードまで一括で公開しており、研究コミュニティが学習プロセス全体を検証・再現できる点が特徴だ。

アーキテクチャと学習の仕組み

Instella-MoEは27層のデコーダ構成で、隠れ層サイズは2048、注意機構にはGated Multi-head Latent Attention(Gated MLA)を採用する。各MoE層では64個のルーティングエキスパートのうちトークンごとに6個が選択され、これに2個の共有エキスパートが加わる仕組みで、語彙数は128,896トークン。7.1兆トークン規模のコーパスで事前学習を行い、コンテキスト長は当初の4Kから64Kまで段階的に拡張された。学習パイプラインは事前学習、中間学習(midtraining)、長文コンテキスト拡張、そしてSFT・DPO・強化学習によるポストトレーニングという複数段階で構成されている。

学習効率を支えるのが、AMD独自の「FarSkip-Collective」という技術だ。これはエキスパート並列(expert parallelism)における通信を計算処理と重ね合わせることで遅延を隠す手法で、意図的に少し古い、または部分的な活性化値をMoE層・注意層に渡すことで通信待ちのボトルネックを回避する。この工夫により、事前学習速度が12.7%向上し、SGLang上でのエキスパート並列推論では初回トークン生成までの時間(Time to First Token)が最大39.2%短縮されたという。学習には、AMDが自社開発した学習フレームワーク「Primus」が用いられている。

公開内容とライセンス、今後の展望

AMDはBase、Midtrain、SFT、DPO、Think(推論特化)といった各学習段階のモデルをHugging Face上で公開しており、それぞれ用途に応じて選択できる。ライセンスは学術・研究目的での利用を前提とした「ResearchRAIL」ライセンスが適用される。推論環境としてはTransformers、vLLM、SGLangに対応し、Dockerを用いた実行環境も提供されるなど、研究者が実際に触って検証しやすい形での公開となっている。NVIDIA GPU向けの大規模言語モデル開発が主流となる中、AMDは自社のInstinct GPU上での大規模学習が実用段階にあることを示す狙いもあり、学習全体の透明性を高めることで、AMDプラットフォームでのLLM開発を後押ししたい考えとみられる。