概要
Alibabaは、大型言語モデル「Qwen3.8-Max」のオープンウェイトをHugging Face上で公開した。同社のMaxクラスモデルの重みが公開されるのは今回が初めてで、総パラメータ数2.4兆、アクティブパラメータ950億のMixture-of-Experts(MoE)モデルとして提供される。前世代「Qwen3.5」の成功を受け、長時間タスクへの対応や多段階推論能力の向上に重点を置いた最新世代モデルの一部として、これまでクローズドで提供してきた最上位モデルを初めてオープン化した点が大きな特徴だ。同時に、軽量版「Qwen3.8-27B」の投入も発表されており、公開されれば開発者はモデルサイズに応じた選択が可能になる見込みだ。
技術的な詳細
Qwen3.8-2.4T-A95Bは、隠れ次元8192、92層という大規模な構造を持つ。アーキテクチャは「23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))」という構成で、線形注意機構であるGated DeltaNetと標準的な注意機構を組み合わせているのが特徴だ。MoE部分は512の専門家で構成され、うち「10 Routed + 1 Shared」のエキスパートを動的に活用する仕組みを採用している。
コンテキスト長はネイティブで262,144トークン、拡張時には最大1,010,000トークンまで対応する。ライセンスは独自の「qwen3.8-max」ライセンスの下で提供される。推奨される推論設定は温度1.0、top_p 0.95、top_k 20で、複雑な推論タスク向けにはreasoning_effort="xhigh"という設定が標準で用意されており、思考プロセスの保持もデフォルトで有効になっている。
ベンチマーク成績
公開された評価結果によると、Qwen3.8-Maxはソフトウェア開発関連のタスクで特に強みを見せている。実世界のバグ修正タスクを評価するSWE-bench Proでは67.7%を記録し、コード生成系のベンチマークでも複数で高スコアを示した。また、大学院レベルの科学知識を問うGPQA Diamondでは92.6%を達成している。開発領域以外でも、法務分野のPLawBenchで73.2%を記録するなど、法務・金融といった専門領域でも競争力のある結果を示しており、汎用性の高さがうかがえる。
まとめ
最上位クラスのモデルをオープンウェイトとして公開する動きは、AlibabaのQwenシリーズがオープンソースコミュニティとの関係を一層強化する姿勢の表れといえる。2.4兆パラメータという規模と、線形注意・標準注意のハイブリッド構造、100万トークン超への拡張性を備えた本モデルは、研究者や開発者が大規模MoEモデルを自前の環境で検証・活用できる選択肢を広げるものとなる。発表済みの軽量版Qwen3.8-27Bの重み公開が続けば、用途やリソースに応じた使い分けが今後の採用の広がりを左右しそうだ。