Cognition、単一RLで全推論エフォートを同時最適化したコーディングモデル「SWE-2」を発表

概要

Devinを開発するCognitionは9月10日、コーディング特化モデル「SWE-2」を発表した。Moonshot AI製の基盤モデルKimi K3（2.8兆パラメータ）を追加学習したもので、コーディングベンチマーク「FrontierCode 1.1 Main」でAnthropicのFable 5.1と同等の50.0%を記録しながら、コストは64%低く抑えられているという。基盤モデルであるKimi K3単体のスコア（44.2%）からは5〜6ポイントの改善となっており、単なる推論コスト削減にとどまらず性能面でも底上げを果たした点が特徴だ。

単一RLランで推論エフォートを横断最適化する新手法

SWE-2の技術的な核心は、「複数の推論エフォートレベルを単一の強化学習ランで同時に訓練する」という手法にある。従来、コスト帯の異なるモデルを作る場合は、エフォートレベルごとに専用のモデルを個別に訓練するのが一般的だった。これに対しCognitionは、報酬関数を R = S − λₑC（Sは成功可否を示す二値指標（0または1）、Cはコスト、λₑはエフォートレベルごとのコストペナルティ係数）と定義し、λₑを基盤モデルのパレート曲線の局所的な勾配に合わせて調整することで、低コストから高コストまでのパレートフロンティア全体を1回の訓練で最適化できるようにした。同社は付録において、この線形ペナルティ形式が「あらゆる分布に対して一貫した結果をもたらす唯一の形式」であることを数学的に示しているとしている。この理論的裏付けのある設計により、訓練効率を保ちながらコスト・性能のトレードオフを精密にコントロールできるようになった。

ベンチマーク結果と行動面での改善

FrontierCode 1.1 MainではSWE-2が50.0%、Kimi K3が44.2%、Fable 5.1が50.9%、GPT-6 Astraが53.3%という結果になった。もう一つの指標であるDeepSWE 1.1でもSWE-2は73.0%を記録し、Kimi K3（68.5%）やFable 5.1（67.4%）を上回っている。数値上の性能だけでなく、モデルの「振る舞い」にも改善が見られる点が興味深い。前世代モデルSWE-1.7との比較では、同程度のタスクを解くのに要する平均ステップ数が127から53へと58%減少し、平均コストも81%削減された。Cognitionはこれを「より高い工学的判断力が、無駄な迂回を減らし、より完結度の高い解決策の一発生成につながっている」行動論的な改善だと説明している。訓練基盤としては、強化学習環境を従来比3倍にスケールし、過去のチェックポイントを活用して検証器（verifier）を反復的に堅牢化させる手法も採られた。

展開状況と今後の見通し

SWE-2はDevin DesktopとCLIで既に利用可能になっており、WebとFusionへの展開も進行中である。単一の訓練ランで複数のコスト帯のモデルを生成できるこの手法は、開発・運用コストの観点でも意義が大きく、今後他の大規模コーディングモデルの訓練手法にも影響を与える可能性がある。エフォートレベルを横断してパレートフロンティアを最適化するアプローチは、コーディング用途に限らず、コストと性能のトレードオフが問題となる他のAIタスクにも応用され得るとみられ、今後の展開が注目される。