概要
Nvidiaの研究チームは、AIエージェントの長期タスク遂行能力を左右するのはモデル自体の性能よりも、その周囲を取り巻く「ハーネス」の設計であることを示す研究成果を発表した。同社が開発したハーネス「AVO」(Agentic Variation Operators)にClaude Opus 5を組み込んだところ、インタラクティブ推論ベンチマーク「ARC-AGI-3」のスコアが、モデル単体では30%だったのに対し、AVOでラップすると100%まで跳ね上がった。公開されている全183レベル・25のゲーム環境をすべてクリアし、RHAE(Relative Human Action Efficiency)スコアで満点の100.00を記録している。Nvidia VPのAdel El Hallak氏は「エージェントは単なるモデルのAPIではない。モデルであり、モデルを取り巻く足場(我々はこれをハーネスと呼ぶ)であり、ランタイムやそこで利用できるスキル・ライブラリでもある」と説明しており、研究チームも論文内で「モデルは重要だが、モデルがエージェントのすべてではない」と述べている。
技術的な詳細
AVOは、永続的なメモリ管理、進捗を監視し探索が行き詰まった際に戦略を再方向づけする「監督(supervisor)」機構、外部環境で行動を実行するためのツール統合という3つの要素を核とするアーキテクチャだ。ARC-AGI-3の全183レベル達成には6,624回の環境アクションを要し、同じくClaude Opus 5を用いた既存手法「VISTA」の7,542アクションと比べて約12%効率的にタスクを完了したという。また、AVOの汎用性を示す事例として、GPUカーネル最適化タスクでも成果を上げている。7日間で500以上の最適化方向を探索し、40のカーネルバージョンをコミット、NVIDIA DGX B200上でFlashAttention-4を最大10.5%上回る性能を達成した。専門特化したGPU最適化タスクから、インタラクティブなゲーム推論タスクへと同一のフレームワークがそのまま転用できた点について、研究チームは「汎用性はドメイン知識だけでなく、推論とフィードバックを時間をかけて積み重ねられる仕組みそのものからも生まれ得る」と分析している。
背景と業界への示唆
この結果は、AIコミュニティがこれまでモデル自体の生の性能ばかりを重視し、周辺のアーキテクチャ設計が担う役割を過小評価してきた可能性を示唆する。同時期にOpenAIもハーネスの調整による性能改善を検証したが、スコアは最大でも3倍程度の向上にとどまり、100%には届かなかったと報じられている。データ分析企業Databricksも、モデルの種類とは独立してハーネスの選び方だけで運用コストが倍近く変わり得ると指摘しており、ハーネス設計が性能だけでなくコスト効率にも直結することを裏付けている。Nvidiaはこうした知見を踏まえ、セキュリティやユーザーによる制御の観点から、クローズドな独自システムではなく「オープンなハーネス」の重要性を強調している。長時間・複数ステップにわたる自律的タスクの実行が今後のエージェント活用の鍵になる中、モデル選定と同等かそれ以上に、ハーネス設計への投資が問われる局面に入りつつあると言える。