概要
スタンフォード大学とTitan Holdingsの研究チームが、LLMの科学的推論能力を測る新しいベンチマーク「Reconstruction」を発表した。このベンチマークは、論文のタイトルや要旨を一切見せず、出版前の参考文献リストのみを手がかりに、モデルが元の研究アイデアをどれだけ正確に復元できるかを測定するものだ。Claude Opus 4.8、GPT-5.6 Sol Pro、Gemini 3.1 Proなど7つのフロンティアモデルを評価した結果、単一モデルでの復元精度は平均3〜15%にとどまり、最も高い性能を示したClaude Opus 4.8でも13.3%程度にすぎなかった。複数モデルを組み合わせたマルチエージェント方式を用いても、全体平均は36.0%前後、医学や材料科学など一部分野で40%台に達する程度で、42%を大きく超えることはなかった。
評価手法の工夫
この結果の信頼性を担保するため、研究チームは厳密な情報遮断の仕組みを設計した。各論文について出版日より前に公開された参考文献のみを抽出し、モデルには論文タイトルや要旨を提示しない「temporal citation cutoff」と「匿名の参照ID」を採用することで、単なる暗記による正解ではなく、実際の推論能力を測ろうとしている。モデルには5つの仮説を生成させ、別のLLMが元のアイデアとの一致度を判定する「Match率」を主要指標とした。
マルチエージェント方式の効果と限界
単一モデルでの成績が振るわない一方、4つのモデルを組み合わせたマルチエージェント方式では、各モデルが5つずつ仮説を提案し、提案者以外のモデルがウェブ検索なしで相互レビューを行い、スイス式トーナメント形式で最終候補を選出する手法が採用された。この結果、全体平均のMatch率は36.0%(標準偏差6.1%)まで向上し、単一モデル比で2.3〜2.6倍(平均2.4倍)の改善が見られた。ただし研究チームは、この改善が20候補から5つを選ぶという推論時のスケーリング効果を含んでいる可能性があると慎重な立場を示しており、候補数を揃えた条件での再検証が今後必要だとしている。
背景と今後の展望
研究チームはまた、評価対象のLLMが訓練データに当該論文を含んでいる可能性があり、復元されたアイデアが部分的に記憶されたコンテンツを反映している可能性がある点も限界として明記している。今後は候補数を統制した比較実験、人間の専門家による評価検証、計算量を揃えた条件での比較などを行う方針だという。最終的な目標は、既存論文の「復元」ではなく、未知の課題に対して新規性と実現可能性を兼ね備えた研究アイデアを生成する「Generation」モードへの応用拡張にあるとしている。今回の結果は、LLMが大量の文献から表面的なパターンを抽出することはできても、真に独創的な仮説生成という科学研究の核心的な能力においては、依然として大きな限界を抱えていることを改めて示した形だ。