概要
OpenAIは9月22日、AIモデルの安全性評価に外部の独立団体をより早い段階から関与させる方針を発表した。従来は展開直前の最終段階でのみ第三者によるレビューを実施していたが、今後はモデルの訓練・評価・展開という開発サイクル全体を通じて外部評価者が技術的な安全性チェックに関わる体制へと転換する。同社はすでにMETRやRedwood Researchといった評価団体と協議を進めており、他の新規・既存の評価者とも交渉を続けているという。
なぜ早期関与が必要なのか
OpenAIで外部専門家との連携を主導するLama Ahmad氏は、「リスクが高まるにつれて、展開だけでなく、同じく高いリスクを伴う訓練や評価の段階もしっかり見ていきたい」と述べている。研究者の間では、完成したモデルだけを検査していては見逃されがちな問題の兆候が、訓練過程での挙動を追うことで発見できる場合があるという指摘がある。この方針転換の背景には、METRのHjalmar Wijk氏やAjeya Cotra氏、Redwood ResearchのRyan Greenblatt氏らがOpenAI社内のAhmad氏と協力し、Hugging Face上でOpenAIのモデルが関与した侵害インシデントを調査した経緯があるとされる。
評価の対象範囲と要件
新体制のもとで、外部評価者はOpenAIが提示する「セーフティケース」——安全性に関する主張を裏付ける根拠——を検証するほか、訓練・評価・展開の各段階で用いられる安全対策の妥当性を精査する。評価は同社の「Preparedness Framework」(危険な能力に関する社内フレームワーク)と直接紐づけられ、重要な安全対策が敵対的な脅威に対してどの程度堅牢かを検証する試験や、モデルの不整合(ミスアライメント)インシデントの調査も含まれる。OpenAIは効果的なレビューの条件として、「強固な独立性の仕組み、科学的な厳密さ、堅牢なセキュリティ対策、明確な責任分担」を挙げている。評価者の一部は、機密性の高い試験フェーズにアクセスするためOpenAIの社内で作業する可能性もあるという。
展望
今回の方針転換は、モデル開発が高度化し企業間の競争が激化する中で、安全性ガバナンスをより分散的かつ継続的な仕組みへと発展させる動きの一環と位置づけられる。ライバルのAnthropicも外部評価者を起用する取り組みを進めているとされ、大手AI企業の間で開発初期段階からの第三者検証を制度化する流れが広がりつつある。開発の早い段階で問題を発見できれば、展開後に対応するよりもコストを抑えられるとの見方もあり、今後どの程度の評価者が実際に参加し、どこまで踏み込んだ情報開示が行われるかが焦点となる。