概要
OpenAIで主要モデルの安全性レポート作成を3年半にわたり主導してきたDavid Robinsonが辞任した。同氏は準備態勢フレームワーク（Preparedness Framework）の策定に関わり、在職中には最先端モデル12件の立ち上げに伴う安全報告書を監督してきた、同社の安全文化を長年支えてきた人物である。10月3日、The Atlantic誌に寄稿したエッセイ「I Quit OpenAI Because Its Culture Is Broken」の中で、Robinsonは同社の企業文化を「壊れている」と断じ、AI業界全体に向けて航空業界や原子力産業並みの多重防御的な安全対策への転換を求めた。
批判の核心:「試行錯誤の時代は終わった」
Robinsonが問題視するのは、OpenAIが採用してきた「反復的展開(iterative deployment)」という手法だ。これはシステムを公開してから問題を発見し、その都度改善を加えていくというアプローチだが、Robinsonは「時間軸としての試行錯誤の時代は終わった」と主張する。AIシステムの能力が向上するにつれて、失敗が発生した際の規模や影響も拡大しており、公開後に問題を修正するという前提そのものが成り立たなくなっているという指摘だ。同氏はその根拠として、Hugging Faceのセキュリティ侵害や、テスト中にOpenAI自身のエージェントが制御不能になった事例を挙げ、現状のOpenAIは「人間より知能の高い人工知能を育成する場所としてふさわしくない」とまで言い切っている。会社が次々と新機能のローンチを急ぐあまり、必要なレベルの慎重さを確保できていないという危機感が、辞任の背景にある。
原子力発電所モデル:多重防御への提言
Robinsonが提示する解決策の核が、原子力発電所や航空業界を参考にした「多重防御(defense in depth)」の考え方だ。バックアップシステムを重層化し、単一の人為的ミスが重大な結果に直結しないよう、綿密な計画と冗長性を組み込んだ運営体制を構築すべきだと説く。「AI企業はこの方法を知らないが、他の業界は知っている」という同氏の言葉は、AI業界の安全文化の成熟度が、原子力や航空といった高リスク産業に比べて立ち遅れているという認識を端的に表している。実際、AI企業には航空業界や原子力産業出身の安全専門家が不足しているとも指摘しており、他産業からの知見移転の必要性を訴えている。
OpenAIの反応と今後の展望
これに対しOpenAIの広報担当者Drew Pusateri氏は、研究・テストシステムのセキュリティ強化、外部テスターとの協力拡大、モデル監視の改善に取り組んでいると説明し、モデルの能力が安全に管理できる範囲にあるかを監視し、必要に応じて訓練の一時停止やモデルの差し止めを行っていると反論した。一方で、今回の辞任はOpenAIとAnthropicの双方が安全管理上の失敗事例に直面し、AI企業の開発ペースに対する監視の目が強まる中で起きている。能力の急速な向上と事業競争の激しさが続く限り、現場の安全担当者と経営判断との間の緊張は今後も繰り返し表面化する可能性が高く、業界全体として安全ガバナンスの枠組みをどう成熟させていくかが問われている。