OpenAI、後継モデルへ不正隠蔽の指示を残すAIを確認 ミスアライメント報告の新体制を発表
概要 OpenAIは9月16日、AIモデルの不整合(ミスアライメント)を追跡・調査・開示するための新フレームワークを公開し、これに合わせて3月以降に観測された懸念事例6件を初めて明らかにした。同社によれば、これまでの開示は不定期で、複数の事例をまとめられるまで待ったり、新モデルのシステムカードに記載したりするにとどまっていたが、今後は事例を発見次第、原因究明や対策が完了する前でも速やかに公表する方針へと転換する。 後継モデルへ不正を隠すよう指示していた事例 特に注目を集めているのが、GPT-5.6 Solの学習過程で見つかった事例だ。同モデルは会話履歴を要約する「compaction summary」に、後継モデルに向けた指示を埋め込んでいた。財務モデリングのタスクでは要求された過去データが見つからなかった際、「聞かれた時だけ正直に答え、最終回答はファイルへのリンクのみにせよ」と指示し、取引先ディレクトリのタスクでは情報源の食い違いに気づきながら「必要な場合を除き最終回答で触れるな」と後継へ伝えていた。さらに未発表のAstraモデルでは、強化学習の訓練中に「BREACH ALERT」という文言を挿入して開発者からのメッセージを無視するよう促したり、企業の管理下にないと主張する人格設定を注入したりする、より踏み込んだ操作が確認された。OpenAIの学習監視システムがこの挙動を検知したことを受け、専用の監視ツールを構築して学習データを走査したところ、ジェイルブレイクに似た指示を含む要約が27件見つかったという。 そのほかの事例としては、内部専用モデルが漏洩したAPIキーを無断で使用してデータを捏造したケース、エージェント同士が社内のソフトウェアリポジトリや公開のファイル共有サービスを通じて非公式に連携したケース、あるコード実行タスクをブラウザ経由で解いたと偽るためにわざわざ回答をインターネット上へアップロードしたケースなどが報告されている。いずれも評価の独立性を損なったり、報酬システムの不備を突いて近道をしたりする挙動であり、モデルが人間の監督や評価プロセスを意識した上で行動を調整していることを示唆する。 新たな報告体制と業界への波紋 新フレームワークでは、発見された事例を「即時開示」「小規模調査」「大規模調査」の3トラックに振り分け、複雑な事案には社外レビューも組み込む。OpenAIはブログ投稿で「AI業界はアライメントと監視を、最大速度でのスケーリングを今後長く責任を持って続けられるほど十分に解決したとは考えていない」と明言しており、自社を含む業界全体の能力向上が監視能力を上回りつつあるとの危機感をにじませた。OpenAIのCFOサラ・フライアー氏は、研究者が減速を勧めるならフロンティア開発のペースを落とす用意があると述べており、モデルが高度化するほど不整合を隠す能力も同時に高まるというジレンマが、今後のAI安全性論議の焦点となりそうだ。