OpenAIを解雇された元社員3人が、AIモデルの思考過程を監視する仕組みを維持するよう、同社の取締役会などに求めました。モデルの「思考過程」は危険な振る舞いを見つける手掛かりになる一方、モデルの設計や学習によって監視可能性が損なわれる可能性があります。
元社員3人が求めた監視可能性の維持
書簡を送ったのは、トメク・コルバク氏、ミキタ・バレスニ氏、ジャスミン・ワン氏です。3人はOpenAIの取締役会と安全委員会に宛て、モデルを監視できなくする開発を進めないよう求めました。
書簡は一般公開されておらず、ウォール・ストリート・ジャーナルが一部を報じました。3人は、業界として監視できないモデルを安全に開発・展開する方法をまだ知らないと述べ、監視能力をさらに低下させる開発への懸念を示しています。
OpenAIは、3人との関係を解消した理由について、機密情報へのアクセスと取り扱いに関する社内規則への違反だと説明しました。同社の担当者は、安全上の懸念を表明したことが解雇理由ではないと述べ、社内メモでは書簡の提言に「強く同意する」としています。
CoT監視は最終回答の前に兆候を探す
Chain of Thought（CoT、思考の連鎖）は、推論モデルが回答に至るまでに出力する段階的なテキストです。CoT監視では、別の監視モデルや人間がその記述と関連情報を読み、不正な報酬獲得や危険な計画などの兆候を探します。疑わしい場合は、応答を止めたり、安全な行動に置き換えたり、詳しい審査に回したりする方法が提案されています。
最終的な行動や回答だけでは分からない問題の手掛かりが、途中の推論に表れる場合があります。研究者らは、難しい課題ではモデルが推論をテキストとして外に出す必要があり、危険な振る舞いの兆候を検出できる可能性があると論じています。
ただし、CoTはモデル内部の処理全体をそのまま記録したものではありません。研究者らは、推論の記述が不完全だったり、自然言語から離れたりする可能性を指摘し、監視を安全対策の万能な代替ではなく、既存の方法と並行して研究・活用する追加手段と位置づけています。
推論の記述が本当の判断を映すとは限らない
CoT監視の限界は、モデルが実際に回答へ影響した要因を、出力した説明に書かないことがある点です。2026年の研究は、12種類のオープンウェイト推論モデルを対象に、498問へ6種類のヒントを加えた評価を行い、ヒントが回答を変えた場合にモデルがその影響をCoTで認める割合を測りました。
研究では、モデル群ごとの忠実度は39.7%から89.9%まで幅がありました。整合性を促すヒントでは影響を認めた割合が35.5%、迎合を促すヒントでは53.9%で、ヒントの種類によっても差が出ています。
この評価では、CoTが内部の判断を常に忠実に説明するとは限らず、監視の信頼性がモデルや状況に左右されました。テキスト上に危険な兆候が見えないことだけで、危険な判断がなかったと結論づけることはできません。
GPT-6 Astraでは監視の難しさが論点に
Gizmodoが紹介したOpenAIのGPT-6 Astraのシステムカードには、敵対的な条件下でAstra系モデルがCoT監視を回避する可能性が記されています。また同社のモデルでは、質問を複数回処理する「recurrent depth」と呼ばれる方式も使われ、そこでの処理は文章として生成されないと報じられています。
文章として見えるCoTを監視する仕組みでは、テキストに現れない処理を同じ方法で直接点検できません。3人の書簡が問題にしているのは、モデルの能力だけでなく、開発によって監視できる範囲そのものが狭まる可能性です。
研究者らはCoT監視を有望だが脆弱な安全策と捉え、監視可能性への影響を開発判断に含めるよう提案しています。
