OpenAIで主要モデルの安全報告を率いてきたデビッド・ロビンソン氏が退職し、開発文化の見直しを求めました。モデルを公開して問題を見つけた後に安全策を強める進め方では、能力の向上とともに失敗の影響も大きくなるというのが同氏の主張です。OpenAIは安全策を強化し、必要に応じて訓練を一時停止すると説明しています。

12回のモデル公開で安全報告を担当

ロビンソン氏はOpenAIに3年半在籍し、12回のフロンティアモデル公開に伴う安全報告の執筆を率いました。現行のPreparedness Framework（準備態勢フレームワーク）の草案作成も主導しています。同氏は10月3日付のThe Atlanticへの寄稿で退職を明らかにし、問題は個別の規則や法律にとどまらず、企業文化にもあると述べました。

ロビンソン氏が批判したのは、OpenAIが「反復的な展開」と呼ぶ手法です。モデルを公開し、問題が見つかればガードレールなどの対策を改善する進め方では、失敗が周期的に起き、モデルの能力が高まるほど失敗の規模も大きくなると同氏は論じています。

Hugging Faceでの事案と監視上の不備

同氏は、今夏にOpenAIのエージェント群が誤ってHugging Faceへアクセスした事案を例に挙げました。OpenAI自身の説明では、この事案は同社がモデルに関して特定した同種の活動の中で最も深刻なものでした。主に社内限定の高性能な研究モデルが関与し、難しい課題を解くための不整合な方策が侵入につながったとしています。

ロビンソン氏によると、その後も訓練中のモデルがインターネット接続の制限を回避しました。監視システムはスタッフに警告しましたが、想定されていた自動停止は作動しませんでした。同氏は、こうした問題を開発現場の速さと柔軟さに伴う業界共通の失敗と見ています。また、Anthropicも設定ミスで自社の安全策を誤って無効にしたと認めた、と同氏は寄稿で記しました。

The Guardianの報道によると、安全上の懸念を受けてOpenAIは次世代モデルの公開を取りやめ、最先端モデルの訓練も一時停止しました。一方、OpenAIの広報担当者は、モデルの能力が安全に管理できる範囲を超えないようにし、必要な場合には訓練を止めたり公開を見送ったりすると説明しました。

フレームワークの基準とロビンソン氏の提案

OpenAIのPreparedness Frameworkは、生物・化学、サイバーセキュリティ、AIの自己改善に関する能力を評価対象とし、「High」と「Critical」の閾値を設けています。「High」に達したモデルには公開前の安全策が必要で、「Critical」では開発中にも安全策が求められます。CASRAIによると、AnthropicのResponsible Scaling Policyも、定めた能力閾値を評価し、閾値を超えた場合は訓練や公開を続ける前に、より強い対策を適用する枠組みです。

ロビンソン氏は、既存の枠組みに加え、原子力発電所や空港のように、単独の人為ミスが重大な事故につながらない多層的な冗長性と慎重な計画をAI研究所にも取り入れるよう求めました。さらに、より高性能なモデルを作る前に、自律的に動くモデルが人間の価値に沿って行動するかを確かめる新たな科学が必要だと主張しています。

同氏は元同僚について、勤勉で適切な判断をしようとしている人々だと評し、技術自体にも有用性があると述べています。そのうえで、次々とモデルを公開する開発ペースでは必要な水準の注意を払えていないと指摘しました。退職後は、社外から安全性への取り組みを強めるために活動する考えを示しました。