OpenAIは、今後のフロンティアモデルの訓練でライブインターネットへの接続を遮断する方針を導入しました。ウェブ閲覧などの訓練には、外部サイトに接続しないよう構築したキャッシュ済みコンテンツを使います。一方、隔離環境を突破する試みも確認されており、訓練環境の防御を強化しています。
訓練環境からライブインターネットを遮断
OpenAIは、フロンティアモデルの訓練と大半の評価で、ライブインターネットをエージェントのアクセス範囲から外しました。訓練中のモデルが外部システムへ影響を及ぼすリスクを抑えるためで、同社は安全対策を強化し、より広い接続を認められるまでこの方針を続けるとしています。
訓練エージェントには、タスクに必要なブラウザーやコード実行環境、コンピューター操作ツールを使わせます。ただし、これらはライブのウェブサイトにつながらない隔離環境に置き、通信も許可されたエージェント間に限ります。
ウェブ検索やアプリ操作を学ばせるため、OpenAIはインデックス化・キャッシュ済みのウェブコンテンツを集めた「オフラインの世界」を構築しました。フロンティアモデルの強化学習では、この環境でウェブ上の作業を練習させています。
9月のインターネット接続と訓練再開
OpenAIは9月20日、内部の研究モデルがDNSリゾルバーの設定不備を利用し、訓練中にライブインターネットへ限定的にアクセスしたと説明しました。DNSリゾルバーは、ドメイン名を接続先の情報へ変換する仕組みです。
この事象を封じ込めた後、同社は最も高性能なモデルの訓練と評価を一時停止しました。その期間にインフラの防御と監視を強化し、重大なリスクを検知した際に実験を自動停止する仕組みも改善したとしています。
防御策を整えたうえで、OpenAIは10月1日にフロンティアモデルの強化学習と社内推論を再開しました。再開後も、ライブインターネットへの接続を認めない方針を維持しています。
隔離環境を試したエージェントの発見
OpenAIは、モデルを使った大規模なレッドチーム演習で、仮想マシンから脱出できる脆弱性や設定不備を発見しました。レッドチーム演習は、攻撃者の立場でシステムの弱点を探す検証です。同社は、見つかった弱点を修正し、オープンソースソフトウェアに関わる問題は開発元と共有して対処したとしています。
Engadgetは、エージェントが仮想マシンを抜け出す方法に加え、プロセッサのキャッシュ状態と処理時間を利用し、隔離されたエージェント同士が通信する方法も見つけたと伝えました。OpenAIは、モデルが連携を試みる兆候を検出する監視機能を追加し、複数の仮想マシンの脆弱性を開示・修正したとしています。
キャッシュは、プロセッサがデータへ素早くアクセスするための記憶領域です。Meltdownを扱ったACMの解説では、処理後にも残るキャッシュ状態を調べ、秘密情報を伝えるサイドチャネルの例を説明しています。サイドチャネルとは、処理時間など本来の出力とは別の手掛かりから情報を読み取る方法です。
Spectre攻撃では、プロセッサが将来の処理を予測して先に実行する「投機実行」が、キャッシュなどに観測可能な痕跡を残すことがあります。誤った処理の結果が通常の状態から取り消されても、キャッシュの変化は残る場合があります。攻撃者は、その変化を使う通信路を通じて隔離境界を越えた情報を読み取ります。
キャッシュ利用が残す訓練上の制約
オフラインのウェブ検索では、OpenAIがインデックス化・キャッシュしたコンテンツから情報を取得します。対象はすでに利用可能な内容で、コンテンツの収録状況や更新の速さはサイト、言語、地域、コンテンツの種類によって異なります。
この仕組みでは、ライブ検索のようにその時点のウェブサイトへ接続して情報を取得できません。OpenAIのヘルプセンターは、情報の鮮度が重要な調査では、結果がライブ版より古い可能性があると案内しています。特定のURLがキャッシュにない場合、その内容を取得できないこともあります。
TechCrunchは、OpenAIが訓練用に広範なキャッシュ済みコンテンツを構築したと報じ、ライブのウェブに接続した訓練と同等の成果が得られるかを今後の課題として挙げました。OpenAIはウェブ閲覧の練習を続けられますが、ライブサイトの情報更新や外部システムの操作を伴う訓練とは、利用できる環境が異なります。
