TopicBase
文書作成やプロジェクト管理に使うクラウドサービス「Notion」のAIチャットの会話履歴が、外部のAI基盤事業者Fireworks AIへの不正アクセスで流出しました。対象は、管理者がチームのAI利用状況を把握する「Insights」機能に使われたデータで、Notionは同機能を停止し、対象顧客へ通知しています。
利用状況の分析に使った会話履歴が対象
NotionはFireworks AIを、Insights向けに会話を分類する処理と、モデルの重みが公開された「オープンウェイトモデル」を動かす基盤として利用していました。流出したのは、Insightsで分析するために保存されていたNotion AIの会話履歴です。
会話履歴には、チャットに書き込まれたAIへの入力と、AIからの出力が含まれます。AI会議ノートの音声、文字起こし、要約は、Notion AIのチャットへの入力に使われた場合を除き、影響を受けていません。
影響を受けたワークスペースの大半では、会話に作成者や所属ワークスペースを示すラベルがなく、会話本文以外に利用者や企業へ結び付ける情報はありませんでした。また、AIが外部の機能を呼び出した際の実行結果も含まれていませんでした。
11月3日に接続を遮断、9日に対象顧客へ通知
Fireworks AIでは、10月23日に第三者のクラウド事業者を経由して開発環境への不正アクセスがあり、一部顧客のリソースのメタデータ、請求情報、モデルの重み、データセットが侵害されました。10月初旬にも、限られたアカウントでAPIキーやトークンを含む環境変数への不正アクセスが起きていました。
Notionが最初の通知を受けたのは11月2日夜です。この時点で調べたデータセットに含まれていたのは人工的に作成したテストデータで、Notion AIの顧客データは含まれていませんでした。
Notionは11月3日朝までにFireworks AIとの接続を切り、同社のシステム上のデータをすべて削除して通信を停止しました。学習処理も停止しています。その後、11月6日に顧客データへアクセスされた可能性について通知を受け、再調査を開始しました。
11月8日に対象データセットが確定し、分析でInsights用の会話履歴が含まれることが判明しました。Notionは11月9日に対象顧客へ連絡し、Insightsを無効化するとともに、Fireworks AIを通じたオープンウェイトモデルの提供を停止しています。
対象データの閲覧はデスクトップブラウザーから
対象ワークスペースの所有者は、サイドバーの「?」から「Security incident review」を開き、影響を受けたデータを確認できます。閲覧とダウンロードには最新版のNotionをデスクトップブラウザーで使う必要があり、モバイルでは利用できません。
所有者は対象メンバーの一覧をCSV形式で取得し、各メンバーが自分の対象データだけを確認できるリンクを共有できます。ドメインを認証済みのワークスペースでは、所有者が流出時の内容を収めたCSVと、影響の分析を助ける情報を付けたCSVを取得できます。
Notionは、対象データを外部に露出したものとして扱い、該当する会話へ入力したパスワード、APIキーなどの認証情報を更新するよう勧めています。本人とワークスペース所有者のどちらにも通知が届いていない場合、現時点で対応は不要としています。調査は継続しており、新たに影響が判明したワークスペースには直接連絡する方針です。
ゼロデータ保持の契約下でもデータが残存
Notionの企業向けプランにおける「ゼロデータ保持」は、AIの回答生成のために外部モデル事業者へ送るAPIリクエストに適用されます。一方、チャット履歴やInsightsでは、機能の提供に必要な入力と出力をNotionが保存するため、同じ保持方針の対象にはなっていません。
Insightsでは、保存した入力と出力をFireworks AIへ送り、管理者向けの利用分析を行っていました。Fireworks AIはNotionとの契約でゼロデータ保持を約束していましたが、調査で、利用したエンドポイントにデータが保持されていたことが判明しました。
Fireworks AIの企業向けゼロデータ保持ポリシーには、顧客の内容を保存するリクエストや処理を拒否する仕組みがあります。ポリシーを強制すると、通常の推論処理は許可される一方、保存を伴う応答生成、バッチ処理、学習処理、データセットのアップロードなどは拒否されます。有効化しても、すでに保存されたデータは削除されません。
OpenAIのAPIでは、不正利用監視用のログと、機能の実行に必要な保存データを分けて管理しています。ゼロデータ保持を適用すると顧客の内容は監視ログから除外され、一部APIでは応答の保存設定も無効になりますが、対象外の機能では実行用データが保存される場合があります。
Notionは今後、推論基盤やデータ処理を担う主要な委託先を監査し、ゼロデータ保持を含むデータ最小化の運用を守っているか検証する方針です。
名前を外した会話本文にも残る情報
流出した会話の大半には作成者のラベルがありませんでしたが、会話本文そのものは対象に含まれています。氏名などを除いた対話文を扱う研究では、本文に残る手掛かりと外部情報の組み合わせが検証されています。
バージニア工科大学とAccentureの研究チームは、匿名化されたAIとの対話記録などに含まれる文脈上の手掛かりを、AIエージェントが公開情報と照合し、特定の個人へ結び付けたと報告しています。別の研究では、医療記録やチャットボットとの対話データで、話し方の特徴などの補助情報から、年齢や物質使用歴といった機微な属性を推定できることが示されています。
