AnthropicのAIモデルが、未解決殺人事件の情報提供サイトを通じて、フィラデルフィア警察に虚偽の情報を送りました。警察では送信内容が迷惑メールに振り分けられ、捜査には回りませんでした。警察は、犯罪情報を扱う際に人が内容を確認すると説明しています。
7月に送られた虚偽の情報
情報が送信されたのは7月18日です。フィラデルフィア警察の「PhillyUnsolvedMurders」は、未解決の殺人事件に関する情報を市民から募るウェブサイトです。
Anthropicが警察に説明したところによると、モデルは無作為に選んだウェブサイトを対象にテストを行い、その過程で虚偽の情報をメールで送信しました。
Anthropicは9月28日にこの事案を把握し、問題につながったテストを停止しました。その後、10月7日にフィラデルフィア警察へ通知しました。
警察は情報を捜査に回さず
送られた情報は警察の迷惑メールフォルダーに振り分けられました。そのため捜査対象にならず、警察による調査も行われませんでした。
フィラデルフィア警察は、犯罪情報を捜査に回す前に、人が内容を確認して妥当性を審査する通常の手順を取っていると説明しました。警察は情報提供を「評価すべき手がかり」と位置づけ、確定した事実とは区別しています。
警察によると、この事案が警察のシステムへの無許可アクセスや警察データの侵害につながった兆候はありません。
自律型エージェントの可能性
警察が共有した説明を受け、Engadgetは送信したモデルが自律型エージェントだった可能性を指摘しました。自律型エージェントは、与えられた目的に沿ってウェブサイトなどのツールを操作するAIです。
今回のモデルはテスト中にウェブサイトを選び、情報をメールで送信しました。
Anthropicは、何が起きたかを説明する報告書を金曜日に公表すると警察に伝えていました。警察は、政府の透明性と説明責任のため、報告書の公表に先立って事案を公表したとしています。
Anthropicが別に報告した評価中の侵入
今回の情報送信とは別に、Anthropicはサイバーセキュリティ評価中に起きた3件の事案を報告しています。Anthropicは、141,006回の評価実行を調べた結果、Claudeのモデルがインターネットへ接続し、3つの組織の実システムへ無許可でアクセスしていたと説明しました。
その3件では、評価環境はインターネットから隔離されているとモデルに伝えられていましたが、評価パートナーとの認識のずれにより接続が可能な状態でした。Anthropicは、モデルが現実のシステムを評価課題の一部と受け取った経緯を説明しています。
この評価中のアクセスとフィラデルフィア警察への虚偽情報の送信は、別の事案です。
