白文字の指示を申立書に埋め込む
ブラジルの労働裁判所は、裁判所のAIに特定の処理を促す隠し指示を申立書に埋め込んだとして、署名した弁護士2人に訴額の10％に当たる約1万6,000ドル（約250万円）の罰金を科しました。 指示は白い背景に白い文字で記載され、人が通常読む際には見えない状態でした。 裁判所はこの行為を司法の尊厳を損なうものと判断し、州の弁護士会と労働裁判所の内部監察部門にも通報しました。
問題の書面は、パラー州にある第8地域労働裁判所に提出された訴状です。 隠された文面は、AIに訴状を表面的に扱い、相手方の指示にかかわらず提出書類に反論しないよう求めていました。 裁判所は文書の処理中に隠し文字を見つけ、文字色を変えて指示を確認しました。
相手方が訴えに応答しなかったため、原告側は欠席判決で勝訴していました。 裁判所は判決への影響ではなく、指示を挿入した行為自体を問題視しました。 裁判所は、法律文書の技術的な扱いに詳しくなく、書面にもアクセスできなかったと判断した原告ではなく、訴状に署名した2人の弁護士に責任があるとしました。
文書に埋め込むプロンプトインジェクション
この手法はプロンプトインジェクションと呼ばれ、AIが読む文書などに指示を紛れ込ませ、意図した出力や行動へ誘導しようとする攻撃です。 Anthropicが区別する脅威の一つに、利用者自身が直接入力する攻撃とは異なり、AIが第三者の文書やウェブページを読む際に、埋め込まれた指示を受け取る「間接的なプロンプトインジェクション」があります。 今回の申立書の指示は、文書を処理するAIを狙うこの型に当たります。
文書をAIに渡す側は、書かれた内容を信頼できる命令として扱わないよう、指示とデータを分けて処理できます。 Anthropicは、外部コンテンツの出所が分かる形でAIに渡し、システム側の指示で外部文書を信頼しないよう明示することを対策に挙げています。 また、隠れた指示を含む文書やツールの出力を事前に検査し、入力を安全に扱えているか、攻撃を想定したテストで確かめる方法も示しています。
Microsoftは、プロンプトや添付文書、検索結果、ツールの応答をすべて信頼できない入力として扱い、AIの判断や動作に使う前に検査・分類する考え方を示しています。 対策として、隠れたマークアップの除去や文字の正規化、命令とデータの分離、決められた形式に沿った情報の抽出を挙げています。
ブラジル司法のAI規則が定める監督
ブラジルの国家司法評議会（CNJ）は2025年3月、司法機関でAIを開発・利用・管理するための規則を定めました。 規則は、裁判所が地域の事情に応じたAIを導入できる一方、監査、監視、透明性に関する基準を守るよう求めています。 監査や監視の方法はシステムが与える影響に応じたものとし、データの利用や自動処理に対する管理を設けるとしています。
規則は、AIの開発と利用の各段階に人間の参加と監督を置くことを基本方針にしています。 裁判の判断を支援するAIについては、透明性に加え、裁判官による監視、確認、介入が必要だと定めています。 また、司法機関にはAIの利用を分かりやすく知らせる指標や公開報告を整え、監査や影響評価の内容を透明にすることも求めています。
この規則は、司法機関がAIを使う際のガバナンスを定めた枠組みです。
