Bar chart comparing the share of LAB-AA assignments that earned full credit.
出典: openai.com

OpenAIは、法律調査や文書作成に向けたAIモデル構成「Astra for Law」を更新しました。ChatGPT Enterpriseの全顧客が、API経由の利用を含め、Trusted Access Programを通じてアクセスを申請できるようになりました。法律業務の複数の評価で上位の結果を得ています。

法律検索と専用指示を組み合わせる構成

Astra for Lawは、OpenAIのモデル「GPT-6.2 Astra」を基盤とする法務向けの構成です。法律検索の索引と、問題の調査、法的根拠の検討、回答の作成に関する指示を組み合わせています。9月には一部の法律事務所に先行提供されました。

先行提供先には、Cooley、Ropes & Gray、Sullivan & Cromwellが含まれています。OpenAIは、9月以降に法律上の推論の改善と検索索引の拡張を進めたとしています。検索索引は34%拡大しました。

索引には英国、豪州、カナダを含む地域の情報が加わっています。追加されたURLは8000万件を超え、索引全体では3億1000万件を超えました。OpenAIは、公表された米国の先例となる判例の99.9%超をカバーするとしています。

120件の法律業務を評価するLAB-AA

HarveyのLegal Agent Benchmark(LAB)は、法律業務の課題を最初から最後まで遂行できるかを試す評価です。Artificial Analysisによるその評価版「LAB-AA」には、24の法律分野にわたる120課題があります。証言録取の質問案作成や商業用賃貸借契約の検討などが含まれます。

満点には、課題の全要件を満たし、根拠資料に裏付けられない重大な主張を含まないことが求められます。Artificial Analysisの評価では、Astra for Lawの満点率は20.8%で、GPT-6.2 Astraの15.0%、Muse Wonder Fullの13.1%を上回り、1位でした。課題当たりの平均出力は、Astra for Lawが約6万4000トークン、Muse Wonder Fullが13万9000トークンでした。

トークンは、モデルが推論や文章作成で出力するテキストの単位です。Artificial Analysisの集計では、Astra for Lawの重大なハルシネーション、つまり根拠のない誤った主張は課題当たり平均0.03件でした。同じ指標ではGPT-6と並んで最少で、Claude Opus 5.5は0.59件でした。

米国の裁判書面と法律調査でも上位

HarveyとGrubelが共同開発した「LAB: USCL」は、実際の米国連邦裁判の書面を調査・作成する能力を試します。各モデルは、元の書面と同じ当事者の立場で、同じ争点を扱います。関連判例を自ら探す方式と、訴訟記録や元の弁護士が引用した判例を渡される方式があります。

OpenAIによると、Astra for Lawは両方式で上位の成績を得ました。自ら法律を調査する方式では1844点で、Claude Opus 5.5の1817点を上回りました。判例を与えられた方式では、それぞれ1883点と1882点でした。

書面の比較には、弁護士が確認・調整した基準を用いるAI採点者が使われます。Harveyの法律調査責任者Julio Pereyra氏は、Astra for Lawの書面がGPT-6 Astraの書面より、ペアごとの比較で約90%の割合で選好されたと述べています。同氏は、従来モデルの正確性を損なわずに書面の内容が改善したと評価しています。

法律調査の満点率は53.8%

Vals AIのLegal Research Benchは、実務に携わる弁護士が米国の連邦法や州法について出題する評価です。満点を得るには、必要な論点をすべて扱い、根拠資料の確認を通過する必要があります。Vals AIの11月16日の評価では、Astra for Lawは208問中112問で満点を獲得しました。

満点率は53.8%で、9月の約46%から上昇しました。部分点を含む得点は、全問題の配点の90.9%でした。OpenAIは、満点率が2カ月足らずで約8ポイント上昇したとしています。

Harvey独自のLABでは、すべての要件を満たした割合はGPT-6 Astraが4.6%、GPT-6.2 Astraが14.6%でした。法務向けの構成では16.2%でした。

弁護士による調査や議論での利用

OpenAIの法務チームでは、自らの主張に反論する相手としてAstra for Lawを使う例があります。競争法を担当する弁護士は、法令の解釈を与え、立法経緯や裁判例などを踏まえた反対側の議論を求めています。別の言語による法令の版も参照対象に含まれます。

政策を担当する弁護士は、監督に関する法案を検討する際、独立した審査担当者が持つ権限を調べています。義務を平易な言葉で記述した内容と、法案の正確な文言を並べて扱います。修正の要請に対して開発者が対応を義務付けられるか、といった論点の検討に使われています。

製品を担当する弁護士は、事業が不慣れな業界への参入を検討する際、提案された活動に適用される規則を整理しています。その整理を基に、外部の法律顧問との相談で争点を示します。Sullivan & Cromwellのパートナー、John Savva氏は、先行版について、訴訟と取引の双方で調査の深さや法的根拠への配慮が見られたと評価しています。