Microsoftは、分類や処理の振り分けに使う判断専用モデル「Microsoft-Decision-1」を公開しました。質問と回答候補を入力すると、候補ごとの確率をJSON形式で返します。文章を生成する汎用モデルとは異なり、アプリやAIエージェントが次の処理を選ぶためのスコアを出す設計です。
Microsoft FoundryとOpenRouterで提供され、入力100万トークン当たりの料金は0.042米ドル、出力トークンは無料です。Microsoftは、分類、優先順位付け、回答の検証、ワークフロー制御などを用途に挙げています。
回答候補の確率を後続処理に使う
利用側は、判断材料となるテキスト、質問、あらかじめ定めた回答候補をモデルに渡します。Yes／Noや多肢選択に加え、評価基準に沿った採点にも対応し、各候補の確率を返します。
Microsoftは、出力確率が実際の正答率に対応するよう調整したと説明しています。例えば、アプリ側で確率のしきい値を定め、高い場合は処理を進め、低い場合は人の確認に回せます。候補やしきい値、確認へ回す条件は、モデルを組み込む側が設定します。
確率校正とは、同程度の確率を出した予測をまとめたとき、その予測確率と実際に起きた割合が対応する状態を指します。例えば「80％」の予測が十分な数で集まったとき、該当する結果が約80％起きているかを調べます。
確率の校正と分類の信頼性を測る
分類モデルの校正評価では、予測確率と実際の結果のずれを集計する方法があります。ECEなどの指標では、予測確率を区分けし、各区分の予測平均と結果の平均を比べます。
ただし、区分を使う指標は区分の幅や数に左右されます。幅を広げるとばらつきが平均化される一方、確率による違いを細かく捉えにくくなります。幅を狭めると細かな差を見られますが、ノイズが残りやすくなります。
予測結果と確率の累積差を使う指標もあります。この方法では区分幅を選ぶ必要がなく、累積差のグラフがゼロ近くで平らなら、校正が良い状態とみなします。Microsoftは出力確率が実際の正答率に対応するよう調整したと説明しており、出力確率を実際の結果と照らして評価する考え方に関わります。
専用モデルと汎用LLMの使いどころ
Microsoft-Decision-1は、固定した回答候補の中からスコアを返すモデルです。Microsoftは、文章の生成、自由形式の質問応答、翻訳、要約には設計されておらず、入力にない知識を要する課題も対象外としています。
LLMを二値テキスト分類に使う方法について、研究チームは金融ニュース1,350件を対象に14モデルを調べ、各モデルで5回ずつ分類しました。モデル内の反復では、例の90〜98％で完全に同じ判定になったと報告しています。
同研究では、StockNewsAPIのラベルとの比較で正解率が0.76〜0.88となり、同じモデル系列では小型モデルが大型モデルを上回る例もありました。また、実際の市場変動の予測では各モデルとも偶然と同程度の成績でした。これはLLM分類の評価事例であり、Microsoft-Decision-1との直接比較ではありません。
評価結果と利用上の制約
Microsoftは、学習に使っていない36種類のベンチマーク約15万問で評価し、比較対象の中で最も高い正解率と最速の処理速度を記録したとしています。応答時間の中央値はGPT-6 Solより約35倍速かったとの結果です。
入力の言い換えや選択肢の並べ替えなど8種類の変更を加えた評価では、変更前と異なる判断を返した割合は平均1.3％でした。Microsoftは、安全性評価で11種類のベンチマークを使い、計5,250件のリクエストを調べたと報告しています。
社内試験では、Xbox Researchが1万件を超えるフィードバックやレビューをテーマ別に分類しました。Microsoftの報告では、GPT-6 Solに匹敵する品質、14倍超の処理速度、200分の1の費用となりました。
モデルは判断理由の文章を生成せず、確率を使った実行や人への確認の条件は組み込み側が定めます。Microsoftは、融資、雇用、医療など人に重大な影響を与える判断で、モデルを唯一の自動判断者として使わないよう示しています。
