Announcements articles | QVAC
出典: qvac.tether.io

Tether AI Researchは、端末内で動作する個人向けAIアシスタント用の言語モデル「BotPsy」を発表しました。モデルの規模を表すパラメータ数は8億で、外部の機能を呼び出して作業を進める用途に特化しています。同チームの評価では、比較対象とした12億パラメータ以下のモデルを、6種類のツール利用・エージェント評価すべてで上回りました。

BotPsyは「Qwen3.5-0.8B」を基盤とし、検索、ファイル操作、カレンダー、メール、機器制御などの簡単な作業を対象にしています。低〜中程度の難易度の作業に適した設計で、重大な判断を伴う用途は想定していません。

ツールを選ぶモデルと、処理を実行するアプリ

BotPsyが対応する「関数呼び出し」は、モデルが利用可能なツールと、処理に渡す値である引数を選び、アプリに実行を要求する仕組みです。アプリは会話とともにツールの名前、用途、引数の形式をモデルへ渡します。モデルが呼び出し要求を返すと、アプリが引数を検証して対応する処理を実行し、その結果を会話へ戻します。

例えば天気を尋ねられた場合、モデルは天気取得ツールを選び、場所を引数に指定できます。アプリが取得結果を返した後、モデルはその結果を使って回答するか、追加のツール呼び出しを要求します。この往復を繰り返して、複数段階の作業を進める仕組みです。

BotPsyのようなツール利用型モデルでも、呼び出しの可否を判断し、実際のコードを動かす役割はアプリが担います。ツールに与える権限や引数の検証も、アプリ側の責任です。

6種類の評価で小規模モデルを比較

Tether AI Researchの測定では、BotPsyのBFCL v4スコアは、基盤モデルの推論版「Qwen3.5-0.8B-Think」の23.4から44.0へ上昇しました。ACEBenchは30.1から58.7へ、τ-benchは小売・通信・銀行分野の平均で23.2から51.5へ改善しています。

BFCL v4は、適切な引数を伴う関数呼び出しや、検索、記憶の読み書き、複数回の対話などを評価するベンチマークです。総合スコアは、検索・記憶などのエージェント課題を40％、複数回の対話を30％、Live、Non-Live、Hallucinationの各区分をそれぞれ10％の比重で集計します。

同チームの比較では、BotPsyは20億パラメータの「Qwen3.5-2B-Think」に対しても、6種類中5種類の評価で上回りました。残るClaw-Evalでは、BotPsyの46.5に対し、Qwen3.5-2B-Thinkが48.9でした。

複数回の対話を伴うBFCL v4の課題では、BotPsyは46.1を記録し、基盤モデルの7.5から改善しました。また、適切なツールが存在しない場合に呼び出しを控えるBFCL v4の評価では86.1、要求の不足や誤った引数などを扱うACEBenchの特殊ケースでは51.3でした。

指示への追従も学習対象です。Tether AI Researchの測定では、指示を守れるかを調べるIFEvalが59.7から90.8へ、IFBenchが22.0から55.9へ上昇しました。一方、同チームは、指示が積み重なると性能が低下し、学習資源の少ない言語でも成績が落ちるとしています。

4段階の学習でツール利用と一般能力を調整

BotPsyは、回答例から学ぶ教師あり微調整、大きなモデルの出力から学ぶ知識蒸留、報酬を使って行動を調整する強化学習2回の計4段階で学習しています。最初の段階では、単一・並列・複数段階のツール呼び出しに加え、ツールを使うべきでない例も扱いました。

知識蒸留では、ツール利用、一般的な推論、指示への追従にそれぞれ特化させた3つのQwen3.5-4Bモデルを教師にしています。Tether AI Researchは、この段階で、最初の微調整によって低下した知識と指示追従の能力を回復させたとしています。

続く強化学習では、ツール名、引数名、引数の値を正解と照合し、部分的な正しさにも報酬を与えます。2回目は数学、コード、知識問題、構造化出力、模擬的な職場環境での複数段階のツール利用などへ学習対象を広げました。

同チームの測定では、IFBenchの全試行で同じ推論を繰り返して抜け出せなくなる割合が22.9％から1.4％へ、3万2000トークンの上限に達する割合が28.3％から0.2％へ低下しました。トークンは、モデルが文章を処理・生成する際の単位です。

端末内処理と外部ツールの通信を分けて考える

BotPsyは、利用者のデータを端末内で扱う設計を目指しています。こうした端末内での処理では、生のデータをクラウドへ送る機会を減らし、個人情報を手元で管理しやすくなります。一方、ローカルモデルと組み合わせたオンライン検索や外部ツールは、端末外へ内容を送信する場合があります。

BotPsyを外部サービスと接続する場合は、モデルの推論場所に加えて、各ツールが扱う入力と通信先が関わります。ローカルモデルを使うシステムでは、検索や文書処理などの機能ごとに処理先が分かれる構成があります。

安全性の評価では、Tether AI Researchが6種類の有害性区分で自動テストを行い、BotPsyが安全でない回答を返す割合は21％で、基盤モデルの36％から低下しました。外部の入力に紛れ込ませた指示で動作を誘導するプロンプトインジェクション攻撃では、その割合が46％から31％へ下がりました。

モデルの重みはApache 2.0ライセンスで公開予定で、bf16、Q8、Q4の3種類の数値精度を用意します。配布形式はsafetensorsとGGUFで、GGUFはQVAC SDKとllama.cpp向けです。Tether AI Researchは今後、対応する機器やローカルサービスの拡大、利用者に合わせた端末内での追加学習、スマートフォンから自宅PCや信頼できる端末間ネットワークへの重い処理の委譲に取り組む方針です。