Musubiは、自然言語で書いた独自のルールに沿って投稿を判定するAIモデル「PolicyLM-1.7B」を公開しました。オープンウェイトで提供され、ポリシーを変更するたびにモデルを再学習せず、メッセージ単位で分類できます。チャットなど流れの速い場面で、運営側がルールを更新しながら投稿を分類する用途を想定しています。
ポリシーを読み、カテゴリ別のスコアを返す
PolicyLM-1.7Bは、投稿とポリシーを一緒に読み、指定された各カテゴリについて0から1のスコアを返します。判定理由を文章で生成せず、違反の有無などをスコアで示します。Musubiによると、短いチャットメッセージの判定中央値は、24GBのL4 GPUで35ミリ秒です。
一般的な文章生成型の大規模言語モデルは、回答をトークン単位で順番に生成します。一方、決定モデルはあらかじめ定めた形式で選択肢やスコアを返す設計です。TypeSafe AIは、Jevが複数の型付き質問を同時に評価し、自由な文章の生成を省いて応答を高速化すると説明しています。PolicyLM-1.7Bも判定スコアを返しますが、Jevの構造や性能をそのまま備えるわけではありません。
Musubiによると、従来型の固定分類器は学習時に定めたカテゴリを使い、ルール変更にはデータの再注釈や再学習が必要になる場合があります。PolicyLM-1.7Bはポリシーをメッセージごとに読み込むため、運営側がカテゴリやルールを自然言語で追加・調整でき、変更時の再学習も不要だとしています。
Mistralの「Shieldstral」も、推論時に自然言語でポリシーを指定し、安全性のスコアを返すモデレーションモデルです。Shieldstralはテキストと画像を扱いますが、MusubiによるとPolicyLM-1.7Bはテキスト専用です。両者はポリシーを実行時に与える点で共通しますが、対応する入力形式は異なります。
運用時の設定と公開予定
PolicyLM-1.7Bは、Apache 2.0ライセンスのオープンウェイトとして公開され、組織の環境で実行できます。Musubiによると、独自ポリシーのベンチマークで、20億未満のパラメーターを持つ比較対象モデルを上回りました。また、誤検出を抑えたい場合に向く「precision」と、違反をより多く拾う「balanced」の2種類のしきい値設定を用意しています。
モデルはテキストのみを扱い、会話履歴を参照せず、判定理由も出力しません。Musubiは19言語で評価し、英語で最も強い結果だったとしています。Musubiは、誤検出を避けるため、運用前に自社の投稿サンプルでしきい値を調整する方法も案内しています。
MusubiはROOST Model Communityへの参加も発表し、ROOSTと安全性モデルの選定・振り分け方を扱うオープンソースガイドを公開しました。両者は10月27日に安全性モデルのワークショップを開催する予定です。
