LFM3は用途別の小型モデル群
Liquid AIは10月27日、新世代のAIモデル群「LFM3」を公開しました。テキスト、画像、音声、複数の入力を扱うオムニ、意思決定向けのモデルをそろえています。
日本語に対応するテキストモデル「LFM3-1.7B」は、PCやスマートフォンなどで動かすエージェントや、特定用途向けのカスタマイズを想定しています。総パラメータ数は17億で、入力と出力を合わせたコンテキスト長は最大256Kトークンです。
モデルの重みはオープンウェイトとしてHugging Faceで公開され、Liquid AIのPlaygroundとAPIでも利用できます。4ビット精度では重みの容量が約1GBになり、単一GPUでファインチューニングできます。画像・動画を扱う「LFM3-VL-2B」や、18言語の音声認識・合成・翻訳に対応する「LFM3-Audio-2B」なども同時に公開されました。
指示追従とツール利用の評価
Liquid AIが公表したベンチマークでは、LFM3-1.7Bは指示追従を測るIFEvalで96.66、ツール呼び出しを測るBFCL V4で71.39を記録しました。同じIFEvalではQwen3.5-4Bが92.52、Qwen3.5-9Bが92.08を記録し、BFCL V4ではそれぞれ55.12と62.83でした。
BFCLは、モデルが関数やツールを正確に呼び出せるかを評価するベンチマークです。V4ではウェブ検索やモデルのメモリーを使うエージェント向け課題が加わり、複数ターンのやり取りや並列呼び出しなど、22種類の課題を扱います。総合スコアはエージェント課題40%、複数ターン30%、ライブ課題10%、非ライブ課題10%、ハルシネーション評価10%の重みで算出されます。
71.39は、ツール呼び出しを含む複数の課題をまとめたBFCL V4のスコアです。IFEvalは指示への従い方を、BFCL V4はツールを使う場面での対応を評価します。
共通バックボーンと学習
LFM3は、短い畳み込み、スライディングウィンドウアテンション、グローバルアテンションを組み合わせた「トライハイブリッド」構成です。24層のうち13層が畳み込み、5層が256トークン幅のウィンドウを使うアテンション、6層がグローバルアテンションを担います。
基盤モデルのLFM3-1.7B-Baseは22兆トークンで事前学習されました。学習データには科学論文やリポジトリ単位のコード、数学データが含まれます。最後の3.5兆トークンを使った中間学習では、エージェントの行動記録や多様なツール呼び出しの比率を高め、コンテキスト長を256Kトークンに拡張しました。
最初のモデル群は、共通のLFM3-1.7B-Baseから派生した約2Bパラメータ級のモデルで構成されます。ビジョンモデルは動画にも対応し、オムニモデルは画像・音声・言語を統合します。モデル群には、オムニモデルから特化させた意思決定モデルも含まれています。
オンデバイス実行とメモリー
Liquid AIは、AMD Ryzen AI Max+ 395、Apple M5 Max、iPhone 17 Proでオンデバイス推論を評価しました。llama.cpp、Q4_0量子化、32,768トークンのコンテキスト、バッチサイズ1、100トークン生成、GPUオフロードという条件では、比較対象より入力処理が少なくとも2.5倍、生成が少なくとも1.8倍速かったとしています。
約1GBという値は4ビット精度にしたモデルの重みの容量です。推論時には入力を処理する段階と、出力を1トークンずつ生成する段階があり、生成では過去のトークンに対応するキーと値をKVキャッシュとして保持します。このキャッシュ容量は、モデルの層数や隠れ層の幅、精度、バッチサイズ、処理する系列の長さに左右され、系列長とバッチサイズが増えるほど大きくなります。
長いコンテキストでは、重みよりKVキャッシュが推論時メモリーの大きな割合を占める場合があります。KVキャッシュの容量は系列長とバッチサイズに比例して増えると、UCバークレーの研究チームは説明しています。同チームの研究「KVQuant」は、キャッシュを低ビットで量子化する手法を提案し、長い系列でのメモリー使用を抑える方法を検討しています。
