エージェント向けの拡散言語モデル
DiffuSpaceは10月28日（中国時間）、拡散言語モデル「Clover-35B-A3B-Preview」をオープンウェイトで公開しました。総パラメータ数は350億、1トークンあたりのアクティブパラメータ数は約30億で、コーディングやツール利用を伴うエージェント型タスクを主な用途としています。
拡散言語モデルは、文章を先頭から1トークンずつ確定させる自己回帰型モデルとは異なり、複数のトークンをブロック単位で生成します。ブロック拡散方式では、先行するブロックを条件として、次のブロック内のトークンを並行して生成・調整します。
ICLR 2025の研究では、ブロック拡散は可変長の文章生成に対応し、過去の計算結果を再利用するKVキャッシュと、ブロック内の並列サンプリングを組み合わせられると説明されています。従来の拡散言語モデルには出力品質や固定長生成などの課題があり、ブロック拡散は自己回帰型と拡散型の性質を組み合わせる方法として研究されています。
ベンチマークで示したコーディング性能
DiffuSpaceが公表したエージェント系ベンチマークでは、実際の不具合をコード修正で解決するSWE-bench Verifiedで73.6、ターミナル操作を評価するTerminal-Bench 2.1で51.7、顧客対応でツールを使うτ³ Overallで65.3を記録しました。
DiffuSpaceは、これらの結果が拡散型のLLaDA2.2 flash、Mercury 2.5に加え、同規模の自己回帰型モデルQwen3.6-35B-A3B、Qwen3.5-35B-A3Bを上回ったとしています。汎用評価ではGPQA Diamondが83.8、論理パズルを扱うZebraLogicが95.8、長文理解を測るAA-LCRが72.0でした。
9項目の軽量モデル比較では、Cloverが6項目で最高スコアを記録しました。同じ35B-A3B構成のMiniCPM-V 4.7に対しては、Terminal-Bench 2.1で15.7ポイント、SWE-bench Verifiedで28.0ポイント上回ったと報告されています。
GPUとローカル環境での生成速度
NVIDIA GB300を1基使ったBF16精度、バッチサイズ1の社内エージェント用データの測定では、生成速度は毎秒680トークンでした。NVIDIA H200を1基使ったエージェントタスクでは毎秒515トークンとなり、DiffuSpaceが比較対象にしたDFlash2で高速化した同規模Qwenの毎秒365トークンを上回りました。
DFlash2は自己回帰型モデルを置き換える単独モデルではなく、対象モデルが確認するためのトークン候補をまとめて予測する推測的デコードの手法です。候補を並列に作り、対象モデルが受け入れた分だけを出力に使うため、通常の自己回帰型推論で1トークンずつ生成する場合と比べ、検証1回あたりに進むトークン数を増やせます。
16GBのビデオメモリを搭載したGeForce RTX 5070 Tiでは、INT4量子化したCloverを動作させ、MATH-500で毎秒101.8トークンを記録しました。同じ比較でMiniCPMやQwenのモデルは毎秒48.5トークンでした。
公開形態と開発予定
CloverはApache 2.0ライセンスで公開され、モデルの重みはHugging Faceから入手できます。Transformersを使った推論コードも用意されており、モデルカードには最大131,072トークンのコンテキストウィンドウが記載されています。
DiffuSpaceは、ブロック内のトークンをマスクした状態から始め、確信度の高い位置を並行して埋める推論方式を説明しています。Hugging Face版の既定ブロックサイズは32、確信度のしきい値は0.95です。
SGLangとllama.cppへの対応に加え、自然言語の指示、ツール呼び出し、タスク実行、結果確認をつなぐエージェント実行環境とデスクトップ向けコーディングクライアントも開発中で、近日公開の予定です。 DiffuSpaceは今後、拡散言語モデルの規模や推論速度の改善、長いタスクでの安定性向上、量子化や端末上での動作にも取り組むとしています。
