Decorative object.
出典: developer.nvidia.com

NVIDIAは、Qwen3.8-27Bの出力分布を変えずにデコード遅延を低減する外部ドラフトモデル「Qwen3.5-4B-Qwen3.8-27B-Draft」を公開しました。 SPEED-Benchの評価では、Qwen3.8-27Bの内蔵MTPヘッドに比べ、受け入れ率の全カテゴリ平均が約46%高くなりました。

SPEED-Benchのqualitative subsetで、ドラフトのブロックサイズを16とした評価では、受け入れ率の全カテゴリ平均は新モデルが5.58、内蔵MTPヘッドが3.81でした。 ここでの受け入れ率は、検証対象モデルの1ステップ当たりに返されるトークン数です。

候補トークンを生成し、対象モデルが検証

新モデルは、Qwen3.8-27Bと同じトークナイザーと語彙を使う独立した言語モデルです。 候補となるトークンをブロック単位で生成し、Qwen3.8-27Bが棄却サンプリングで検証します。 最終的な出力テキストはQwen3.8-27Bが生成します。

候補の生成には、temperature 1.0、top-k 20、top-p 0.95という対象モデルと同じ設定を使います。 候補は確率的にサンプリングされ、棄却されたトークンは残余分布から再サンプリングされます。 NVIDIAは、この処理によって対象モデル単独の場合と出力分布が変わらないとしています。

モデルのパラメーター数は42億1000万で、Qwen3.5-4Bを基に開発されました。 入出力はテキスト形式で、入力にはQwen3.8-27Bのトークナイザーを使います。 学習時の系列長は1万2288トークンです。

長い入力を含む評価でも内蔵ヘッドと比較

長文を扱うSPEED-Benchのthroughput-32k subsetでは、新モデルの受け入れ率の全カテゴリ平均が5.11、内蔵MTPヘッドは3.86でした。 この評価でもドラフトのブロックサイズは16です。 評価用データには、3万3000〜4万6000トークンの単一ターンのプロンプト1536件が含まれます。

qualitative subsetの分野別では、コード生成が新モデルの5.22に対し内蔵MTPヘッドは3.78でした。 多言語はそれぞれ6.55と4.38、要約は6.19と4.13です。 この評価用データには1138会話ターンが含まれます。

同じ学習データと評価環境で比較された他の外部ドラフトでは、Qwen3.5-0.8Bの平均はqualitative subsetで3.92、throughput-32k subsetで3.60でした。 Llama-3.2-1Bのドラフトはそれぞれ3.42と3.07です。 3種類の外部ドラフトはいずれも同じQwen3.8-27Bを対象に学習されています。

19万9998件の会話で出力分布を学習

学習には、Nemotron-Post-Training-Dataset-v2から抽出した19万9998件の単一ターンの会話を使いました。 プロンプトを同データセットから取り、応答はQwen3.8-27Bで生成しています。 3072トークンを超えるプロンプトは除外しました。

プロンプトはSTEM、コード、数学、チャットと、ドイツ語、スペイン語、フランス語、イタリア語、日本語の9カテゴリから均等に抽出されました。 各応答位置では、対象モデルの上位20トークンの出力分布を記録しています。 ドラフトモデルはこの分布を学習信号として訓練されました。

チェックポイントのバージョンは1.0で、NVIDIA Model Optimizerの外部投機的デコードモードを用いて学習されています。 公開日は2026年11月17日です。 公開済みのチェックポイントは標準的なHugging Face形式で、vLLM、SGLang、TRT-LLMでも読み込めます。

対象モデルと動作環境

対象となるQwen3.8-27Bは、画像と動画を扱える視覚言語モデルです。 テキストを含む入力に対応し、推論モードはリクエストごとに無効化できます。 コンテキスト長は標準で26万2144トークン、拡張時は最大100万トークンです。

新モデルの想定配備先はNVIDIA Groq 3 LPUで、LPU向けにコンパイルしてランタイム上で動作させます。 対応ランタイムにはvLLMが記載されています。 互換アーキテクチャーにはNVIDIA Blackwell、推奨OSにはLinuxが挙げられています。

商用利用と再配布の条件

新モデルのダウンロードと利用にはNVIDIA Open Model Agreementが適用されます。 同契約の条件に従い、商用利用や派生モデルの作成・配布が可能です。 NVIDIAは、モデルや派生モデルから生成された出力の所有権を主張しません。

モデルを再配布する際は、受け取る相手に契約書の写しを渡し、指定されたライセンス表記をNoticeテキストファイルに含める必要があります。 モデルに変更を加えて配布することもできます。 その場合も、元のモデルの利用や配布について契約条件を守る必要があります。

契約は、モデルに含まれる安全上の仕組みを、用途に適した実質的に同等の仕組みなしに回避する行為を権利終了の条件としています。 ドラフトの基になったQwen3.5-4Bと対象のQwen3.8-27Bには、それぞれApache 2.0ライセンスが適用されます。 NVIDIAは、モデルが不正確な回答や偏りのある表現を生成する可能性も挙げています。