TopicBase
RTX 3090で最大約2倍のデコード速度
ローカルで大規模言語モデルを動かすソフトウェア「Project Maya」が、最新版v1.1.28を公開しました。LinuxでNVIDIA GPUを1枚使う環境では、DeepSeek-V4.1-Flash-1017の生成処理がGeForce RTX 3090で最大約2倍、Tesla V100で14％速くなりました。
高速化の対象は、生成時に次のトークンを出す「デコード」です。PCのメインメモリに置いたエキスパートをGPUが必要とする際、より効率よく取得し、GPUの近くに保持する仕組みを改善しました。
Project Maya v1.1.28では、VRAMの空きが少ない場合のデコード速度も35％向上します。入力プロンプトを読み込む速度は変わりません。
高速化が適用される環境
今回のデコード改善が有効なのは、LinuxとNVIDIA GPU 1枚の組み合わせです。Windows、AMD GPU、複数GPUの環境では従来の処理経路が使われます。
Project Mayaは、総パラメータ数3,210億のMoEモデル「GLM-5.3-Flash」と、DeepSeek-V4.1-Flash-1017をローカルPCで動かすためのソフトウェアです。推論エンジンやサーバー、操作用ダッシュボード、量子化ツールを備え、OpenAIおよびAnthropic互換のAPIを利用できます。
今回の更新では、DeepSeekの512Kおよび100万トークンのコンテキストにも対応しました。コンテキストは一度に扱える入力・出力の長さで、長くするとエキスパート用のVRAMが減り、長いプロンプトの読み込みにも時間がかかります。
748Bとアクティブパラメータの違い
DeepSeek-V4.1-Flash-1017の「748B」は、モデルの規模を示す総数です。NVIDIAのモデルカードではMoE本体の総パラメータ数を552B、生成時に使うアクティブパラメータ数をデコード時16B、入力処理時8Bとしています。
Unslothのガイドは、552Bのモデル本体に196BのEngram条件付きメモリーを加えた構成として説明しています。Engramはトークン列に対応する情報を引き出すメモリーで、748Bという規模はこの追加分を含む数です。
MoEは、入力ごとに一部のエキスパートを選んで処理するモデル構造です。そのため、総パラメータ数が748Bでも、1トークンのデコードで使われるアクティブパラメータ数は16Bです。
メモリー配置と更新内容
Project Mayaのv1.1.16では、使用頻度の高いエキスパートをGPUに置き、残りはメインメモリに収まる分をRAMから、収まらない分をSSDから読み出す方式が導入されていました。
v1.1.16では、プロンプト処理時に選ばれたエキスパートをSSDから読み込み、複数GPUへのモデル分割にも対応していました。v1.1.28は、メインメモリにあるエキスパートを単一GPUが取得する処理を改善し、既存のメモリー配置を生かしてデコードを速めています。
ほかに、長いコードをストリーミング表示するときのチャット画面を安定させ、AMD GPUでのGLM実行にも対応しました。DeepSeekの複数GPU対応も追加されましたが、いずれもオプトイン機能で、初期状態では有効になりません。
