Strataは、Qwen3.8-Flash-Nextを一般的なWindows・Linux搭載PCで動かすオープンソースソフトです。RTX 5070やRadeon RX 9070 XTを使った測定では、設定により回答生成が毎秒44〜94トークンに達しました。モデル全体をGPUメモリーに載せず、PCのメインメモリーやSSDにも処理を分担させる仕組みです。
RTX 5070では毎秒94トークンを記録
Strataの測定環境の一つは、12GBのVRAMを持つRTX 5070、Ryzen 5 7600、64GBのRAMを組み合わせたPCです。量子化方式ごとの回答生成速度は、Q2_0で毎秒94トークン、IQ2_XSで79、IQ3_XXSで62、IQ3_Sで53でした。もう一つの環境であるRX 9070 XT搭載PCでは、Q2_0が毎秒60トークン、IQ2_XSが52、Coderが44でした。
Strataで測定した2台の結果です。Strataは、24GBのRTX 3090なら毎秒約100〜140トークンになるとの見込みも記していますが、これは実測ではなく推定です。
Q2_0は回答生成が最速である一方、Strataが推奨する64GB RAM向けの設定はIQ2_XSです。RAMが32GBの場合は、コード向けに調整したCoderが候補になります。Strataでは、Coderは32GBに収まる設計ですが、コード以外の用途、とくに中国語などのテキストでは性能が低くなります。
全パラメーターを毎回計算しないMoE
Qwen3.8-Flash-Nextは、専門家混合（MoE）方式を採用したモデルです。モデルカードによると、言語モデル部分は1250億パラメーターで、1トークンの処理時に有効になるのは約60億です。48層それぞれに512個のルーティング対象の専門家があり、各層ではルーターが入力に応じて10個を選び、共有専門家も使います。
つまり、24,576個という数は、48層にある専門家の合計です。各層で512個すべてを同じトークンに使うのではなく、選ばれた10個と共有専門家が処理に参加します。モデル全体のパラメーター数に対して、1トークンあたりの有効パラメーターは約4.8％です。
ただし、計算で有効になる量が少ないことと、モデルの重み全体を保存するための容量が少なくて済むことは別です。Strataでは初回に約70GBのモデルをダウンロードし、起動時には約35〜55GBをRAMに読み込みます。Strataの最低要件はVRAM 12GB、RAM 32GB、空きディスク容量約80GBです。
ISTA-DASLabが公開する量子化版でも、モデルのファイル容量はQ2_0で合計66.4GB、IQ2_XSで68.0GB、IQ3_Sで83.6GBです。量子化は重みのデータ量を抑える手法です。ISTA-DASLabは、Q2_0を速度重視、IQ3_Sをより大きな容量を使う構成としています。
GPUの外へ重みを分散する別の実装
専門家をすべてGPUに置かず、RAMやSSDから必要な分を読み出す実装例もあります。HelgardはRTX 5060（VRAM 8GB）、RAM 31GiB、NVMe SSDを使い、NVFP4形式の133GBモデルを動かしたと報告しています。ライブチャットの回答生成速度は、最終調整後で毎秒11.65トークンでした。
この実装では、専門家のデータをSSDに置き、RAMにキャッシュしながらGPUへ読み込みます。Helgardの測定では、専門家をRAMに置いた状態で1トークンあたり約1.33GBをPCIe経由で転送しており、SSDから読み込む構成では事前読み込みなどを加えて速度を改善しています。
StrataとHelgardの実装では、GPUのVRAM容量、量子化形式、CPUやストレージの条件が異なります。速度を単純には比較できませんが、どちらもMoEの専門家を含むモデル全体の容量を、GPUだけでまかなわない構成です。
導入と使い方
Strataの導入には、対応GPUのほか、RAM 32GB以上と約80GBの空き容量が必要です。セットアップ用ファイルを実行すると、PC構成に応じた設定を選び、モデルをダウンロードしてローカルのWebアプリを起動します。Strataの案内によると、モデル起動中はPCの応答が1〜3分ほど遅くなる場合があります。
起動後はブラウザーでチャットできるほか、OpenAI互換APIなどを通じて対応アプリやコーディングエージェントから利用できます。標準設定では同時に処理するリクエストは1件です。並列数を増やすと、特に12GBのGPUでは1件あたりの応答が遅くなる場合があります。
