推論で増えるHBMの負荷
NVIDIAは、AI推論のメモリー効率を高めるため、GPUのHBM（高帯域幅メモリー）に加えて、CPUメモリーやストレージ、ソフトウェアを組み合わせる設計を示しました。モデルの重みとKVキャッシュが限られたHBMを取り合うため、データを圧縮し、使用頻度に応じて保存先を分けます。
KVキャッシュは、文章生成で以前のトークンから計算したキーと値を保存し、後続の計算で再利用する領域です。長い会話や複数のツール呼び出しを伴う処理では過去の文脈が積み重なり、NVIDIAによると、エージェント処理で最大300万トークンを扱うケースがあります。
推論中は、重みとKVキャッシュの両方がHBMを使います。HBMの容量を増やしても、データを計算装置へ運ぶ帯域幅が追いつかなければ、追加容量を十分に活用できません。この状態は「メモリーウォール」と呼ばれ、利用者の応答速度にも影響します。
NVFP4で重みとキャッシュを圧縮
NVFP4は、数値を4ビットで表す形式です。NVIDIAは、FP8と比べてモデルの重みに必要なメモリーを約1.8分の1にでき、DeepSeek-R1-0528のベンチマークではFP8に対する精度低下が1％以下だったと報告しています。
NVFP4では、16個の値ごとにE4M3形式のスケールを使い、テンソル全体にもFP32のスケールを適用します。この二段階の調整により、より大きな単位でスケールを共有する方式よりも細かく値の範囲を扱い、量子化による誤差を抑えます。
KVキャッシュにもNVFP4を適用すると、NVIDIAの技術検証ではFP8と比べて容量を約50％削減でき、コンテキスト長や同時処理数を増やせます。複数のコード生成、知識、長文脈ベンチマークでは精度低下が1％未満で、条件によっては最初のトークンが出るまでの時間を最大3分の1にしたとしています。
使用頻度に応じて保存先を分ける
NVIDIAの構成では、使っていない文脈をGPUのHBMに置き続けず、CPUメモリーや共有ストレージへ移します。Vera CPUの大容量LPDDRメモリーは、停止中の文脈をGPUの近くに置く層として使われます。NVIDIA Dynamoは、再利用前に文脈をCMXコンテキストメモリーへ移し、そこから戻します。
NVMe SSDを評価したKingstonの調査では、H100 NVL、vLLM、Qwen2.5-72B-Instructを使い、GPUのKVキャッシュをSSDへ退避する構成を調べました。メモリーが特に逼迫する条件では、退避によってGPUのみの場合より処理量が71～82％増えたと報告しています。
Samsungの検証では、GPU間でセッションが移るとローカルのKVキャッシュが失われ、新しいGPU上で再計算が必要になる状況を扱っています。CPUメモリーやNVMeストレージへ退避すれば、移動後にキャッシュを読み戻して再利用できます。複数ノードで共有できる保存先は、ノードをまたぐ移行に使えます。
世代間の性能比較と適用範囲
NVIDIAによると、SemiAnalysis AgentXのDeepSeek V4 Pro負荷で、1ユーザー当たり毎秒100トークンの条件では、GB300 NVL72はH200に対し、ドル当たりの処理量が最大10倍でした。この比較では、GPU当たりのHBM容量がおよそ2倍でした。
同じ負荷で1ユーザー当たり毎秒125トークンの条件では、Vera Rubin NVL72のドル当たり処理量はGB300 NVL72の最大30倍で、GPU当たりのHBM容量の増加は約3％だったとNVIDIAは報告しています。この結果は、特定の負荷と応答速度条件における比較です。
NVMeの性能は製品と検証条件によって異なります。Samsungが評価したPM1753は、シーケンシャル転送速度が最大14.5 GB/s、ランダム読み出し性能が最大330万IOPSとされています。Kingstonの検証では、3種類のSSDの性能差は測定のばらつきの範囲内で、PCIe 5.0 x4接続が共通の上限になったと報告しています。
