推論時に膨らむKVキャッシュ
Huaweiは、AI推論向けのストレージ製品「OceanStor M900 Context Memory Storage」を発表しました。モデルが会話や文書の文脈を処理する際に使うKVキャッシュを、GPUやシステムメモリーの外へ広げ、複数階層で共有する設計です。
KVキャッシュは、推論で生成したキーと値の情報を保存し、過去の計算を再利用する仕組みです。会話が長くなったり、エージェントが複数の処理を繰り返したりすると、保持する情報が増えます。GPUメモリーは高速ですが容量とコストに制約があり、従来のストレージは容量を確保しやすい一方、データ転送の遅延が課題になります。
LLMの提供システムでは、KVキャッシュの管理対象が単一GPU内の一時データから、配置や保持期間、共有方法を制御するメモリー資源へ広がっています。Texas Tech Universityの研究者らは、30を超えるシステムやフレームワークを分類し、ローカルでのページ管理、処理の分離、共有ストア、メモリープール、階層型配置という5つの設計類型を整理しました。 同調査は、キャッシュの置き場所、保持期間、所有者、基盤技術を設計上の軸として挙げています。
UnifiedBusで複数階層を接続
OceanStor M900は、HuaweiのUnifiedBusを使って、クラスター内でKVキャッシュを共有する構成です。Huaweiは最大64PBの容量を掲げ、同社のAscend SuperPoDなど大規模なAI基盤での利用を想定しています。
UnifiedBusは、CPU、NPU、メモリー、SSDを相互接続するためのインターコネクトです。Huaweiは10種類以上の接続プロトコルを統合し、帯域を毎秒100GB級から毎秒TB級へ引き上げ、往復遅延を7マイクロ秒から2マイクロ秒へ短縮すると説明しています。 SuperPoD内では、統一されたメモリーアドレスを使える設計です。
Huaweiは、UnifiedBusがCPUやNPU、メモリー、SSD間のピアツーピアアクセスと柔軟なCPU・NPU連携を支えるとしています。 同社が発表したエージェント型AI向けSuperClusterには、TaiShan 950とAtlas 960のSuperPoD、OceanStor M900、Xinghe UBGスイッチが含まれます。 M900はこの構成の中で、計算資源の間に置く共有ストレージとして位置づけられています。
キャッシュへの直接アクセスを狙う構造
M900には、CPU、ネットワーク、ストレージコントローラーの機能を統合したASUディスクを採用しています。Huaweiは、KVキャッシュ向けの処理に対応させることで、NPUが保存済みデータへ単一ホップでアクセスし、従来のプロトコル変換やCPU経由の転送を避けられると説明しています。
Huaweiによると、同製品のアクセス遅延は60マイクロ秒で、典型的なAIコーディング作業ではトークン処理量を最大2倍にし、最初のトークンが出るまでの時間を半減できる可能性があります。 これらは同社が示した製品性能の主張です。研究者らのシミュレーションでは、GPU、CPUメモリー、SSDの階層化により、GPUあたりの同時セッション数が73.02倍、セッション当たりコストが62.04分の1になりました。
ただし、同研究では、これらの容量とコストの改善は階層の容量構成によるもので、配置ポリシー自体の効果ではないとしています。 また、バッチサイズ1のデコードでは計算処理が律速となり、配置ポリシーによるスループットの差は小さく、主に移行トラフィックや最初のトークンまでの時間に影響しました。 チャットでは最近使われたキャッシュを優先する方式が移行量を抑え、エージェントや文書QAでは再利用頻度を優先する方式が有利でした。
容量拡張と耐久性を訴求
Huaweiは、キャッシュのライフサイクルに応じてデータの配置を管理する「KV-aware adaptive storage」技術も紹介しています。製品の耐久性は1日あたり最大24回のドライブ書き込みに対応し、同社は一般的なSSDの16倍に当たるとしています。
この耐久性について、Huaweiは交換や保守にかかる費用を抑えられる可能性を示しています。 製品の狙いは、GPUメモリーだけに依存せず、より大きな容量へKVキャッシュを移して共有することです。UnifiedBusによる接続と、キャッシュ向けのデータ配置・アクセス機構を組み合わせています。
KVキャッシュをGPU、CPUメモリー、SSDへどう割り当てるかは、ワークロードによって最適な方法が異なります。階層型配置を評価した研究では、再利用の仕方に応じて移行量を抑える方式が変わり、推測に基づく先読みは評価した条件で効果を示しませんでした。 OceanStor M900は共有容量と低遅延アクセスを掲げていますが、示された性能値や耐久性はHuaweiの主張に基づくものです。
