TopicBase
ggml-orgは11月4日（米国時間）、大規模言語モデル（LLM）を手元のコンピューターで動かす推論エンジン「llama.cpp」のv0.9.0を公開しました。複数台で計算を分担する際の通信に、NVIDIAのGPU間通信ライブラリ「NCCL」を使えるようになりました。 実装を担当した開発者zyang-dev氏の測定では、AIミニPC「DGX Spark」2台でNCCLを使った場合、文章の生成速度が1台の約1.8倍になっています。
入力処理は約1.6倍、文章生成は約1.8倍に
zyang-dev氏は「Qwen3.8-27B」のGGUF形式のモデルを使い、DGX Sparkの1台構成と2台構成を比較しました。1台では入力処理が毎秒846.54トークン、文章生成が毎秒13.02トークンだったのに対し、2台でNCCLを使うと、それぞれ毎秒1,348.29トークン、毎秒23.51トークンとなりました。速度の伸びは入力処理で約1.6倍、文章生成で約1.8倍です。
LLMの推論は、入力を処理する「プリフィル」と、返答を順に作る「デコード」に分かれます。プリフィルは入力文を構成するトークンという処理単位をまとめて読み込み、後続の計算に使う情報をKVキャッシュに保存します。デコードはその情報を読み出しながら、返答を1トークンずつ生成します。
今回測定されたプリフィルの高速化は、回答が始まるまでの待ち時間に関わる処理の改善に当たります。一方、デコードの高速化は、回答を生成している間の出力速度に関わります。
NCCLを使わず、2台が直接データを交換する従来方式では、入力処理が毎秒961.61トークン、文章生成が毎秒22.33トークンでした。1台に対する速度は、それぞれ約1.1倍と約1.7倍です。 zyang-dev氏は、デコードでは1回の集団通信で交換するデータ量がプリフィルより少ないため、NCCLと従来方式の差がプリフィルで大きくなると説明しています。
各層の計算結果をNCCLで集約
llama.cppは、GGUF形式のモデルをCPUや各社のGPUで実行でき、その土台には機械学習向けのテンソル演算ライブラリ「ggml」を使っています。 v0.9.0ではggmlをv0.29.0に更新し、別々のプロセスで動く並列処理の参加単位の間で、集団通信を行うための仕組みを追加しました。NVIDIA GPU向けのCUDAバックエンドがこれをNCCLで実装し、マシン間の処理を仲介するRPCサーバーが、利用可能な場合に使います。
この通信を使う「テンソル並列」は、モデルの各層の演算を複数のGPUに分割して同時に進める方式です。llama.cppには複数台でテンソル並列を行う機能がすでにあり、今回の変更では、各マシンが計算した部分的な結果を集約する処理にNCCLを使えるようになりました。複数台にまたがる対応は初期サポートという位置づけです。
テンソル並列では、モデルの重みとKVキャッシュをGPU間で分割し、各層で複数回の結果集約を行います。これに対して、標準の「layer」モードによるレイヤー分割は、連続する層をGPUごとに割り当て、順番に処理を渡すため、GPU間のデータ転送を抑える構造です。今回使われたテンソル並列は、層ごとの通信が多く、GPU同士を結ぶ通信速度の影響を受けやすい方式です。
DGX Spark間の通信にはConnectX-7を使用
DGX Spark同士の高速通信には、ネットワーク制御装置「ConnectX-7」と、本体背面のQSFPポートを使います。複数台を接続するには、対応ケーブルで機器をつなぎ、機器間通信に使うネットワークインターフェイスとIP設定を整えます。
DGX SparkのConnectX-7には、Ethernet側のインターフェイスに対応するRoCEインターフェイスがあります。 複数台で推論を実行する環境では、NCCLはRoCEv2を使ってRDMA通信を行い、SSHなどの管理用通信には内蔵Ethernetを使う構成が取られます。
量子化や音声処理、対応モデルも拡充
v0.9.0では、数値形式「OCP FP8 E4M3」による量子化への対応と、複数の入力系列を扱う推論で統合KVキャッシュを効率化する演算「flash_attn_ext_rows」も追加されました。複数のテンソルをまとめてコピーするAPIも導入され、MetalとCUDAで実装されています。
新たに対応したモデルの構造は、Clover、Limite、Metis-1.6、Mistral Large 4の4種類です。音声分野ではChatterbox TTSによる音声合成や、Nemotron 3.5 Transcribeによる文字起こしに対応し、Pocket TTSでは事前定義された音声を使えるようになりました。Gemma 4のE2B・E4Bモデル向けにはプリフィルの最適化が入り、サーバーと操作画面にも修正が加えられています。
