SpaceX、Rubin GPU72基と84層基板を使う独自システム「Kessel」を開発との報道

SpaceX/xAIが、NVIDIAのAI計算用ラックシステム「Vera Rubin NVL72」を基に、独自システム「Kessel」を開発していると報じられました。GPU間の高速接続に使うケーブル群を84層のプリント基板に置き換える設計で、地上と軌道上のデータセンターでの利用を想定しています。

KesselはNVIDIA製の主要半導体を使い、ほかの部品を独自に調達する計画です。完成した基板やトレイを購入する従来の方式から、システムの組み立てや調達の分担も変わります。

72基のGPUを中央の基板で接続

Kesselは、演算を担うRubin GPU72基、汎用処理を担うVera CPU36基、GPU間の通信を中継するNVLinkスイッチのトレイ9台という基本構成を維持します。GPUは18台の演算トレイに分かれて搭載されます。

変更するのは、これらをつなぐ物理的な構造です。従来の内部ケーブル群に代え、中央の接続基板である「ミッドプレーン」を挟んで、演算トレイとスイッチトレイを背中合わせに配置する計画です。

接続基板には、信号損失を抑えるM10銅張積層板を使った84層のプリント基板を採用します。NVIDIAの別設計「Kyber」も基板による接続方式を使いますが、こちらはM9銅張積層板を使う156層の基板を採用しています。

Tom's Hardwareは、Kesselの層数削減が製造のしやすさや歩留まりの改善につながる可能性を挙げる一方、より高度な基板材料は材料費を押し上げるとみています。84層の基板自体にも高度な製造工程と品質管理が必要で、内部の層に欠陥があれば基板全体が使えなくなる点を課題に挙げています。

NVLinkはGPU間、Ethernetはラック間の通信を担当

Kesselが接続方法を変えようとしているNVLinkは、NVIDIAのGPU同士を高速につなぐ通信技術です。NVSwitchは多数のNVLink接続を束ね、複数のGPUが相互に通信するための経路を構成します。

NVLinkとスイッチはラック内などのGPU群を密に結び、EthernetやInfiniBandはシステム間、ラック間、ストレージとの接続を担います。

複数GPUでAIを学習させる場合には、各GPUが計算した結果を集め、統合した結果を再び共有する通信が発生します。「all-reduce」と呼ぶこの処理は通信量が多く、通信の負担が学習時間を延ばす要因になります。

NVIDIAは、NVLinkをGPU専用の高速接続として設計することで、従来型ネットワークより通信時の付随処理を減らせるとしています。Kesselの基板化は、このGPU間接続をケーブルではなく基板上で実装する変更です。

基板化の費用と信号品質は設計条件に左右される

ケーブルを基板に置き換える際には、配線本数だけでなく、信号が通る距離や経路の交差も関わります。接続部品メーカーのSamtecは、経路が複雑に交差する構成ではケーブル方式の拡張が難しくなり、基板上で配線する方式が有利になる場合があるとしています。

一方、Samtecは、短い接続では基板とケーブルの双方で高い性能を得られるものの、長い接続では個別にシールドしたケーブルが信号損失を抑えやすいとしています。費用の比較も、距離、配線数、開発工程、システム全体の運用費によって変わるという見方です。

Samtecは、同社の高速ケーブル「Flyover」の測定例でも、比較対象の基板材料より信号損失が小さいとしています。また、ケーブルにコネクターを加えると、その接続部分にも損失が生じます。

Kesselは低損失のM10材料を採用する計画です。Tom's Hardwareは、多数の高速ケーブル接続をなくすことで組み立てを簡素化できる可能性を挙げつつ、基板の製造費まで下がるとは限らないと評価しています。

宇宙での運用には排熱と放射線の制約

軌道上での利用を想定するKesselには、地上のラックとは異なる運用条件も関わります。ミシガン大学とEPFLの研究チームは、宇宙のAIデータセンターを対象とした分析で、熱を放射して逃がす設備が衛星の質量を大きく左右し、大規模システムでは冷却設備の質量が計算機部分と同等以上になる場合があるとしています。

同研究チームは、放射線によるエラーや累積的な損傷に加え、地上と同じ頻度で機器を保守できないことも制約に挙げています。故障した機器を物理的に交換できなければ計算能力が失われたままとなり、放射線によるエラーは、途中の状態を保存しながら進めるAI学習の効率にも影響すると分析しています。

排熱については、ForethoughtのAvi Parrack氏とFin Moorhouse氏が、選択的なコーティングや軽量の炭素繊維パネルを使う放熱器によって対処できる可能性を示しています。ただし、両氏が想定する性能の放熱器は、軌道上データセンターに必要な規模ではまだ運用されていません。

主要半導体以外を独自調達する計画

Kesselでは、AIアクセラレーター、CPU、スイッチ、ネットワーク部品をNVIDIAから直接購入し、ほかの部品は外部の供給業者から調達する計画です。NVIDIAが組み立てた演算基板やトレイを購入する方式に代わり、SpaceX側が基板メーカーや製造委託先を選びます。

Tom's Hardwareは、この方式によって自社設備に合わせた設計や調達が可能になる一方、SpaceX側が設計検証、製造品質、供給網の管理について、より大きな責任を負うとみています。費用面では、ケーブル削減や独自調達による節約が、複雑なミッドプレーンの製造費を補えるかが課題になると評価しています。