サム・アルトマン氏は、限られたDRAMを家庭のPCよりAIデータセンターで活用すべきだと述べ、イーロン・マスク氏は反発する投稿をしました。AI向けメモリーの需要が高まるなか、データセンター用のHBMとPC用DRAMは、性能や用途が異なります。
アルトマン氏は限られたDRAMの集約を主張
アルトマン氏はYouTube番組で、世界的に供給が限られるDRAMを多くの人がPCに搭載し、使用時間の5％しか使わない状態は「かなりひどい」と述べました。データセンターに集約し、クラウドで高い稼働率を目指す方がよいという主張です。
アルトマン氏は以前にも、家庭用PCよりデータセンターでDRAMを活用すべきだと主張しています。今回の発言を受け、利用者が自分のPCにメモリーを持つことと、クラウド側へ集約することのどちらを重視するかが議論になりました。
マスク氏はXに、DRAMを隠す人々を探す映画の場面を使ったミームを投稿しました。投稿には「人々にもRAMを持つ権利がある」という趣旨の文言が添えられています。
AI向け需要でメモリー供給が逼迫
PC向けDRAMキットや、メモリーを搭載する機器の価格は上昇しています。AIデータセンター向け部品の生産を増やすために半導体メーカーが工場を再編していることも、消費者向け部品の供給を圧迫する要因として挙げられています。
DRAMメーカーのSamsungとSK hynixは、AI需要に伴うメモリー不足が2027年以降も続くとの見通しを示しています。データセンター向けの需要が続けば、一般向け部品の価格や入手しやすさにも影響します。
ただし、データセンターのメモリーを家庭のPCへそのまま移すわけではありません。AIアクセラレーター向けHBMとPC向けDDR5は、帯域幅や搭載方法、主な用途が異なります。
HBMはアクセラレーターに組み込まれる
HBMはDRAMチップを積み重ね、AIアクセラレーターの近くに配置するメモリーです。広い接続経路を使い、積層品あたり毎秒テラバイト級の帯域幅を実現します。
HBM3Eの接続幅は1,024ビットで、1つの積層品あたりの帯域幅は約1.2テラバイト毎秒です。HBM4では接続幅が2,048ビットに広がり、規格上の帯域幅は積層品あたり最大2テラバイト毎秒です。
HBMは一般に、単体のメモリーモジュールとして販売されません。積層品はインターポーザーと呼ばれる基板上でプロセッサーと一体化し、アクセラレーターに組み込まれます。
PCのRAMでも小型モデルを動かせる
ローカルLLMは、PCなど手元の機器で実行する大規模言語モデルです。推論時のデータはGPUのVRAM、PCのシステムRAM、またはその両方に置けます。
量子化はモデルの数値精度を下げ、メモリー使用量を抑える手法です。S3は、量子化した7〜8Bモデルの実行にシステムRAMが最低16GB必要とし、32GB以上を推奨しています。
別の目安では、4ビット量子化したLlama 3.1 8Bのモデルファイルは4.9GBで、メモリーは16GBが最低ライン、32GBならアプリ用の余裕を持てます。70Bモデルのファイルは43GBとされ、メモリーは64GBが実用的な目安です。
メモリー容量だけでは用途を比べられない
システムRAMを使ってCPUでモデルを動かすこともできますが、S3はGPUを使う方式より処理が遅いとしています。メモリー容量が同じでも、GPUで使えるVRAMや共有メモリーか、CPU中心のシステムRAMかによって実行環境は変わります。
HBMはアクセラレーターの近くで大量のデータを高速にやり取りするために使われ、PCのDDR5は一般的なコンピューターのメモリーとして使われます。HBMの積層品をPC用モジュールのように扱えないのは、製造段階でプロセッサーと一体化されるためです。
HBMの生産には、一般的なDDR5より多くのウェハー容量が必要とされ、AI向けの増産は従来型DRAMの供給にも影響します。
