TopicBaseGoogle、Pythonを介さずC++でAI推論を実行する「XSE」を公開
Googleは、Pythonで開発した機械学習モデルをC++で実行する「XLA Serving Engine（XSE）」を、Apache 2.0ライセンスでオープンソース化しました。Googleの測定では、短い推論リクエストの処理能力が、同社が最適化したPythonサーバーの2〜5倍となり、メモリー使用量は4分の1になりました。主な対象は、検索や推薦など、大量の短いリクエストを低遅延で処理する用途です。
#AI推論
M5 Ultra搭載Mac StudioとDGX SparkをAI推論で比較、大規模モデルでは実行ソフトで差
M5 Ultra搭載Mac Studioは、ローカルでAIを動かす比較テストで、DGX Spark相当のシステム1台に対し、処理時間を半分未満に短縮し、処理全体の消費エネルギーも約16％削減しました。一方、大規模なモデルではDGX Spark相当の2台構成が速い場合もあり、モデルを実行する推論エンジンや設定の組み合わせで結果が大きく変わりました。
NVIDIA、AI推論のメモリー圧迫に圧縮と階層化で対応
NVIDIAは、AI推論のメモリー効率を高めるため、GPUのHBM（高帯域幅メモリー）に加えて、CPUメモリーやストレージ、ソフトウェアを組み合わせる設計を示しました。モデルの重みとKVキャッシュが限られたHBMを取り合うため、データを圧縮し、使用頻度に応じて保存先を分けます。
Fal、評価額160億ドル（約2兆5,000億円）で13億ドル（約2,100億円）を調達 生成AI推論の需要拡大
サンフランシスコを拠点とするAI推論サービス企業Falが、シリーズFで13億ドル（約2,100億円）を調達し、企業評価額は160億ドル（約2兆5,000億円）となりました。4月の評価額80億ドル（約1兆3,000億円）から倍増しており、同社はシリーズEとFを合わせて16億5,000万ドル（約2,600億円）を調達したと発表しています。学習済みモデルを動かして画像や動画などを生成する「推論」の利用拡大が、同社の事業と資金調達の背景にあります。
GoogleのTPUでMetaがAI推論を本番運用、PyTorch対応エンジンを導入
Metaは、GoogleのAI向け半導体TPUを使ったAIモデルの推論を本番環境で稼働させています。GoogleとMetaのPyTorchチームなどが共同開発した「SGLang-TorchTPU」を導入し、既存のPyTorchワークロードをTPU上で実行できるようにしました。
AMDとIntel、PyTorchのCPU推論最適化をoneDNNに統合
AMDとIntelは、PyTorchでAI推論を実行する際のx86 CPU向け最適化を、オープンソースライブラリ「oneDNN」に統合します。AMD独自の最適化ライブラリ「ZenDNN」の機能をoneDNNに取り込み、両社のCPUで共通のソフトウェア経路を用意する計画です。
Huawei、KVキャッシュを共有するAI推論向けストレージ「OceanStor M900」を発表
Huaweiは、AI推論向けのストレージ製品「OceanStor M900 Context Memory Storage」を発表しました。モデルが会話や文書の文脈を処理する際に使うKVキャッシュを、GPUやシステムメモリーの外へ広げ、複数階層で共有する設計です。
Apple、空きMacのGPUを束ねる推論基盤「Minions」を運用
Appleは、社内で使われていないMacのGPUを集め、AIの推論タスクを分散実行するシステム「Minions」を運用しています。集中型GPUの空き待ちが10時間を超える場合もあった処理を、空きリソースの活用によって数分で始められることがあります。Thunderbolt 5のRDMAクラスタが複数Macの計算資源やメモリーをまとめて大きなモデルを扱う構成なのに対し、Minionsはネットワーク上の空きGPUへタスクを振り分けます。
Intel、推論向けGPU「Dシリーズ」を発表 D270は480GBのLPDDR5Xを搭載
Intelは、推論に最適化したデータセンター向けアクセラレーター「GPU Dシリーズ」を発表しました。シリーズの旗艦モデルは「GPU D270」で、エージェント型AIなどの推論用途を想定しています。
Microsoft、AI推論の主力を自社製Maiaへ 学習ではNVIDIAやAMDも継続
Microsoftは第3世代のAIアクセラレーター「Maia 300」を発表し、利用者からのAI処理要求に応じる推論で、自社製チップを主力にする方針です。推論は、学習済みのモデルが入力に応じて回答などを生成する処理です。MicrosoftはこれまでNVIDIA製GPUへの依存が大きく、Azureで使う半導体の構成を広げます。
Volantis、光接続で大容量メモリを統合するAI推論システム「A-1」を開発
半導体企業Volantisは、演算チップとメモリを光で接続するAI推論システム「A-1」を開発しています。単一パッケージに10TBを超えるメモリを搭載し、最大240TB/sのメモリ帯域幅を実現する構想で、大規模AIモデルを動かす際の容量とデータ転送速度の制約に取り組みます。同社はシリーズAで8,800万ドルを調達し、2027年に最初の統合型推論エンジンを顧客へ届ける計画です。