MetaがGoogleのTPUで推論を本番運用

Metaは、GoogleのAI向け半導体TPUを使ったAIモデルの推論を本番環境で稼働させています。GoogleとMetaのPyTorchチームなどが共同開発した「SGLang-TorchTPU」を導入し、既存のPyTorchワークロードをTPU上で実行できるようにしました。

SGLangは、AIモデルへの入力処理や応答生成を担うオープンソースの推論エンジンです。TPU向け版は、SGLangの開発元RadixArk、Google、Metaの協業で開発されました。MetaのPyTorchエンジニアリング責任者、Jana van Greunen氏は、特定のハードウェアだけに制約されないことが重要だと述べています。

Googleは、Inferactと共同開発した「vLLM-TorchTPU」もオープンソースで公開しました。vLLMも広く使われている推論エンジンです。従来、両エンジンでTPUを使うにはGoogleの機械学習フレームワークJAXを利用する方式がありましたが、新しい版ではPyTorchを中心とする構成でTPUを利用できます。

TorchTPUが変えるモデル移植の手順

TorchTPUは、PyTorchのテンソルやAPIを使ってモデルをTPU上で動かすソフトウェア基盤です。GoogleとMetaのPyTorchチームが共同開発し、既存のPyTorchワークロードを大幅に書き換えずに移行できるよう設計されています。開発中は個々の処理を実行する「eagerモード」を使い、最適化時にはtorch.compileで処理をコンパイルできます。

従来のPyTorch/XLAは、PyTorchの処理をXLAコンパイラ向けに組み立てる方式でした。TorchTPUの研究論文では、旧方式はコンパイル領域の指定が必要で、コンパイル時間やeager実行への対応にも課題があったとしています。TorchTPUではPyTorchの通常のテンソルをTPUデバイス上で扱い、既存コードの変更を抑えることを目指しています。

モデルの実行では、標準的なPyTorchのモデル定義を多く再利用し、カーネルやレイヤーの実装にTPU向けの最適化を加えます。独自カーネルはGoogleのPallasで記述でき、コンパイルされた計算グラフから呼び出せます。この設計では、開発者は使い慣れたPyTorchの実行環境を保ちながら、TPU向けの処理を組み込めます。

公開された処理性能と対応モデル

Googleは、vLLM-TorchTPUで2.8兆パラメーターのオープンモデル「Kimi K3」を動かし、Ironwood TPU上で単一ユーザーに毎秒700トークンを超えて生成したと公表しました。Inferactも開発に参加し、デコード処理全体を一つのカーネルで実行する最適化を行っています。

Tom’s Hardwareは、16基のIronwood TPUを使い、投機的デコードを有効にした場合の測定値として毎秒700トークン超を報じています。比較対象は、vLLMが公開した16基のNVIDIA GB200による毎秒452トークンです。また、Tom’s Hardwareによると、Kimi K3とQwen 3.8 27B向けのカーネルは、小規模なバッチで投機的デコードを使わない条件で、GB200の基準値に対して約1.4～2倍のスループットでした。

vLLMとSGLangのTPU向けエンジンは、複数ターンの会話で再利用するKVキャッシュの保持やホストメモリーへの退避、画像・動画入力を含むモデルなどに対応します。両エンジンは、Qwen、DeepSeek、GLM、Kimi、GPT-OSS、Gemma 4など複数のオープンモデル系列をサポートしています。対応モデルは今後も追加される予定です。

今後の対応拡大と開発者向け施策

RadixArkは、SGLang-TorchTPUにDeepSeek V4.1 FlashとReflection Beamを追加する作業を進めています。さらに、新しいオープンモデルの公開初日からTPUで動かせる「Day 0」対応を、2027年第1四半期までに実現する方針です。

Googleは、両エンジンの開発に継続して参加する開発者向けに、無料のTPU計算資源を提供するコミュニティ枠を設けると発表しました。対象はvLLMとSGLangの双方への貢献者です。この枠では、開発者がTPU上でエンジンの改良や動作確認を進められます。

Google、Meta、RadixArkは、2026年11月12日と13日にサンフランシスコで開かれるSGLang Summit 2026で、協業についてさらに共有する予定です。