DeepSeekは、大規模AIサービス向けの推論基盤「DeepInfer」をオープンソースとして公開しました。現時点では同社のモデル向けで、投機的デコードなどにより生成処理を効率化します。
DeepSeekが推論基盤を公開
推論とは、学習済みモデルが入力に応じて文章などを生成する処理です。DeepSeekはDeepInferを、自社の大規模な本番サービスを支える高性能な推論フレームワークと位置づけ、ソースコードを公開しました。
公開時点で対応するモデルはDeepSeek-V4.1-Flashです。オフライン推論に必要な機能を備え、Linux、Python 3.12、CUDA 13またはCANN 9.2などを前提としています。対応ハードウェアはNVIDIA SM100 GPUとHuawei Ascend 950 NPUです。
DeepInferには、複数の処理を並行させる仕組みや、モデルの計算を最適化するカーネルなどが含まれます。出力をJSONスキーマや文法に沿わせる機能もあります。完全な推論サービスに必要なKVキャッシュシステムや負荷分散機能は、公開版に含まれていません。
投機的デコードで生成を効率化
DeepInferは、ドラフトトークンを使ったデコードの高速化機能「DSpark」と、信頼度に応じて検証する仕組みを備えています。投機的デコードでは、軽量なドラフトモデルが次の候補トークンを先に生成し、対象モデルが候補をまとめて検証します。
対象モデルが候補を受け入れれば、トークンを一つずつ生成する場合より少ない検証回数で出力を進められます。SPIReの研究では、投機的デコードで受け入れられたトークンが対象モデルの確率分布に従うようにできると説明されています。
ただし、ドラフト生成と検証には追加の計算が必要です。候補を十分速く作れ、受け入れ率も高い場合に効果が見込めます。SPIReの研究は、メモリー帯域がボトルネックになる状況で特に有効だと述べています。
継続する推論需要とコスト
学習がモデルを作る処理なのに対し、推論は学習済みモデルを検索、チャットボット、推薦などのサービスで動かす処理です。McKinseyは、推論がAIデータセンターのAI計算需要の半分超を占めると予測しています。
McKinseyの予測では、推論は2030年にデータセンター全体の需要の約30〜40％を占めます。モデルを一度学習させる費用とは異なり、推論の費用は継続して発生し、サービスの収益にも結びつくとMcKinseyは整理しています。
推論処理の効率は、AIサービスの運用費に関わります。DeepSeekはDeepInferの公開について、計算コストとエネルギー使用を抑え、AIをより手頃にするためだと説明しました。
利用対象と競争への影響
DeepInferの公開版はDeepSeekの対応モデル向けで、すべてのAIモデルに使える汎用基盤ではありません。今後、公開されるDeepSeekのモデルをフレームワークに追加すると同社は述べています。
DeepSeekのモデル利用料金について、GizmodoはOpenRouter掲載価格として、入力100万トークンあたり0.035ドル（約6円）、出力100万トークンあたり0.12ドル（約19円）を挙げています。Gizmodoが比較対象にしたOpenAIのGPT-6 Astraは、それぞれ10ドル（約1,600円）と50ドル（約7,900円）です。この価格はモデルの利用料金で、DeepInfer導入後の運用費とは異なります。
米政府は連邦政府の民間機関にDeepSeekのAIツール利用を禁じましたが、この規則は民間企業や団体の利用を禁止していません。
