英国の金融テクノロジー企業Revolutは、約2,000人のエンジニアが使うコーディングAIの標準を、外部サービス中心の構成から自社運用モデルへ切り替えました。David Abitbol氏は、推論費用が約90％下がり、コーディング時間は約60％、機能の着手からデプロイ準備までのリードタイムは約70％改善したと説明しています。費用を抑えたことで、コード作成だけでなく、デバッグやチケット対応にもAIを使えるようになりました。
自社運用モデルを標準にして費用を削減
RevolutはGeminiやClaude Codeを試した後、オープンウェイトモデルのGLM-5.1を導入し、その後GLM-5.3へ移行しました。オープンウェイトモデルは、公開された重みをダウンロードし、自社の設備で動かせるモデルです。現在は56基のNVIDIA B200 GPUを使い、約2,000人のエンジニアにGLM-5.3を提供しています。
Abitbol氏によると、GLM-5.1を自社運用した際の費用は、入力・出力を合わせて100万トークン当たり約0.30ドル（約47円）で、従来使っていた商用サービスの約10分の1でした。同氏は、以前は一部のエンジニアの利用額が月1,000ドル（約16万円）から1万ドル（約160万円）に達する一方、効果が明確でない例もあり、利用に上限を設けていたと振り返っています。
利用枠を意識せずに済むようになり、エンジニアは難しい実装だけでなく、デバッグやJira、Confluenceのチケット処理にもモデルを使えるようになりました。Abitbol氏は、開発の遅れはコーディングそのものだけでなく、周辺業務にも生じると説明しています。ただし、報告された時間の改善は社内の比較値で、モデル変更だけの効果を切り分けたものではありません。
56基のGPUを調整して応答を改善
GLM-5.3は合計約7,540億パラメーターを持ち、生成時に使うのはそのうち約400億です。重みだけで約380GBのGPUメモリーが必要で、文脈を扱う領域も利用者ごとに必要になります。この規模のモデルを約2,000人に提供するため、Revolutは56基のB200 GPUを配置しました。
GPUを増やすだけでなく、量子化や推論処理の構成、文脈長の調整も性能改善に関わりました。量子化は、モデルの数値を少ないビット数で表現し、重みのメモリー使用量を抑える手法です。NVIDIAが説明するNVFP4は4ビット形式で、16個ごとの値にFP8のスケールを適用し、さらにテンソル単位のFP32スケールを組み合わせます。
この細かなスケーリングは、低ビット化で生じる量子化誤差を抑える設計です。NVIDIAはNVFP4について、FP16と比べてモデルのメモリー使用量を約3.5分の1にできると説明しています。同社のベンチマークでは、Blackwell UltraのNVFP4処理性能は最大15ペタフロップスで、同じGPUのFP8に対して3倍とされ、複数のモデルで所定の精度要件を満たしたと報告しています。
文脈長と応答速度を用途に合わせる
Revolutが目標にしたのは、最初のトークンが3秒以内に返ることです。Abitbol氏は、5秒を超えると利用者から不満が出始めると述べ、対話型の作業では毎秒約200トークンの生成速度で足りるとしています。同氏によると、エンジニアは生成内容を逐一読むより、複数の作業を並行して走らせ、完了後に確認しています。
大きな文脈窓を常に確保すると、GPUメモリーを他の同時リクエストに回しにくくなります。Abitbol氏は、最大100万トークンを扱える場合でも、同社の用途では約25万トークンが必要な範囲だと述べています。文脈長を実際の依頼に合わせることは、応答速度や同時処理数を調整する方法の一つです。
NVIDIAは別の推論ベンチマークで、FP8からNVFP4へ移すと、一定の応答速度を保ちながら処理できるトークン量が増える結果を示しています。一方、Revolutはテキスト中心のGLMだけですべての依頼を処理しているわけではありません。画像を含む依頼はGeminiやGPT系モデルへ振り分け、コード生成にはGLMを使うモデルルーターを採用しています。
自社運用ではデータ経路と保守も担う
モデルを自社設備や自社管理のクラウドで動かすと、入力データを外部のモデル提供者へ送らず、管理下のネットワーク内で処理できます。これは、モデルの出身地だけでなく、推論リクエストがどのサービスを通るかもデータ管理に関わるというAbitbol氏の説明に沿っています。Revolutは、API経由で中国から提供されるサービスへの接続を懸念点に挙げ、自社設備や地域内のクラウドで動かす場合とはデータ経路が異なるとしています。
自社運用ではGPUの調達に加え、モデルを稼働させるソフトウェアの保守、容量計画、障害対応も運用側が担います。固定設備の費用を多数のリクエストに分散できるかが採算に関わるため、利用が少ない場合や時間帯による変動が大きい場合は、従量課金のAPIの方が費用を抑えられることがあります。Revolutが報告した単価や削減率は、同社の設備と利用状況に基づく値です。
自社運用に切り替えても、外部モデルの機能をすべて置き換える必要はありません。Revolutは画像処理などを外部モデルへ振り分け、商用サービスも例外用途に使える構成を保っています。自社運用ではデータ経路を管理しやすくなる一方、実行権限を制限するサンドボックスや承認ルール、問題発生時に調査できる記録の整備も必要だとAbitbol氏は説明しています。
