Aiven、LiteLLM基盤のLLMゲートウェイを顧客向けに提供へ
出典: docs.litellm.ai

Aivenは、社内のAI利用でオープンウェイトモデルを活用し、利用頻度の高い開発者のトークン費用を約80％削減したと説明しています。 同社はこの運用に使うゲートウェイを顧客向けサービスとして提供する計画です。 複数の大規模言語モデル（LLM）を一つの窓口から扱い、モデルの切り替えや費用管理をしやすくする狙いです。

Aivenは高頻度利用者の費用を約80％削減

Aivenはフィンランドを拠点とするオープンソースのデータベースサービス企業で、近年は機械学習分野にも事業を広げています。 同社は従業員向けに社内ゲートウェイを構築し、複数のオープンウェイトモデルと高性能モデルを使えるようにしました。 オープンウェイトモデルは、学習済みパラメーターを公開し、ローカル環境や比較的低コストの環境で動かせるモデルです。

Aivenの戦略担当副社長、ヴィル・レフト氏は、社内で利用頻度の高い開発者について、支出が約80％減ったと述べています。 同社は高性能モデルの利用も続けており、作業の計画には高性能モデルを使い、実際の作業の多くにはオープンウェイトモデルを使う運用を説明しています。 モデルごとに性能が異なるため、トークン単価だけでなく、作業1件当たりの費用も見る必要があるとレフト氏は述べています。

同社のゲートウェイはオープンソースのLiteLLMを基盤とし、予算管理やアクセス管理などの機能を加えています。 モデルはレンタルしたGPU上で動かすほか、自社でもホストしています。 Aivenは、このゲートウェイを顧客にもサービスとして提供し、業務フロー内でオープンウェイトモデルを入れ替えやすくする計画です。

ゲートウェイは共通窓口からモデルへ振り分ける

LLMゲートウェイは、アプリケーションと複数のモデル提供元の間に置く中継層です。LiteLLMはOpenAI互換のAPIを通じてリクエストを受け、設定されたモデルや提供元へ転送するセルフホスト型のプロキシとして使えます。 アプリケーション側は共通の接続口を使い、ゲートウェイ側で提供元ごとの形式に合わせて転送できます。

LiteLLMでは、提供元やモデルごとに予算と対象期間を設定できます。提供元の予算を超えた場合、その提供元へのリクエストは振り分け先から外れ、利用可能な候補が残っていなければエラーになります。 複数インスタンスで支出を共有する構成では、Redisを使って利用額を同期します。

アクセスグループを使うと、指定したモデル群に共通の予算を設定できます。グループを利用できるキーのリクエストは同じ予算枠から差し引かれ、上限に達すると、そのグループを通じてモデルを呼び出すキーはリクエストを拒否されます。 この予算管理にはPostgreSQLの設定が必要で、グループをキーの許可リストに明示することが課金対象を決める条件です。

モデル選択と予算の単位を組み合わせる

LiteLLMには、重み付け、遅延、レート制限、稼働状況、低コストを基準にした振り分け方式があり、独自のルールを設定する方法もあります。 リクエストが失敗した際に別のモデルへ切り替えるフォールバックも設定できます。 Aivenが複数のオープンウェイトモデルを社内で提供し、必要に応じて高性能モデルも使う構成は、こうしたモデル選択をゲートウェイに集約する運用に当たります。

費用の上限は、提供元単位、モデル単位、アクセスグループ単位など、管理したい対象に合わせて設定できます。 たとえば、特定の提供元への日次予算を設定する方法と、複数のモデルに共通の月次予算を設ける方法では、支出を制御する単位が異なります。 Aivenもゲートウェイに予算管理とアクセス管理を加えており、モデルの選択と利用制限を同じ中継層で扱う設計です。

モデルを安価なものへ切り替える場合、単純なトークン費用だけでなく、作業の結果や作業1件当たりの費用も考慮する必要があります。Aivenは、モデルの性能差を踏まえて費用を評価する考え方を示しています。 LiteLLMの振り分け方式には低コストを基準にする選択肢もありますが、どのモデルをどの作業に使うかは設定や運用に委ねられます。

セルフホスト型は運用と制御を自社で担う

LiteLLMは自社のインフラに設置して運用する方式で、OpenRouterは複数の提供元への接続をサービス側が管理する方式です。 両者は複数の提供元を共通APIから使える点で重なりますが、LiteLLMではデータベースやプロキシの運用が必要になります。 OpenRouterは利用者側でゲートウェイのサーバーを管理せずに使えます。

LiteLLMを自社で運用すると、ルーティングのルールやネットワーク内のアクセス制御を自社側で扱えます。 一方で、稼働状況の監視や更新なども運用者が担います。 モデル提供元のAPIを個別に直接利用する場合と比べると、ゲートウェイを置くことで共通の接続口や費用管理をまとめられますが、サービスの運用が加わります。

Aivenはデータベースをサービスとして提供してきた経緯を踏まえ、ゲートウェイも顧客向けサービスにする考えを示しています。 顧客にはConrad、Dojo、Sophos、Avayaなどが含まれます。 提供開始時期や料金は今回の説明には含まれておらず、顧客向けサービスとしての具体的な条件は今後の案内を待つ段階です。