The layers of the Streamhouse: agentic experience, end-to-end solutions, stream-native intelligence and the Streamhouse
出典: Hugging Face Blog

IBMの時系列基盤モデルが、Confluentのクラウドおよびオンプレミス環境で利用できるようになりました。Apache FlinkのSQL関数を通じて、流れ続けるデータに予測や異常検知を適用でき、モデルはGPUを必要とせずCPUで動作します。

Confluent Cloudの予測・異常検知関数は早期アクセス段階で、評価や本番以外のテストに限られます。オンプレミス向けの関数もプレビュー段階です。

流れるデータに予測を組み込む

時系列データには、機械の測定値、決済、販売、在庫の変化などがあります。予測が生産や決済の後に届くと、その結果を当該の判断に生かせません。Flinkは流れるデータを処理し、予測や異常検知の結果を、元となったイベントと併せて利用できるようにします。

時系列基盤モデルは、多様な過去データから一般的なパターンを学習します。事前学習済みモデルを共通の出発点とすることで、系列ごとに別のモデルを開発する必要を減らせます。用途や環境に応じて追加学習したり、出力を別のデータや業務ルールと組み合わせたりすることも可能です。

Confluent Cloudではモデルが管理され、利用者によるデプロイは不要です。オンプレミスではConfluent Platform for Apache Flinkを使い、自社のインフラで動かせます。IBMの時系列モデル群のダウンロード数は5000万回を超えています。

クラウド関数の利用条件と入力

Confluent CloudのAI_FORECASTとAI_DETECT_ANOMALIESは早期アクセス段階です。両関数は評価や開発・テスト環境での利用を対象とし、本番利用は想定されていません。サポートや保証、サービスレベルの確約も付かず、利用料金はコンピュートプールのCFU使用量に含まれます。

両関数には時刻を示す列と数値の列が必要です。時刻はnullにできず、数値は有限値である必要があります。nullの数値は処理時にスキップされます。

予測関数は標準でIBM Granite TTMを使い、TimesFM 2.5、FlowState、PatchTST-FMも選択できます。TTMの予測期間は最大96時点で、PatchTST-FMは最大8176時点です。利用できるのはConfluentが管理しクラウド上でホストするモデルで、独自モデルや外部モデルは指定できません。

オンプレミスではモデルサーバーを配置

オンプレミス向けの予測・異常検知関数はプレビュー段階で、今後インターフェースが変わる可能性があります。モデルは利用者のKubernetesクラスタに配置したモデルサーバーで動き、SQL関数が値を送信します。利用するモデルごとにサーバーを用意します。

対応モデルにはTTM-R3、FlowState、PatchTST-FMがあります。モデルの指定がない場合はTTM-R3が使われ、PatchTST-FMのモデルダウンロードは約1GBです。

関数を呼び出す処理にはFlink 2.3を使うコンピュートプールが必要です。モデルサーバーはamd64とarm64のノードに対応し、amd64ではAVX2を含むx86-64-v3命令セットが必要です。通常は起動時にHugging Faceからモデルを取得しますが、必要なファイルを配置すればインターネットに接続せずに動かせます。

生産管理と店舗需要への活用例

生産管理では、アイスクリームに含まれる空気量が品質に影響します。充填後の検査結果を待つ方法では、原料や天候による変化が分かるまでに、手直しが必要な製品が生じることがあります。例示された方法では、TTMが設備のテレメトリーと品質測定値を10分ごとに読み取り、4時間先に規格を満たす製品の割合を予測します。

予測が工場の目標を下回る場合、最適化処理は冷凍機の温度と空気流量の組み合わせを評価します。モデルは制御値を入力として受け取るため、実際に設備を変更する前に各案を評価できます。推奨された設定値は作業者が承認し、通常の調整はあらかじめ定めた範囲で自動化する構成です。

店舗の需要計画では、AI_FORECASTを使って商品・店舗ごとの需要を予測する例があります。この例では28日先までの予測と10〜90パーセンタイルの範囲を出し、新たな販売データに合わせて更新します。計画アプリは予測に在庫、納品までの時間、担当者が選んだサービス水準を組み合わせ、発注点を計算します。

異常検知や取引量予測にも応用

店舗の異常検知では、販売系列ごとに最近の履歴から予測範囲を作り、新しい販売実績と比較します。範囲を外れた場合は、在庫や店舗のデータと組み合わせ、棚の確認や補充といった対応につなげる構成です。AI_DETECT_ANOMALIESでは、判定に用いる予測区間の信頼水準を設定できます。

決済の例では、カードごとの最近の利用履歴に基づく支出の予測範囲と、個々の決済を比較します。範囲外の取引は、既存の不正検知システムに追加の判断材料として渡します。銀行はほかの信号や業務ルールも踏まえ、決済の承認、追加認証、調査を判断できます。

証券取引では、PatchTST-FMが1分ごとのデータを使って30分先までの取引量を予測する例があります。執行アルゴリズムは予測と担当者が設定した取引量の上限を使い、大口注文を分割するペースを調整します。また、TSPulseでセンサーの時系列パターンを表現し、別途構築したアプリで設備の過去の類似パターンを検索する使い方も想定されています。