2026.11.11

NTT、ロボットの行動結果を事前予測するAI技術を開発　棚積み成功率92.3％に

AIによる要約

形状や重量が異なる空港手荷物の積み込み・積み下ろしを最初の適用先とし、Mujinと連携して実証を進める予定です。
映像生成モデルに物理量を推定・計算する独自機構を組み込み、研究成果は11月18〜25日の研究開発イベントで展示予定です。

図2：本技術による行動選択の概要。複数の行動候補について行動後の結果を予測・評価し、成功につながる行動を選択します。 — 出典: group.ntt

NTTは11月11日、ロボットが動く前に荷崩れや落下の可能性を予測し、複数の候補から成功につながる行動を選ぶ技術を発表しました。小型ロボットによる棚積み実験では、既存の制御モデルと組み合わせることで、作業の成功率が73.1％から92.3％に向上しました。最初の適用先には空港手荷物の積み込み・積み下ろしを想定し、Mujinと連携して実証を進める予定です。

行動候補ごとに未来の映像と成否を予測

開発した「NTTワールドモデル」は、ロボットの行動によって周囲がどう変わるかを予測する仕組みです。カメラやセンサーの情報と行動候補を使い、実行後の周辺環境を映像として生成し、行動計画の成否をスコアで評価します。

対象となるフィジカルAIは、ロボットなどの機械が実世界を認識し、自律的に判断・行動するためのAIです。NTTワールドモデルは既存のロボット制御ソフトウェアと連携し、候補となる動作を実行する前の判断に使います。

例えば、ロボットの目標と周辺環境から動作を計算する「モーションプランナー」などが複数の行動候補を作ります。NTTワールドモデルは候補ごとに将来の映像を生成し、落下や衝突の有無などを評価して、行動の選択につなげます。

映像生成に物理法則の計算を組み込む

技術の中核は、映像生成モデルに独自の「物理制御アダプタ」を組み合わせた構成です。映像から物体ごとの位置、姿勢、速度、質量などを推定し、運動方程式に基づいて次の状態を計算します。その計算結果を映像生成に反映させます。

NTTは、このアダプタをワールドモデルの基盤となる映像生成モデルに統合したのは世界初だとしています。また、物体が不自然に消えたり変形したりする予測を抑え、衝突や崩落といった相互作用をより正確に予測できるとしています。

空港手荷物や宅配便の荷物は、形状、重量、配置が一定ではなく、あらゆる状況を網羅する学習データの収集が難しい対象です。NTTは、物理量を明示的に扱うことで、学習データに含まれない場面や動きにも対応できるとしています。予測に使った物理量も出力し、生成結果の理由を把握しやすくする構成です。

従来の物理シミュレーターでは、現実との差を小さくするためのモデルや素材の準備にコストがかかり、複雑な形状の変形する物体の再現にも課題があります。NTTワールドモデルは映像から物理量を推定し、物理法則による計算と映像生成を組み合わせて、荷物同士の相互作用を予測します。

棚積み実験ではVLAモデル「π0.5」と連携

棚積み実験では、オープンソースのVLAモデル「π0.5」にNTTワールドモデルを組み合わせました。VLAは「Vision-Language-Action」の略で、カメラ映像と言語による指示を入力し、ロボットの行動を出力するモデルです。π0.5はPhysical Intelligenceが開発しました。

π0.5の公開実装では、画像やタスクの指示を、画像と言語を処理する視覚言語モデルで扱い、その情報を基に動作生成用の「Action Expert」がロボットの行動を生成します。VLAにおけるAction Expertは、関節角度や目標姿勢など、ロボット制御に必要な連続的な値を出力するための構成です。

NTTの実験では、小型ロボットで荷物の積み付けを模擬した棚積み作業を行い、ワールドモデルの適用有無で成功率を比較しました。行動を生成するπ0.5と、その結果を実行前に予測・評価するNTTワールドモデルを連携させることで、成功率が73.1％から92.3％に上がりました。