再構成と生成を組み合わせるUniForge3D
UniForge3Dは、撮影方向が分からない少数の画像から、観察できた形状を保ちつつ見えない部分を補い、完全な3Dモデルを作る手法です。画像に写った形状の復元と、学習した形状の知識を使った生成を一体で扱います。
入力画像が少ないと、写っていない面の形状を直接読み取れません。一方、生成だけでは画像から分かる細部を反映しにくいため、UniForge3Dは復元と生成の両方を使います。
論文では、Toys4KとGoogle Scanned Objects（GSO）で外観と形状を評価し、両データセットで従来手法を上回ったと報告しています。
共通の座標空間で二つの処理を連携
復元処理はカメラに対する相対的な座標を使い、生成処理は標準化された座標空間を使うため、そのまま組み合わせると座標のずれが生じます。UniForge3Dは、基準にする画像の方位に沿って物体を直立させる「アンカー誘導空間」を設け、このずれを扱います。
復元側と生成側は特徴を双方向に受け渡し、各画像に対応する点マップと、物体全体を表す疎なボクセル構造を予測します。点マップは画像上の画素に対応する3D上の位置を表し、ボクセル構造は物体の立体形状を空間の区画で表します。
その後、生成した構造を条件に点マップを予測し、ボクセルと画像の画素を対応づけます。各ボクセルについて形状の手掛かりとして有用な入力画像を選び、その画像の特徴を使って細部を生成します。
疎なボクセルで立体形状を扱う
ボクセルは、3D空間を小さな立方体状の区画に分けて形状を表す方法です。空間全体を均等に埋めず、形状がある場所を中心に扱う疎な表現では、物体の表面が占める範囲に情報をまとめられます。
Open3Dのボクセルブロックグリッドでは、空間を粗いブロックに分け、表面を含むブロックを3D座標のハッシュマップに記録します。各ブロックの内部は密なボクセルで構成され、隣り合うデータを近くに保つ設計です。
UniForge3Dでは、ボクセル構造を画像の画素との対応づけに使い、選んだ画像の特徴を形状の細部生成に活用します。
Toys4KとGSOを使った評価
Toys4Kは、4,179個の3D物体を105カテゴリに分けたデータセットです。元の研究では、少数例から新しい物体カテゴリを分類する学習に向けて作られました。
GSOは、家庭用品を中心とする17カテゴリの物体を収録したデータセットで、スキャン物体は1,030個です。物体の細かな形状とテクスチャを含み、3D研究の評価にも使われています。
UniForge3Dの論文は2026年10月11日にarXivへ投稿されました。論文では、Toys4KとGSOで外観・形状の結果を評価したとしています。
