Hi3Dは、3D形状を高精細化する旧世代モデル「Hi3D V1.0」の推論コードと学習済みモデルを公開しました。参照画像と同じ物体の粗いメッシュを入力し、最大1536³の実効スパース抽出グリッドでジオメトリを精細化できます。公開版は形状のみを出力し、テクスチャやマテリアルは生成しません。
Hi3D V1.0で公開されたもの
Hi3D V1.0は、2025年に発表されたSparc3Dの表現と形状再構築の仕組みを基盤にしています。Hi3Dは、約200万点の厳選3Dアセットを使って学習したモデルと、推論用のコードを公開しました。
推論コードはGitHub、モデルウェイトはHugging Faceで提供されています。公開物には学習コードと論文の評価用ハーネスは含まれず、この公開物だけで論文の比較表を再現することはできません。
Hi3Dのオンラインサービスでは、今回の公開対象とは別にV3.0を提供しています。V3.0は2048³級のジオメトリ処理と最大8Kテクスチャに対応するとされていますが、これらは公開されたV1.0の仕様ではありません。
画像と粗いメッシュから形状を再構築
入力するのは、対象物の参照画像と、その物体を大まかに表した3Dメッシュです。画像の特徴を粗い形状から得た座標に結び付け、疎な潜在表現を段階的にサンプリングしてデコードし、メッシュを取り出します。
「疎な表現」は、空間全体を均一な格子で埋めず、形状に関係する座標を中心に処理する方式です。Sparc3Dは、符号付き距離と頂点の変位情報を疎な立方体へ配置する表現「Sparcubes」と、疎な畳み込みを使うVAEを組み合わせています。VAEは形状を圧縮・復元するモデルで、Sparc3Dの研究では高解像度形状の再構成に用いられました。
Hi3Dでは、各段階で抽出したメッシュを再びボクセル化し、次の段階の処理範囲を作ります。512³の指定では1段階、1024³では2段階、1536³では3段階を実行します。これらの数値は疎な座標と抽出グリッドの解像度を表し、同じ大きさの密な潜在テンソルや、一定のポリゴン数を意味するものではありません。
出力と利用時の条件
利用者が指定できる解像度は512、1024、1536で、各段階のスケジューラー更新は既定で25回です。出力はジオメトリだけで、テクスチャ、マテリアル、頂点カラーは含まれません。また、生成後の形状は原点を中心に最大半径が1となるよう正規化されるため、入力メッシュの絶対スケールやワールド座標は維持されません。
公式実装の実行環境はLinux、Python 3.10、計算能力8.0以上のNVIDIA GPU、対応するCUDAツールキットです。CPUだけでの推論には対応していません。1536³の処理はVRAM 96GBのNVIDIA H20で検証されており、それより小さいGPUで必要なメモリ量や実行可能性は確立されていません。
画像から粗いメッシュを用意する工程は、Hi3D V1.0の形状高精細化とは別です。公式リポジトリのサンプルはHunyuan3D-2 miniを任意の粗形状生成器として使えますが、Hunyuanのコードと重みは別途必要で、Hi3D本体の必須依存ではありません。粗いメッシュをすでに用意できる場合は、Hunyuanを使わずに高精細化を実行できます。
Apple Silicon向け移植版との違い
別途公開されているMLX移植版は、Apple Silicon上でHi3D V1.0を推論する実装です。元の実装がLinuxとNVIDIA GPUを必要とするのに対し、この移植版はMLXとNumPyを使い、Apple Siliconで動作するとされています。
この移植版では、既存の粗いメッシュを精細化するほか、SAM 3D Objectsを組み合わせて画像から粗いメッシュを作る経路も用意されています。公式Hi3Dリポジトリの画像からメッシュまでのサンプルはHunyuan3D-2 miniを使うため、粗形状を作る段階で選べる仕組みが異なります。
移植版の検証例では、Apple M4 Proとメモリ64GBの環境で1024解像度の処理に約30分、ピークメモリ約30GBを要しました。これは移植版の特定環境での測定値で、公式実装のGPU要件を置き換えるものではありません。公式実装で1536³を検証した環境はVRAM 96GBのNVIDIA H20です。
