Speridlabsは、1枚の画像から3Dオブジェクトを生成するAIモデル「Idol」を公開しました。Idolは3Dガウシアンスプラッティング（3DGS）形式で、画像に写っていない側面も含む立体データを生成します。最大7.2GBのVRAMで動作し、10GBメモリーのGeForce RTX 3080では標準設定で生成に46.2秒かかります。
1枚の画像から3DGSデータを生成
Idolは写真のほか、レンダリング画像や画像生成AIが作った画像も入力できます。背景を除去して被写体を切り抜き、立体を大量の色付きの点で表す3DGSデータを生成します。生成する点（ガウシアン）の数は3万2,768個から104万8,576個まで指定できます。
出力ファイルは標準的なPLY形式で、一般的な3DGSビューアで開けます。3DGSのPLYは、点ごとに位置や大きさ、向き、透明度、視点に応じた色の情報を持ちます。一般的なメッシュPLYが頂点や面で形状を定義するのに対し、3DGSのPLYには頂点同士をつなぐ面の情報がありません。
そのため、Idolの出力はメッシュ形式の立体モデルとは異なります。3DGS対応ツールでは編集や表示に使えます。PLYはBrush、Nerfstudio、SuperSplat Editorなどで扱えます。リアルタイム用途では、PLYを圧縮した実行時形式へ変換する方法もあります。
RTX 3080でも動作、生成数で調整
Idol本体は約3GBの重みを持ち、Apache License 2.0で公開されています。商用利用も認められており、推論コードとブラウザから試せるデモも公開されています。モデル本体は0.66B（約6億6,000万）パラメーターで、画像を読み取る機能などを含めた全体は約1.8Bです。
標準設定の26万2,144個・50ステップでは、GeForce RTX 4090の生成時間は19.1秒、RTX 3080では46.2秒です。RTX 3080の46.2秒は、同じコードと設定で8枚の画像を測った公式ベンチマークの中央値です。生成するガウシアン数を増やすと、データの詳細度を上げられます。
Idolの生成時間は設定やGPUによって異なります。公式ベンチマークでは26万2,144個の生成に、RTX 5090で14.1秒、RTX 4090で19.1秒、RTX 3080で46.2秒でした。いずれも50ステップでの測定値です。
画像の種類に合わせた設定と利用条件
入力画像には「synthetic」と「real」のモードを指定します。CGや生成画像向けのsyntheticでは被写体をフレームの約5分の6まで広げ、実物の写真向けのrealでは約7分の6までに収めます。画像の種類に合わせてモードを選びます。
生成では、ノイズを段階的に取り除く工程を50ステップ繰り返します。ステップ数を減らす設定もありますが、細部が失われる場合があります。出力にはPLYファイルのほか、背景除去と切り抜き後にモデルが処理した画像、入力画像のカメラ位置を予測したJSONファイルも含まれます。
画像の読み取りに使うDINOv3とFLUX.2のVAEについては、Hugging Face上で利用規約への同意とアクセス承認が必要です。Idolの重みとコードを利用するには、これら2つのモデルを使う準備も必要です。動作環境はPython 3.10以降、PyTorch 2.5以降、CUDA対応のNVIDIA GPUです。
生成結果には画像にない部分の推定が含まれる
Idolは画像に写っていない側面も生成しますが、その部分は元画像に記録された情報ではなく、モデルによる補完です。PC Watchの試用では、立体感のある写真からの生成は良好だった一方、立体感のない画像では形が崩れ、写っていない部分に手直しが必要でした。
1枚の画像からメッシュを作る別方式として、Stability AIとTripo AIが公開したTripoSRは、テクスチャ付きメッシュを出力します。Stability AIはA100での生成時間を約0.5秒と説明し、GPUなしでも動作するとしています。Tencentなどが発表したInstantMeshも単一画像からメッシュを生成し、全体の処理時間を約10秒としています。
これらの時間は、それぞれの方式が公表した条件での値です。Idolは3DGSを、TripoSRとInstantMeshはメッシュを出力するため、数値だけでは生成品質や処理速度を直接比較できません。Idolのプロジェクト内ベンチマークでは、26万2,144個・50ステップの条件で、Idol、TripoSplat、TRELLIS、LGMを複数の指標で評価しています。
