
Appleは、画像や動画の焦点距離を推定するモデル「DepthPro2-focal」を公開しました。画像の各画素についてメートル単位の深度を推定する「Depth Pro 2」と組み合わせ、焦点距離が分からない写真や動画にも利用できます。

焦点距離を使って深度の尺度を定める
DepthPro2-focalは、写真や動画のフレームから焦点距離をピクセル単位で推定します。パラメーター数は2350万です。Depth Pro 2の各サイズと組み合わせられるほか、単独でも使用できます。
メートル単位の深度を求めるには、カメラの焦点距離が必要です。写真に焦点距離が記録されている場合はその値を使い、分からない写真や動画では推定モデルを使います。焦点距離の誤差は深度の尺度に影響し、値が10%長すぎると推定距離も10%遠くなります。
動画では、最初の一定区間のフレームから求めた推定値の中央値を、その動画全体の焦点距離として使います。既知の焦点距離をピクセル単位で指定することもできます。その場合、焦点距離の推定モデルは使用しません。
静止画と動画を同じネットワークで処理
Depth Pro 2は、通常のカメラで撮影した画像から各画素の深度を推定します。静止画、動画、ライブ映像を一つのネットワークで扱い、入力画像の元の解像度で処理します。推定される深度は、カメラの視線方向に沿った距離です。
研究チームによると、従来の深度推定には、動画の時間的な一貫性と物体の境界の鮮明さの間にトレードオフがありました。複数フレームを使う手法は一貫性を、単一フレームの手法は鮮明さを重視する傾向があるとしています。Depth Pro 2では両方の課題に対応するため、画像と動画を処理する共通のネットワークを訓練しました。
研究チームは、深度の測定精度、境界の鮮明さ、時間的な一貫性の各面で従来手法を上回ったとしています。また、SintelとSpringのデータセットを使った評価では、境界の鮮明さと時間的な一貫性の両方で、単一フレームと複数フレームの従来手法を上回ったとしています。
フレーム間の情報を共有する仕組み
深度推定ネットワークは、1枚または複数のフレームを受け取るマルチビュートランスフォーマーを使います。複数フレームはまとめて処理されます。その後、DPTデコーダーがフレームごとの逆深度マップを予測します。
トランスフォーマーは、処理ブロックの最初の3分の1を過ぎると、各フレーム内とフレーム間の注意処理を交互に行います。これにより、フレーム間で情報を共有します。デコーダーは複数のブロックの情報から特徴マップを組み立て、逆深度を出力します。
動画ファイルの標準設定では、16フレームずつを処理し、隣接する区間を4フレーム重ねます。ライブ映像向けのモードでは、到着したフレームと直前の最大15フレームを使います。ライブ映像の最初のフレームは参照できる過去のフレームが少ないため、深度が安定しにくいとされています。
深度モデルは4種類、焦点距離推定器は共通
Depth Pro 2の深度モデルにはS、B、L、H+の4種類があります。Sは2400万パラメーターで97MB、Bは9700万パラメーターで386MBです。Lは3億3400万パラメーターで1.3GB、標準のH+は8億7200万パラメーターで3.5GBです。
4種類は共通の焦点距離推定器を使います。推定器の容量は94MBです。深度モデルの実行コードと重みへのリンクが公開されています。
LinuxまたはApple silicon搭載Macで実行でき、利用可能なNVIDIA GPU、Apple siliconのGPU、CPUを使用します。Apple製ハードウェア向けにはCore ML形式のモデルも用意されています。Mac向けのライブ深度表示デモには、Apple silicon、macOS 15以降、Xcode 16以降またはそのコマンドラインツールが必要です。
出力形式とモデルの利用条件
コマンドラインで実行すると、写真は深度を色分けしたPNG、動画はMP4として出力されます。近い場所は赤、遠い場所は青で示されます。オプションで16ビットの逆深度PNGや、メートル単位の深度とピクセル単位の焦点距離を収めたNPZファイルも保存できます。
16ビットPNGは、写真または動画の最初のフレームの深度範囲に合わせて値が調整されます。そのため、動画の後半で手前に移動した部分は白く飽和する場合があります。動画の各フレームについて、個別のPNGやNPZを出力することもできます。
DepthPro2-focalを含むモデルの重みには、Apple Machine Learning Research Modelライセンスが適用されます。利用は非商用の科学研究と学術開発に限られます。深度モデルのコードとモデルの重みは別のライセンスで扱われます。











