画像1枚から揺れる3Dヘアを生成する「HairDeck」、コードとモデルを公開
出典: hyzcluster.github.io

清華大学などの研究チームが、画像1枚からアニメ調の3Dヘアと、その髪を揺らすためのボーンを生成する技術「HairDeck」を公開しました。 髪を毛束ごとの部品として保持し、アバター向け形式などで書き出せます。

毛束と揺れの設定を一緒に生成

HairDeckは、キャラクター画像を基に、帯状のポリゴンで毛束を表す「ヘアカード」を生成します。 清華大学のYuze He氏、Yixiang Wei氏らと、カーネギーメロン大学、香港中文大学の研究チームによる技術です。 ソースコード、学習済みモデル、オンラインデモは2026年10月30日に公開されました。

生成された髪は、全体を一体化したメッシュではなく、個々のヘアカードを保持します。 各カードには、平面上の画像と3D形状を対応させるUV座標が付いています。 髪の形状に加え、カードを動かすための設定も生成の対象です。

揺れには「スプリングボーン」と呼ばれる骨格の連なりを使います。 HairDeckは別のモデルでボーンのチェーンを生成し、各カードをボーンに結び付けます。 これにより、生成した髪に動きを付けるための構造が得られます。

手作業で配置するヘアカードを対象に

アニメ調の3Dキャラクターの髪は、数十枚から100枚を超えるヘアカードで構成されます。 カードは幅や厚みが場所によって変わり、その形状自体が見える髪になります。 制作時には、それぞれのカードの配置と、揺れに使うボーンのチェーンの設定を手作業で行います。

既存の髪生成手法には、写実的な細い毛を出力するものがあります。 画像から3D形状を生成する手法では、髪が一体化したメッシュになる例もあります。 アニメ調のヘアカードを生成する従来手法「CHARM」は、髪型の制御点を一つずつ生成します。

HairDeckは、カード1枚を生成モデルが扱う一つの単位に置き換えます。 その単位には、カードの形状や根元の位置、向きが含まれます。 拡散Transformerと呼ばれる生成モデルが、それらをまとめて処理して髪型を作ります。

色付きの髪とアバターを書き出し

1枚の入力画像から、1〜4種類の髪型候補を生成できます。 別のカラーモデルが各カードに沿った色を予測し、ツートーンの髪色やアクセサリーの色にも対応しています。

髪のメッシュは、3Dデータの形式であるGLBで出力できます。 付属のアバターに髪を装着し、アバター向けのVRM形式で書き出すことも可能です。 GLBとVRMの出力には、生成した色情報が反映されます。

頭を動かして髪の揺れを見るプレビュー動画も出力できます。 ローカルのデモでは、生成した候補を確認できます。 ボーンを生成せず、ヘアカードだけを出力する設定も用意されています。

点群を使った比較では生成時間を短縮

研究チームは、CHARMの100種類のテスト用髪型を使い、点群からカードを生成する比較を行いました。 点群は、3D形状を点の集まりとして表したものです。チームは、HairDeckのカード生成がCHARMの33倍速くなったとしています。

比較では、メッシュ化前のカード生成時間がCHARMの33.7秒からHairDeckの1.01秒になりました。 形状の距離を測るChamfer距離は0.0117から0.0066に下がり、チームは、この距離が44%低下したとしています。

カードの向きの誤差は、CHARMの40.0度に対してHairDeckでは16.8度でした。 研究チームは、画像1枚を使う場合についても、CHARMや画像から3Dを生成する手法などを上回ったとしています。 髪の揺れについては、スプリングボーンを使った場合と使わない場合の比較も示されています。

無料公開とローカル実行の条件

HairDeck本体のコードと学習済みモデルは無料で公開され、Apache-2.0ライセンスが適用されています。 外部のモデル、コード、データセットには、それぞれのライセンスが適用されます。 オンラインデモのほか、手元のコンピューターでの実行にも対応しています。

WindowsとLinuxでは、NVIDIAのCUDA対応GPUを使う構成が用意されています。 Apple silicon搭載Macでは、MPSを使って実行できます。 Linux向けには、AMD ROCm環境のセットアップ案内もあります。

ローカル導入時には、外部モデルのSAM 3とDINOv3の利用条件への同意が必要です。 NVIDIA GPU向けの実行環境には、Python 3.12、PyTorch 2.8、CUDA 12.8が挙げられています。 Windows対応は11月2日、Apple silicon対応は11月3日、色付きヘアカードへの対応は11月5日に追加されました。