ゲームやアバターにおけるスタイル化されたヘアーは、「ヘアカード」（hair card、アーティストが配置した帯状のポリゴン面）を組み合わせ、スプリングボーンによって駆動される構造で構成されています。HairDeck はキャラクター画像を入力として受け取り、これらのヘアカードとそれを駆動するスプリングボーンチェーンを直接生成します。各ヘアカードはトークンとしてエンコードされ、セット拡散 Transformer によってノイズ除去が行われます。その後、第2の拡散モデルがボーンチェーンを生成し、スキニング処理を適用します。出力では個別のヘアカードとカードごとの UV マップが保持され、GLB 形式でのエクスポートや、同梱のボディモデルに適用して VRM アバターとしてエクスポートすることが可能です。
いいね 17 · コードスター数 14
理由
- 著者によると、CHARM 自身のテストセットにおいて chamfer distance が 44% 低減し、ヘアカードの向き誤差が半分以上減少、速度は 33 倍高速化しています。単一画像からの生成においても、CHARM、画像から 3D へのパイプライン、およびストランドベースの手法よりも優れています。
- コードと4つのチェックポイント（画像条件付き DiT、ヘアカード VAE、ボーンチェーン DiT、点群条件付き DiT）が公開されており、コードと重みは Apache-2.0 ライセンスです。また、Hugging Face 上のオンラインデモも利用可能です。
- 成果物は GLB メッシュ、VRM アバター、および頭部回転プレビュー動画として直接下流工程に組み込めるため、融合メッシュを手動でヘアカードに分割する必要がありません。
使い方
- 最速の体験方法：Hugging Face Space の hyz317/HairDeck を利用します。
- ローカル環境：Linux x86-64、Python 3.12、NVIDIA GPU 1枚（著者は PyTorch 2.8 + CUDA 12.8 でテスト済み）が必要です。git clone github.com/hyz317/HairDeck → pip install -r requirements.txt → pip install --no-deps pyrender==0.1.45 を実行します。
- 重み：まず Hugging Face で facebook/sam3 および facebook/dinov3-vitl16-pretrain-lvd1689m のライセンスに同意し、hf auth login を実行します。HAIRDECK_ROOT を設定した後、python scripts/setup/download_weights.py を実行します（これにより Blender 4.2 LTS と VRM プラグインもダウンロードされます）。
- 生成：python scripts/image_to_hair.py character.png --out results/my_character --n 4（1〜4 個のバリエーションを生成、--no-chains オプションでヘアカードのみ出力）；エクスポート：python -m hairdeck.vrm.export results/my_character/character 0；また、python demo/app.py でローカル Web UI を起動することも可能です。
リスク
- 依存関係が多い：SAM 3 と DINOv3 はゲート付きモデルであり、Hugging Face へのログインとライセンス同意が必要です。さらに Blender + VRM プラグインおよび ffmpeg が必要で、各サードパーティコンポーネントには個別のライセンスがあります。
- スタイル化／アニメ調のカードヘアー向けであり、リアルなストランドヘアーではありません。訓練・公開版の画像モデルで使用されたスタイル化レンダリング画像プールは公開されていないため、再訓練しても同じモデルを再現することはできません。
- 精度と速度の数値は著者による報告です。生成結果を確認していないため、実際の視覚的品質については評価していません。
開く · コード · Hugging Face 論文ページ