原題：VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
動画吹き替えでは、口元を新しい音声に合わせつつ、人物のアイデンティティ、頭部の姿勢、背景を保持する必要があります。著者らは、既存のエディタの多くが「元の音声による自己再構築」で訓練されていることを指摘し、音声が置き換わると、元の動画の口元がむしろ矛盾した目標になってしまうと述べています。VidDubは、置換認識型のクロス音声教師信号を提案しています。元の音声サンプルでは通常通りフレーム全体を再構築しますが、置き換えられた音声サンプルでは元の口元部分の再構築損失をマスクし、口元は音声・映像同期のみで教師付けを行い、顔の他の領域や背景は通常通り保持します。オフライン吹き替えでは動画全体と目標音声が事前に利用可能なため、全コンテキスト拡散エディタとして構成し、さらにマッチング軌道回帰と分布マッチング蒸留を用いて2ステップのノイズ除去（2 NFE）まで圧縮しています。Wan2.1-VACE-1.3Bを基盤とし、Whisper音声エンコーダを組み合わせており、完全な推論スタックは2.81パラメータです。
いいね 7 · コードのスター数 7
理由
- 著者らによると、3つの訓練シードにおいて、矛盾する元の口元再構築をマスクすることでクロス音声Sync-Cが0.833向上しました。最終的な2ステップモデルは、4つのベンチマークでリップシンク性能が高く、画質、アイデンティティ保持、視覚的音声認識も優れています。
- 再現可能：訓練コード、重み（Hugging Face AIPeanutman/VidDub）、およびVidDub-Benchベンチマーク（256個の合成ソースクリップ、固定された同一音声／置き換え音声ペア）がすべて公開されています。長い動画は、81フレームのウィンドウサイズ、64フレームのストライド、17フレームのオーバーラップでスライディング処理され、出力は元のフレームレートと解像度を維持します。
- 基盤モデルはわずか1.3Bであり、数十B規模の動画大規模モデルよりもはるかに軽量です。コードのスター数は7（注目度のみを示す）。
使い方
- git clone https://github.com/LAW1223/VidDub の後、pip install -r requirements.txt を実行します（Linux、Python 3.10+、FFmpeg、NVIDIA GPUが必要）。huggingface-cli download を使用して、Wan-AI/Wan2.1-VACE-1.3B、openai/whisper-small、AIPeanutman/VidDub をそれぞれ weights/ ディレクトリにダウンロードします。
- python scripts/infer.py --model weights/VidDub --weight-root weights --video input.mp4 --audio replacement.wav --output output.mp4 を実行します。ソース動画には検出可能でほぼ正面を向いた顔が含まれている必要があり、少なくとも81フレームである必要があります。音声は16 kHzにリサンプリングされます。より長い動画は自動的にウィンドウモードで処理されます（--mode windowed を指定することも可能です）。
リスク
- オープンソースライセンスではありません：個人利用および商用利用（完成品の収益化を含む）が可能ですが、非営利の学術研究にも使用できます。企業名義での使用、またはSaaS、API、Webアプリ、ボットなどのホスト型サービスとして提供する場合は、別途書面による許可が必要です。
- リップシンク変更はディープフェイク系の機能であり、編集権限を持つ動画のみを扱い、合成であることを明示してください。著者らはまた、訓練データには合法的に処理可能な動画のみを使用するよう注意を促しています。READMEにはメモリ要件が記載されていません。
開く · コード · Hugging Face論文ページ