LongCat-Video-Avatar-1.6-MLX-bf16

これはコミュニティ作者の fedeinfe が、Meituan の LongCat-Video-Avatar 1.6 を Apple MLX 用の重み変換したものです。入力としてポートレート画像(または実写素材の数フレーム)と音声を受け取り、任意の長さの会話動画を作成します。1.6 は 1.5 のアーキテクチャを踏襲しつつ、再学習された 136 億パラメータの DiT と 2 つの蒸留 LoRA を採用しています。Meituan が推奨する 8 ステップのサンプリングでは、最初の 4 ステップで DMD、後の 4 ステップで OPSD を使用します。長い音声は、各セグメント 93 フレーム(25 fps)ごとに連続したカットとして接続されます。作者が 64 GB の M5 Max で測定したところ、480p で 3.7 秒の動画を生成するのに約 8 分かかり、ピークメモリは約 47 GB でした。

これはコミュニティ作者の fedeinfe が、Meituan の LongCat-Video-Avatar 1.6 を Apple MLX 用の重み変換したものです。入力としてポートレート画像(または実写素材の数フレーム)と音声を受け取り、任意の長さの会話動画を作成します。1.6 は 1.5 のアーキテクチャを踏襲しつつ、再学習された 136 億パラメータの DiT と 2 つの蒸留 LoRA を採用しています。Meituan が推奨する 8 ステップのサンプリングでは、最初の 4 ステップで DMD、後の 4 ステップで OPSD を使用します。長い音声は、各セグメント 93 フレーム(25 fps)ごとに連続したカットとして接続されます。作者が 64 GB の M5 Max で測定したところ、480p で 3.7 秒の動画を生成するのに約 8 分かかり、ピークメモリは約 47 GB でした。

なぜ重要か Apple シリコン搭載 Mac でローカル実行が可能で、長い音声も自動的に連続したカットとして接続されます。さらに、専用のリップシンクロ LoRA を訓練するためのスクリプトも付属しています。ただし、メモリ消費が大きく、出力生成は遅いです。

ハグによるいいね 3 · ハグによる上昇スコア 3 · ハグによるダウンロード数 0

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:記載なし

理由

  • MIT ライセンスで、Meituan のオリジナル版と一致しています。DiT 重みは Meituan の bf16 重みのビット単位での直接変換です。
  • モデルカードには、480p と 1120×832 の 2 つの解像度における速度、メモリ使用量、リップシンクロ精度のスコアが記載されています。

使い方

  • git clone -b feat/avatar-1.6-continuation-lora https://github.com/fedeinfe/longcat-avatar-mlx,建 を実行し、Python 3.12 の仮想環境を作成して pip install -e ".[parity]" librosa pyloudnorm pillow ftfy をインストールします。重みを weights ディレクトリにダウンロードした後、scripts/generate.py を実行し、--image でポートレート画像、--audio で音声、--prompt で説明テキスト、--out で出力ファイルを指定します。

リスク

  • Apple シリコン搭載 Mac のみに対応しており、64 GB の統一メモリが必要です。重みのサイズは 51.5 GB です。1120×832 の動画を 1 本生成するのに約 45 分かかります。
  • 推論コードは作者のブランチにあり、元のリポジトリへのマージリクエストはまだ承認されていません。30 fps で音声を入力するとリップシンクロがずれるため、25 fps で生成してからフレーム補間を行う必要があります。
  • 他人の肖像や音声を用いて動画を生成する際は、本人の許諾を得る必要があります。

開く

抱脸 image-to-video 上升榜

最新の AI ニュースを見る