这是社区作者 fedeinfe 把美团 LongCat-Video-Avatar 1.6 转成的 Apple MLX 权重:输入一张人像(或几帧真实素材)和一段语音,输出任意长度的说话视频。1.6 沿用 1.5 的架构,换了重新训练的 136 亿参数 DiT 和两个蒸馏 LoRA,按美团推荐的 8 步采样前 4 步用 DMD、后 4 步用 OPSD;长语音按每段 93 帧(25 fps)续接成一个连续镜头。作者在 64 GB 的 M5 Max 上测得,480p 生成一段 3.7 秒视频约 8 分钟,峰值内存约 47 GB。
为什么重要 能在 Apple 芯片 Mac 上本地跑,长语音会自动接成一个连续镜头,还附训练专属口型 LoRA 的脚本;但吃内存、出片慢。
抱脸点赞 3 · 抱脸上升分 3 · 抱脸下载 0
许可证:可商用 · ComfyUI:暂无 · 显存:显存未标
理由
- MIT 许可,与美团原版一致;DiT 权重是美团 bf16 权重的逐位直通转换
- 模型卡给出了 480p 和 1120×832 两档的速度、内存和口型同步分数
用法
- git clone -b feat/avatar-1.6-continuation-lora https://github.com/fedeinfe/longcat-avatar-mlx,建 Python 3.12 虚拟环境并 pip install -e ".[parity]" librosa pyloudnorm pillow ftfy,把权重下载到 weights 目录后运行 scripts/generate.py,传 --image 人像、--audio 语音、--prompt 描述和 --out 输出文件
风险
- 只支持 Apple 芯片 Mac,需要 64 GB 统一内存,权重 51.5 GB;1120×832 一段约 45 分钟
- 推理代码在作者的分支里,给原仓库的合并请求还没合并;按 30 fps 喂音频会口型不同步,要 25 fps 生成后再插帧
- 用他人的肖像和声音生成视频前要取得本人授权