이 모델은 커뮤니티 작성자 fedeinfe가 Meituan의 LongCat-Video-Avatar 1.6을 Apple MLX 가중치로 변환한 것입니다. 인물 사진(또는 몇 프레임의 실제 영상)과 음성 클립을 입력하면 임의 길이의 말하는 영상을 출력합니다. 1.6은 1.5의 아키텍처를 따르되, 새로 학습된 136억 파라미터 DiT와 두 개의 증류 LoRA로 교체되었습니다. Meituan이 권장하는 8단계 샘플링 중 앞 4단계는 DMD를, 뒤 4단계는 OPSD를 사용합니다. 긴 음성은 각 구간당 93프레임(25fps)으로 연속된 하나의 샷으로 이어 붙입니다. 작성자가 64GB 메모리를 탑재한 M5 Max에서 테스트한 결과, 480p 해상도로 3.7초 길이의 영상을 생성하는 데 약 8분이 소요되며, 피크 메모리 사용량은 약 47GB입니다.
왜 중요한가 Apple 칩 기반 Mac에서 로컬로 실행할 수 있으며, 긴 음성은 자동으로 하나의 연속된 샷으로 이어집니다. 또한 전용 립싱크 LoRA를 학습하는 스크립트도 포함되어 있습니다. 다만 메모리 사용량이 많고 영상 생성 속도가 느립니다.
좋아요 3 · 상승 점수 3 · 다운로드 수 0
라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: 명시되지 않음
이유
- MIT 라이선스로, Meituan 원본과 동일합니다. DiT 가중치는 Meituan의 bf16 가중치를 비트 단위로 그대로 변환한 것입니다.
- 모델 카드에는 480p 및 1120×832 두 가지 해상도에서의 속도, 메모리 사용량 및 립싱크 동기화 점수가 명시되어 있습니다.
사용법
- git clone -b feat/avatar-1.6-continuation-lora https://github.com/fedeinfe/longcat-avatar-mlx,建을 실행하고 Python 3.12 가상 환경을 설정한 후 pip install -e ".[parity]" librosa pyloudnorm pillow ftfy를 설치합니다. 가중치를 weights 디렉터리에 다운로드한 뒤 scripts/generate.py를 실행하며, --image로 인물 사진을, --audio로 음성 파일을, --prompt로 설명을, --out으로 출력 파일명을 지정합니다.
리스크
- Apple 칩 기반 Mac만 지원하며, 64GB의 통합 메모리가 필요합니다. 가중치 크기는 51.5GB이고, 1120×832 해상도로 한 구간을 생성하는 데 약 45분이 소요됩니다.
- 추론 코드는 작성자의 브랜치에 있으며, 원본 저장소로의 병합 요청(PR)은 아직 승인되지 않았습니다. 30fps로 음성을 입력하면 립싱크가 맞지 않을 수 있으므로, 25fps로 생성한 후 프레임 보간을 수행해야 합니다.
- 타인의 초상과 목소리를 사용하여 영상을 생성하기 전에는 반드시 본인으로부터 허락을 받아야 합니다.