Превращение любого AI-сгенерированного видео в анимацию для любого существа с готовым скелетом (с крыльями, хвостом или даже восемью ногами): видеомодель одновременно снимает фронтальный и боковой ракурсы в одном кадре, специализированный распознаватель суставов, обученный только на этом существе, извлекает суставы с двух ракурсов, триангуляция определяет 3D-позиции, после чего скелет накладывается и экспортируется в формат GLB.
Звёзды: 420 (+61 / 24 ч)
Причины
- Процесс состоит из 8 шагов: генерация текстурированной сетки из одного изображения (изображение через Flux 3, моделирование через Tripo H3.1) → ручная расстановка костей в режиме просмотра сетки, скининг в Blender → окрашивание каждой конечности в разные цвета для предотвращения перепутывания левой и правой сторон → генерация 5-секундного видео с двух камер по промпту через MiniMax H3 Max → обучение распознавателя суставов DINOv2 на случайных позах → покадровое извлечение суставов → вычисление 3D по двум ракурсам → подгонка скелета и экспорт GLB с частотой 24 кадров/с
- Автор приводит примеры с волком, драконом, гигантским пауком и огненным демоном; средняя ошибка распознавателя на валидационной выборке составляет 2.9–9.4 пикселей; по словам автора, каждое 5-секундное видео на платформе fal стоит около 0.26 долларов, извлечение суставов занимает 10 секунд, а подгонка — менее минуты, при этом ручная коррекция не требуется
- Включает 6 навыков Claude Code (обзор, риггинг, съемка, распознаватель, сбор данных, LoRA) с инструкциями по оценке качества собранных данных; также позволяет обучать LoRA для двухкамерной генерации MiniMax H3 на платформе fal. По словам автора, добавление LoRA снижает количество случаев перепутывания цветов конечностей у волка с 2 из 5 клипов до 0 (при использовании одного seed на каждое действие)
- Метод предложен @CanItCode, идея LoRA для H3 принадлежит @Graalitoo, данный репозиторий представляет собой рабочую версию, собранную автором
Использование
- Требуется видеокарта NVIDIA CUDA (обучение распознавателя требует 24 ГБ видеопамяти, извлечение суставов и подгонка — значительно меньше), Python 3.11, Blender 5.x и ключ API от fal; после git clone установите torch 2.11 и зависимости согласно README, добавьте FAL_KEY в файл .env
- Сначала попробуйте бесплатно: в репозитории есть данные суставов для клипа с рычанием дракона, подгонка через mocap.solve на CPU занимает около 20 секунд; затем загрузите примеры сеток, распознавателей и клипов с помощью tools/fetch_examples.sh dragon --readers --clips и последовательно выполните prep.sh, rig.sh, capture.sh для получения полного файла GLB
- Для Claude Code: выполните /plugin marketplace add Patch-gg/anymove, затем /plugin install anymove@anymove
- Для создания собственного существа: скопируйте наиболее близкий пример из assets/ (четвероногий волк, дракон с крыльями, восьминогий паук, двуногий демон с крыльями и хвостом), замените model.glb и последовательно выполните prep, rig, dataset (около 25 минут), train (около 20 минут), film, capture
Риски
- Ограничения, указанные автором: невозможность подгонки для ходьбы на восьми ногах (из-за больших расхождений между двумя ракурсами в определении поднятой ноги), сбои при лежачих позах, необходимость ручной расстановки костей, дрейф видеомодели; распознавание контакта с землей работает только для лап волка и дракона, для шерсти и ткани требуются дополнительные кости
- Клипы для обучения LoRA получены путем обратного извлечения движений из AI-видео и последующего рендеринга, то есть сами движения созданы AI; обучение на платформе fal занимает около 12 долларов и 2 часов при 1200 шагах, цены указаны автором по состоянию на 10 месяц
- Код распространяется под лицензией Apache-2.0, но открытые веса MiniMax H3 имеют лицензию сообщества, использование через fal подчиняется условиям fal, а прилагаемая LoRA для волка распространяется под лицензией сообщества H3, а не Apache-2.0; репозиторий был создан только 27 10