invoker-render-1.0

Invoker-Render — это рендерер для Code World Model 2.0 (inclusionAI от Ant Group, Университет Вест-Лейк, Чжэцзянский университет): на вход подаются структурное прокси-видео (семантические карты, разреженные 3D-рамки, маски объектов, раскрашенная геометрия или рамки со скелетами), одно изображение-референс внешнего вида и текстовый запрос. Видео генерируется каузальным потоковым способом блоками по 4 шагов, при этом каждый блок видит только фиксированные якоря внешнего вида и ограниченную недавнюю историю. Веса представляют собой основную модель FP32 с 33.12B параметров (около 132.5 ГБ), использующую архитектуру MiniMax-H3. Код инференса основан на SGLang и SGLang-Omni и включает сервис сессий WebSocket и браузерный клиент.

Invoker-Render — это рендерер для Code World Model 2.0 (inclusionAI от Ant Group, Университет Вест-Лейк, Чжэцзянский университет): на вход подаются структурное прокси-видео (семантические карты, разреженные 3D-рамки, маски объектов, раскрашенная геометрия или рамки со скелетами), одно изображение-референс внешнего вида и текстовый запрос. Видео генерируется каузальным потоковым способом блоками по 4 шагов, при этом каждый блок видит только фиксированные якоря внешнего вида и ограниченную недавнюю историю. Веса представляют собой основную модель FP32 с 33.12B параметров (около 132.5 ГБ), использующую архитектуру MiniMax-H3. Код инференса основан на SGLang и SGLang-Omni и включает сервис сессий WebSocket и браузерный клиент.

Почему это важно Камера, компоновка и движение объектов фиксируются каркасными или семантическими картами от вышестоящего движка, модель же отвечает только за отрисовку материалов и освещения. Это позволяет вести непрерывную потоковую генерацию; авторы продемонстрировали получасовую непрерывную запись гоночных сцен.

Лайки на Hugging Face 8 · Рост рейтинга на Hugging Face 8 · Загрузки с Hugging Face 1989

Лицензия: некоммерческая · ComfyUI: отсутствует · VRAM: ≈80 ГБ (оценка)

Обоснование

  • Приложены научная статья, страница проекта, код инференса и онлайн-демо на Hugging Face
  • Авторы заявляют, что модель заняла первое место по всем четырем критериям человеческой оценки на тестовом наборе из 140 сегментов

Использование

  • Подготовьте окружение и пакет инференса согласно README и docs/INFERENCE.md на github.com/inclusionAI/CodeWorldModel. Подайте на вход начальное изображение размером 1344×768, прокси-видео с частотой 24 FPS и текст, затем запустите invoker_render.py для файлового инференса или запустите сервис сессий

Риски

  • Конфигурация по умолчанию для production требует 8 видеокарт NVIDIA на одной машине; репозиторий не включает VAE, Qwen, каузальный декодер и другие компоненты, которые необходимо подготовить отдельно
  • Лицензия представляет собой Apache-2.0 в сочетании с CC BY-NC 4.0, что следует трактовать как некоммерческое использование; методы обучения и данные пока не опубликованы

Открыть

抱脸 world-model 标签

Открыть последние новости ИИ