Hy-Nomas: модель генерации интерактивных миров от Tencent с поддержкой свободного взаимодействия

Tencent Hy-Nomas — это модель генерации видеомиров, поддерживающая свободную форму и многоходовое взаимодействие: она генерирует видеоролик за один проход, позволяя пользователю в процессе генерации вводить объекты, менять стиль и сцену, описывать действия или задавать траекторию камеры для управления ракурсом. Модель состоит из сегментной авторегрессионной DiT, текстового кодировщика Qwen, модуля условий камеры и видеодекодера PixelUMM, используя персистентный KV-кэш для передачи контекста между сегментами. Данный репозиторий содержит дистиллированные веса BF16 для Diffusers; в примере используется 4 шагов денуазинга, а на выходе получается видео размером 704 × 1280 при частоте кадров 24 FPS.

Оригинальное название: Hy-Nomas-Diffusers

Tencent Hy-Nomas — это модель генерации видеомиров, поддерживающая свободную форму и многоходовое взаимодействие: она генерирует видеоролик за один проход, позволяя пользователю в процессе генерации вводить объекты, менять стиль и сцену, описывать действия или задавать траекторию камеры для управления ракурсом. Модель состоит из сегментной авторегрессионной DiT, текстового кодировщика Qwen, модуля условий камеры и видеодекодера PixelUMM, используя персистентный KV-кэш для передачи контекста между сегментами. Данный репозиторий содержит дистиллированные веса BF16 для Diffusers; в примере используется 4 шагов денуазинга, а на выходе получается видео размером 704 × 1280 при частоте кадров 24 FPS.

Почему это важно Превращает «мировые модели» из пассивных наблюдателей в инструменты, позволяющие менять мир на ходу: добавление объектов, смена стиля и сцены, описание действий и управление ракурсом происходят в рамках одной генерации.

Лайки на Hugging Face 14 · Рост рейтинга на Hugging Face 0 · Загрузки на Hugging Face 154

Лицензия: условное коммерческое использование · ComfyUI: упомянуто в карточке модели · Видеопамять: ≈21 ГБ (оценка)

Обоснование

  • Аккаунт tencent на Hugging Face
  • ComfyUI: сторонняя сборка для ComfyUI: t8star/HY-Nomas-Comfy
  • Оценка 35 (актуальность 0 / источник 15 / популярность 0 / поддержка ComfyUI 4 / видеопамять 4 / демо 5 / лицензия 7)

Использование

  • Загрузка через HyNomasModularPipeline из библиотеки Diffusers; также можно сначала попробовать в официальном демо

Риски

  • В карточке модели указана лицензия apache-2.0, однако в исходном тексте LICENSE содержатся ограничения по региону, масштабу или назначению; следует руководствоваться оригинальным текстом
  • Оценка потребления видеопамяти составляет примерно 21 ГБ (без учета выгрузки данных)

Открыть

抱脸 tencent 账号

Открыть последние новости ИИ