tencent/Hy-Nomas

腾讯混元的交互式视频世界模型,10 月 26 日已经收录:视频一段一段地生成,每段都可以用文字加入物体、换风格、描述动作,或者给一条镜头轨迹,前面的内容靠 KV 缓存接着往下走。这次重新收录,是因为之后补上了技术报告,还多了几条社区部署途径。

腾讯混元的交互式视频世界模型,10 月 26 日已经收录:视频一段一段地生成,每段都可以用文字加入物体、换风格、描述动作,或者给一条镜头轨迹,前面的内容靠 KV 缓存接着往下走。这次重新收录,是因为之后补上了技术报告,还多了几条社区部署途径。

上升分 69 · 点赞 126 · 下载量 53401

理由

  • 和 10 月 26 日相比的新内容:技术报告 10 月 27 日上了 arXiv(2610.36729),写明主干是 8B 扩散模型,用结构化视频描述配合按动作时间窗限制的因果注意力,训练走多阶段课程,最后做扩散蒸馏。摘要称人工评测优于现有世界模型,但没给具体分数。
  • 社区接入:第三方的 ComfyUI-Hy-Nomas 节点,作者称 12 GB 显卡可跑,能从一张图片开始一个世界,也能用 WASD 键盘一段段操控;SGLang Diffusion 已合并支持,离线任务和实时流式会话都能跑;WanGP v18.81 也加了世界生成和键盘导航。
  • ComfyUI 节点作者给的样例:四段 5 秒拼成 20 秒,1280×704、24 fps,在 RTX 4090 上每条大约 3 分钟。官方 GitHub 还称蒸馏版支持 4 / 6 / 8 步推理。

用法

  • ComfyUI:在 ComfyUI-Manager 里搜 Hy-Nomas (world model),或运行 comfy node install hy-nomas。从 PedroMarinhoDev/Hy-Nomas-ComfyUI 下载 hy_nomas_distil_int8.safetensors 放进 diffusion_models、hy_nomas_pixelumm_fp8.safetensors 放进 vae;文本编码器用 Qwen-Image 同款的 qwen_2.5_vl_7b_fp8_scaled。采样设 euler / simple / 8 步 / cfg 1,分辨率选 1280×704 或 832×480。
  • 官方代码:git clone Tencent-Hunyuan/Hy-Nomas。单卡用 configs/experiment/single_gpu_low_mem_inference.yaml,配 INT8 DiT 和 FP8 PixelUMM;标准配置默认要 8 卡序列并行。提示词是 JSON,每段写起止时间,后面的段用 description_change 写画面怎么变。
  • 不想部署可以先用官方在线 demo(hy-nomas.hy.tencent.com)。

风险

  • ComfyUI 节点是社区作品,作者标着“开发中”,节点输入可能会变,代码是 GPL-3.0。“从图片开始”的做法是把图片放进历史记忆,模型本身并没有图片输入。
  • 技术报告摘要里没有量化分数,人工评测的细节本栏目没有核对。官方的单卡 4090 配置要大量系统内存来放卸载的模型和越积越多的历史缓存,INT8 版也不能在推理时加载 LoRA。
  • 网页 demo 要另外部署提示词增强服务 Nomas-PE;24 fps 只是播放帧率,生成速度要看硬件、分辨率和历史长度。

打开

Hugging Face Trending

浏览最新 AI 动态