sensenova/SenseNova-Loop-9B-Preview

商汤 10 月 30 日发布的预览版多模态模型,输入文字和图片、输出文字,面向长上下文和智能体任务(读文档、写代码、调用外部工具);结构上把第 4–27 层这一段共享权重连跑两遍,32 层权重做出 56 层计算,并用两路 mHC 残差流管理信息流。

商汤 10 月 30 日发布的预览版多模态模型,输入文字和图片、输出文字,面向长上下文和智能体任务(读文档、写代码、调用外部工具);结构上把第 4–27 层这一段共享权重连跑两遍,32 层权重做出 56 层计算,并用两路 mHC 残差流管理信息流。

上升分 70 · 点赞 70 · 下载量 12

理由

  • 思路是“不加参数加深度”:约 9B 存储参数、约 14.6B 推理计算参数;解码器按三层线性注意力加一层全注意力交替,训练序列最长 262,144 token,已支持 MTP 加速,DSpark、DFlash2 草稿模型还在训练。
  • 卡里展示了动态设计短片、PPT 设计和数据分析示例(官方注明由其 Raccoon Work 产品制作),对比图覆盖 BIRD-Dev、Terminal Bench 2.1、AutomationBench、RaccoonPPTBench 等八项智能体与办公类基准。
  • Apache-2.0,附 SFT / DPO / MTP 微调脚本(单机八卡);此前各期没有收录。

用法

  • Transformers:pip install "transformers==5.18.0" accelerate safetensors(官方核对环境 PyTorch 2.11.0 + CUDA 13.0),AutoModelForCausalLM 加 trust_remote_code=True、bfloat16 单卡加载;apply_chat_template 里 enable_thinking=True / False 切换思考模式。
  • 服务化:LightLLM 官方镜像四卡示例(--tp 4),OpenAI 兼容 /v1/chat/completions;SGLang 需自己拉取 PR 47281 的分支编译。
  • 微调:git clone OpenSenseNova/torchtitan,按 examples/train/SenseNova-Loop-9B-Preview 的 mhc2_loop2_titan.sh 跑 SFT。

风险

  • 预览版:技术报告待发布,模型卡写 Transformers 推理实现的发布细节“待公布”,SGLang 支持只在未合并的 PR 里。
  • 成绩只在对比图里,卡里没有文字分数,本栏目无法核对具体数字;示例来自官方自家产品。
  • 循环结构要求推理实现严格复现循环范围和 mHC 路由,第三方量化或转换版本不一定兼容。

打开

Hugging Face Trending

浏览最新 AI 动态