JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

这是 JMNI-Labs 为 Flare 推理引擎打包的部署包,在两台 DGX Spark 上以张量并行服务社区的 DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix 版:路由专家用 K2/K3/K4 混合低比特,Engram 表 4 位,注意力、共享专家、MTP、视觉和分词器保持官方原样。包含 16 个并发请求槽、最多 5 个验证草稿 token 的 MTP,载荷约 259 GiB,默认分配约 14 GiB KV。

这是 JMNI-Labs 为 Flare 推理引擎打包的部署包,在两台 DGX Spark 上以张量并行服务社区的 DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix 版:路由专家用 K2/K3/K4 混合低比特,Engram 表 4 位,注意力、共享专家、MTP、视觉和分词器保持官方原样。包含 16 个并发请求槽、最多 5 个验证草稿 token 的 MTP,载荷约 259 GiB,默认分配约 14 GiB KV。

为什么重要 给手上有两台 DGX Spark 的人一条现成路径:多路并发、OpenAI 兼容接口,长上下文也放得下。

上升分 2 · 点赞 2 · 下载量 0

理由

  • 模型卡写清了来源链:官方 MIT 权重、社区 TrellisMX 包的具体版本和所用内核

用法

  • 两台 DGX Spark 都装好对应分支构建的 Flare,第一台用 flare download 拉包并以 rank 0 启动,第二台以 rank 1 加入,客户端连第一台的 8000 端口

风险

  • 需要尚未合入正式版的 ds41-trellismx 引擎分支,正式版 flare-inference 加载不了
  • 包只带本地开发签名,启动要加 --dangerously-* 参数,作者提醒只在可信主机上用或换正式签名
  • 没有给出和官方权重比的质量数据

打开

Hugging Face

浏览最新 AI 动态