DeepSeek-V4.1-Flash-1017 GSQ agentic(strata 引擎)

按编程与 Agent 语料校准的混合精度量化,每个专家单独定 Q3_K / Q2_0 / 三值精度,总量压到 153GiB,供 strata 引擎在单卡加内存上运行。

按编程与 Agent 语料校准的混合精度量化,每个专家单独定 Q3\_K / Q2\_0 / 三值精度,总量压到 153GiB,供 strata 引擎在单卡加内存上运行。 下载量 4650 · 点赞 24 **理由** - 校准语料偏代码、SWE 类工具轨迹和工具 schema,作者称以此保护 Agent 任务常用的专家。 - 作者称单张 72GB 显卡(RTX PRO 5000)即可服务整个模型,与其他任务共用 GPU 时解码约 34 token/s,支持 512K 上下文与 FP4 KV cache。 - 4,650 次下载,只代表关注度。 **用法** - 只能用 strata 引擎(github.com/Indras-Mirror/Xolotl,tools/v41/serve/serve\_ds41.py)加载。 - 安装命令作者未给,需按 Xolotl 仓库说明操作。 **风险** - 格式专有,llama.cpp、Ollama、vLLM、SGLang 均不能直接加载。 - 作者的 LiveCodeBench / AIME25 / GPQA 对比评测尚未完成,速度只有一组共用 GPU 时的数据。 [打开](https://huggingface.co/kaushikvira/DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata)

最新の AI ニュースを見る