jesdga/DeepSeek-V4.1-Flash-1017-Basalt

这是给 Basalt(面向 NVIDIA Blackwell sm_120 显卡的本地推理引擎,兼容 OpenAI 和 Anthropic 接口)准备的模型包:每个文件包含 Unsloth 量化的 DeepSeek-V4.1-Flash-1017 权重、Engram 表、视觉投影、分词器和 DSpark 草稿模型,分 UD-IQ1_M(260 GB)和 UD-IQ2_XXS(285 GB)两档。支持图像输入和最长 1,048,576 token 上下文;作者称在 RTX 5090 加 5060 Ti 上单流生成约 40–179 tok/s,随档位和内容不同。

这是给 Basalt(面向 NVIDIA Blackwell sm_120 显卡的本地推理引擎,兼容 OpenAI 和 Anthropic 接口)准备的模型包:每个文件包含 Unsloth 量化的 DeepSeek-V4.1-Flash-1017 权重、Engram 表、视觉投影、分词器和 DSpark 草稿模型,分 UD-IQ1_M(260 GB)和 UD-IQ2_XXS(285 GB)两档。支持图像输入和最长 1,048,576 token 上下文;作者称在 RTX 5090 加 5060 Ti 上单流生成约 40–179 tok/s,随档位和内容不同。

为什么重要 放不进显存的专家留在内存里,消费级 Blackwell 显卡也能本地跑这个大 MoE 模型。

上升分 8 · 点赞 8 · 下载量 0

理由

  • 模型卡给出了和 BF16 参考比的困惑度、KL 散度和首选 token 一致率

用法

  • 需要 Basalt 0.3.0 以上,下载对应的 .basalt 文件后由 Basalt 加载

风险

  • 速度和质量数字是作者在自己硬件上测的
  • 单个文件 260 GB 起,需要大内存和大磁盘;只支持 Blackwell 显卡

打开

Hugging Face

浏览最新 AI 动态