Delta Inference Engine(Windows 单卡跑 V4.1-Flash)

把 Linux 上的 Xolotl / Strata 引擎移植到 Windows 的一键包:在一台装 12 GB 以上 RTX 显卡、128 GB 以上内存和高速 NVMe 的普通电脑上跑 V4.1-Flash-1017(专家 2-bit 量化),提供 OpenAI 和 Anthropic 兼容的本地接口,最长 1M 上下文。

把 Linux 上的 Xolotl / Strata 引擎移植到 Windows 的一键包:在一台装 12 GB 以上 RTX 显卡、128 GB 以上内存和高速 NVMe 的普通电脑上跑 V4.1-Flash-1017(专家 2-bit 量化),提供 OpenAI 和 Anthropic 兼容的本地接口,最长 1M 上下文。

星数 28

理由

  • 双击 Start DeepSeek.bat 会逐步补齐 Python、按 CPU 选好的预编译引擎和模型文件(下载可续传、逐个核对 SHA-256),装完自动开聊天页,不用自己编译。
  • 作者称 RTX 3090 + NVMe 上生成约 41 tok/s(192 GB 内存)/ 33 tok/s(128 GB 内存),读长提示约 610 / 410 tok/s;精确路由下与 DeepSeek 官方 API 的逐 token 首选一致率 91.4%(通用)/ 92.1%(代码和数学),均为作者自测。
  • 默认用 ds4 版 Q2 GGUF 并从官方 MTP 头做投机解码草稿模型;Choose Model.bat 可换 ISTA-DASLab 的 GSQ-RCO 或 unsloth 的量化,作者给 128 GB 内存推荐 UD-IQ1_S。
  • 对 Agent 做了适配:内存里最多缓存 8 段对话,切换时不必重读整段提示;支持 tools、强制 tool_choice 和 JSON 输出。

用法

  • 需要 Windows 10/11 64 位、12 GB 以上显存的 NVIDIA RTX 显卡(驱动 580+,GTX 10 系及更老的不行)、≥128 GB 内存、NVMe 上约 385 GB 空间;把仓库放在短路径(如 C:\AI\Delta),双击 Start DeepSeek.bat。
  • 客户端连 http://127.0.0.1:8080/v1(OpenAI)或 /v1/messages(Anthropic),API Key 随便填,模型名 deepseek-v4.1-flash-1017-ds4-q2;出问题改用 Start DeepSeek (debug).bat,它会打包不含对话内容的日志。

风险

  • 首次要下约 375 GB;模型运行时持续从 SSD 读取,SATA 盘、机械盘、U 盘都不合适;重启后的头几分钟明显变慢,12 GB 显卡作者测得约 17 tok/s,同时到达的请求按顺序处理。
  • 权重是社区量化版而非官方原版,速度和一致率都是作者在自己机器上测的;默认只监听本机,要给局域网用必须设 api_key。

打开

GitHub

浏览最新 AI 动态