DeepSeek-V4.1-Flash-1017 Q2 — Strix Halo SSD/KV Recipe
在 128GB 的 AMD Ryzen AI Max+ 395(Strix Halo)上用 DwarfStar ROCm 跑 1017 Q2 的可复现配置,含启动脚本和测量数据。
在 128GB 的 AMD Ryzen AI Max+ 395(Strix Halo)上用 DwarfStar ROCm 跑 1017 Q2 的可复现配置,含启动脚本和测量数据。
下载量 0 · 点赞 0
**理由**
- 给出测过的最佳参数:16 个 CPU 线程、8 个 SSD 读线程、上下文 34,816、76GiB 专家缓存、8GiB 磁盘 KV 快照。
- 作者称短解码约 10 token/s,本地编程 Agent 做实际任务时平均 4.45 token/s;测量日期 10-19 至 10-20。
**用法**
- 权重从 kyuz0/deepseek-v4.1-flash-gguf 下载 DeepSeek-V4.1-Flash-1017-Q2.gguf(340.6GiB),本仓库只含配方与脚本。
- 引擎用 DwarfStar(github.com/antirez/ds4)的 ds4-server ROCm 容器;需本地 NVMe,Linux。
**风险**
- 速度偏慢,Agent 场景约 4.45 token/s;只在一台机器、一块 SSD 上测过。
- 说明以俄语为主,另附英文版;与其他 GGUF 引擎的兼容性未测。
[打开](https://huggingface.co/petr567/DeepSeek-V4.1-Flash-1017-Q2-Strix-Halo-SSD-KV-Recipe)