DeepSeek-V4.1-Flash-1017 Q2 — Strix Halo SSD/KV Recipe

在 128GB 的 AMD Ryzen AI Max+ 395(Strix Halo)上用 DwarfStar ROCm 跑 1017 Q2 的可复现配置,含启动脚本和测量数据。

在 128GB 的 AMD Ryzen AI Max+ 395(Strix Halo)上用 DwarfStar ROCm 跑 1017 Q2 的可复现配置,含启动脚本和测量数据。 下载量 0 · 点赞 0 **理由** - 给出测过的最佳参数:16 个 CPU 线程、8 个 SSD 读线程、上下文 34,816、76GiB 专家缓存、8GiB 磁盘 KV 快照。 - 作者称短解码约 10 token/s,本地编程 Agent 做实际任务时平均 4.45 token/s;测量日期 10-19 至 10-20。 **用法** - 权重从 kyuz0/deepseek-v4.1-flash-gguf 下载 DeepSeek-V4.1-Flash-1017-Q2.gguf(340.6GiB),本仓库只含配方与脚本。 - 引擎用 DwarfStar(github.com/antirez/ds4)的 ds4-server ROCm 容器;需本地 NVMe,Linux。 **风险** - 速度偏慢,Agent 场景约 4.45 token/s;只在一台机器、一块 SSD 上测过。 - 说明以俄语为主,另附英文版;与其他 GGUF 引擎的兼容性未测。 [打开](https://huggingface.co/petr567/DeepSeek-V4.1-Flash-1017-Q2-Strix-Halo-SSD-KV-Recipe)

Открыть последние новости ИИ