VRAM Switcher(单卡上本地 LLM / TTS / ComfyUI 轮流用显存)

给 AstrBot 和 DeepSeek Harness 上本地 AI 陪伴用的显存调度器:在同一张 12 GB 卡上,按任务停掉不需要的本地 LLM、IndexTTS 或 ComfyUI 进程、拉起需要的,用完再恢复。

给 AstrBot 和 DeepSeek Harness 上本地 AI 陪伴用的显存调度器:在同一张 12 GB 卡上,按任务停掉不需要的本地 LLM、IndexTTS 或 ComfyUI 进程、拉起需要的,用完再恢复。

星数 28

理由

  • 针对 Windows 显存溢出后不报错、只把显存换页到内存而变得极慢的情况;作者称在自己机器上让语音扩散从每步 30 秒回到 0.12 秒。
  • 只停启你在 profile 里列出的进程(进程名 + 命令行 + 端口白名单),会等服务真正就绪、等 ComfyUI 队列跑空再切;DSH 端提供 vram_status / vram_acquire / vram_release 工具,另带 MCP 入口。

用法

  • git clone https://github.com/xiaoxiao150/vram-switcher && cd vram-switcher,运行 python configure.py --root D:/AI 自动探测正在运行的服务并生成 profile.local.json(加 --dry-run 只看不写)。
  • AstrBot 可在插件市场搜 VRAM Switcher;语音联动要求你的 TTS 插件按 tts_busy.flag / tts_ready.flag 协议写删文件。

风险

  • 和 DeepSeek 的关系只是支持 DSH 作为宿主,作者示例里的本地对话模型并不是 DeepSeek;场景很窄,只在 N 卡 Windows 上生产验证过。
  • 它会按配置结束和启动本机进程,profile 写错可能停掉不该停的服务。

打开

GitHub

浏览最新 AI 动态