Bộ điều phối VRAM dành cho AI đồng hành cục bộ trên AstrBot và DeepSeek Harness: Trên cùng một card 12 GB, dừng các tiến trình LLM cục bộ, IndexTTS hoặc ComfyUI không cần thiết theo từng tác vụ, khởi động những tiến trình cần thiết, và khôi phục lại sau khi sử dụng xong.
Số sao 28
Lý do
- Giải quyết tình trạng VRAM trên Windows bị tràn mà không báo lỗi, chỉ chuyển trang VRAM sang RAM khiến hệ thống trở nên cực kỳ chậm; tác giả cho biết trên máy của họ, tốc độ khuếch tán giọng nói đã cải thiện từ 30 giây mỗi bước xuống còn 0.12 giây.
- Chỉ dừng và khởi động các tiến trình được liệt kê trong hồ sơ cấu hình (tên tiến trình + dòng lệnh + danh sách cổng được phép), chờ cho đến khi dịch vụ thực sự sẵn sàng và hàng đợi của ComfyUI chạy hết mới chuyển đổi; phía DSH cung cấp các công cụ vram_status / vram_acquire / vram_release, kèm theo điểm vào MCP.
Cách sử dụng
- git clone https://github.com/xiaoxiao150/vram-switcher && cd vram-switcher, chạy python configure.py --root D:/AI để tự động phát hiện các dịch vụ đang chạy và tạo ra profile.local.json (thêm --dry-run để chỉ xem mà không ghi).
- AstrBot có thể tìm kiếm VRAM Switcher trong cửa hàng plugin; yêu cầu liên kết giọng nói đòi hỏi plugin TTS của bạn phải ghi/xóa file theo giao thức tts_busy.flag / tts_ready.flag.
Rủi ro
- Mối liên hệ với DeepSeek chỉ là hỗ trợ DSH làm máy chủ lưu trữ, mô hình hội thoại cục bộ trong ví dụ của tác giả không phải là DeepSeek; phạm vi ứng dụng rất hẹp, chỉ được kiểm chứng trong môi trường sản xuất trên Windows với card NVIDIA.
- Phần mềm sẽ kết thúc và khởi động các tiến trình cục bộ theo cấu hình, nếu hồ sơ cấu hình (profile) bị sai có thể dẫn đến việc dừng nhầm các dịch vụ không nên dừng.