AstrBot 및 DeepSeek Harness에 로컬 AI 동행 기능을 제공하기 위한 VRAM 스케줄러: 동일한 12 GB 카드에서 작업에 따라 불필요한 로컬 LLM, IndexTTS 또는 ComfyUI 프로세스를 중지하고 필요한 프로세스를 실행하며, 사용 후 원래 상태로 복원합니다.
별 수 28
이유
- Windows에서 VRAM 오버플로 발생 시 오류 없이 VRAM을 메모리로 페이징 처리하여 극도로 느려지는 상황을 해결하기 위함입니다. 저자는 자신의 머신에서 음성 확산 모델의 스텝당 시간을 30초에서 0.12초로 단축했다고 밝혔습니다.
- 프로필에 나열된 프로세스(프로세스 이름 + 명령줄 + 포트 화이트리스트)만 중지 및 실행하며, 서비스가 실제로 준비될 때까지 기다리고 ComfyUI 큐가 비워진 후에 전환합니다. DSH 측에서는 vram_status / vram_acquire / vram_release 도구를 제공하며, 별도로 MCP 엔트리 포인트도 포함됩니다.
사용법
- git clone https://github.com/xiaoxiao150/vram-switcher && cd vram-switcher를 실행한 후, python configure.py --root D:/AI를 실행하여 현재 실행 중인 서비스를 자동 감지하고 profile.local.json을 생성합니다(--dry-run 옵션을 추가하면 파일 쓰기 없이 확인만 수행).
- AstrBot은 플러그인 마켓에서 VRAM Switcher를 검색할 수 있습니다. 음성 연동을 사용하려면 TTS 플러그인이 tts_busy.flag / tts_ready.flag 프로토콜에 따라 파일을 생성 및 삭제하도록 설정해야 합니다.
리스크
- DeepSeek과의 관계는 DSH를 호스트로 지원한다는 점뿐이며, 저자의 예시에 포함된 로컬 대화 모델은 DeepSeek가 아닙니다. 사용 시나리오가 매우 좁으며, NVIDIA GPU가 장착된 Windows 환경에서만 프로덕션 검증을 거쳤습니다.
- 설정에 따라 로컬 프로세스를 종료하고 실행하므로, 프로필을 잘못 작성할 경우 중지하면 안 되는 서비스가 중단될 수 있습니다.