Планировщик видеопамяти для локального AI-компаньона в AstrBot и DeepSeek Harness: на одной карте 12 ГБ он останавливает ненужные процессы локальной LLM, IndexTTS или ComfyUI и запускает нужные в зависимости от задачи, а после завершения возвращает всё в исходное состояние.
Звёзд: 28
Причины
- Решает проблему, когда при переполнении видеопамяти в Windows не возникает ошибок, а данные просто выгружаются в оперативную память, что приводит к сильному замедлению. Автор утверждает, что на его машине скорость генерации голосовых диффузионных моделей вернулась с 30 секунд до 0.12 секунд за шаг.
- Останавливает и запускает только те процессы, которые перечислены в вашем профиле (по имени процесса, командной строке и списку разрешённых портов). Система дожидается полной готовности сервисов и завершения всех задач в очереди ComfyUI перед переключением. На стороне DSH предоставляются инструменты vram_status, vram_acquire и vram_release, а также точка входа MCP.
Использование
- Выполните git clone https://github.com/xiaoxiao150/vram-switcher && cd vram-switcher, затем запустите python configure.py --root D:/AI для автоматического обнаружения работающих сервисов и создания файла profile.local.json (добавьте --dry-run, чтобы только просмотреть изменения без записи).
- В AstrBot можно найти VRAM Switcher в магазине плагинов. Для интеграции с голосом ваш плагин TTS должен создавать и удалять файлы в соответствии с протоколом tts_busy.flag / tts_ready.flag.
Риски
- Связь с DeepSeek заключается лишь в поддержке DSH в качестве хоста; локальная диалоговая модель в примере автора не является DeepSeek. Сценарий применения очень узкий, решение протестировано в продакшене только на видеокартах NVIDIA в Windows.
- Программа завершает и запускает локальные процессы согласно конфигурации. Ошибка в профиле может привести к остановке не тех сервисов.