VRAM Switcher(1枚のGPUでローカルLLM / TTS / ComfyUIを順番にVRAMを共有して使用)

AstrBotとDeepSeek HarnessにローカルAIコンパニオンを提供するためのVRAMスケジューラー:同一の12 GB GPU上で、タスクに応じて不要なローカルLLM、IndexTTS、またはComfyUIのプロセスを停止し、必要なプロセスを起動し、使用後に元に戻します。

AstrBotとDeepSeek HarnessにローカルAIコンパニオンを提供するためのVRAMスケジューラー:同一の12 GB GPU上で、タスクに応じて不要なローカルLLM、IndexTTS、またはComfyUIのプロセスを停止し、必要なプロセスを起動し、使用後に元に戻します。

スター数 28

理由

  • Windows環境でVRAMが溢れた際にエラーが発生せず、VRAMがメモリにスワップされて極端に遅くなる状況に対応するため。作者は自身のマシンで音声拡散モデルの処理速度がステップあたり30秒から0.12秒に回復したと述べています。
  • プロファイルに記載されたプロセス(プロセス名 + コマンドライン + ポートホワイトリスト)のみを停止・起動します。サービスが完全に準備完了するまで、およびComfyUIのキューが空になるまで待機してから切り替えます。DSH側ではvram_status / vram_acquire / vram_releaseツールを提供し、さらにMCPエントリーポイントも備えています。

使い方

  • git clone https://github.com/xiaoxiao150/vram-switcher && cd vram-switcher を実行し、python configure.py --root D:/AI を実行すると、稼働中のサービスを自動検出してprofile.local.jsonを生成します(--dry-runオプションを付けると確認のみで書き込みません)。
  • AstrBotではプラグインマーケットで「VRAM Switcher」を検索できます。音声連携には、TTSプラグインがtts_busy.flag / tts_ready.flagプロトコルに従ってファイルを作成・削除する必要があります。

リスク

  • DeepSeekとの関係は、DSHをホストとしてサポートする点のみであり、作者の例示にあるローカル対話モデルはDeepSeekではありません。適用範囲は狭く、NVIDIA GPUを搭載したWindows環境でのみ本番検証済みです。
  • 設定に従ってローカルプロセスを終了・起動するため、プロファイルの設定ミスにより停止すべきでないサービスを停止してしまう可能性があります。

開く

GitHub

最新の AI ニュースを見る