llama.cpp ベースのローカル推論ツール：メモリまたは VRAM に収まらない MoE モデルのエキスパートを SSD に配置し、必要に応じて読み込みます。標準的な GGUF ファイルで動作し、ブラウザベースのチャットインターフェースと OpenAI 互換インターフェースを提供します。アプローチは最初に推奨した colibri と類似していますが、現時点では 2 つのモデルのみをサポートしています。
スター数 259（+32 / 24h）
理由
- 現在テスト済みなのは、DeepSeek-V4.1-Flash-1017 と Muse-Spark-Open の 2 つのコミュニティ製 GGUF 変換版です。作者は MacBook Pro（M5 Max）、RTX 5060 Ti、RTX 5090、DGX Spark の 4 台のマシンで、原版 llama.cpp および colibri と比較してプリフィルと生成速度を測定し、測定方法を公開しています
- メモリパラメータの設定は不要で、プログラムは利用可能なメモリに応じて自動的に調整されます。初回実行時にマシンの性能を測定します
使い方
- Apple Silicon macOS または NVIDIA GPU を搭載した Linux：curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh（ソースからコンパイル、約 2 〜 12 分、sudo 不要）
- inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF でターミナルチャットを開始；inferssd serve -hf … でウェブインターフェースと http://127.0.0.1:8080/v1 インターフェースを起動；--model-dir でモデルを保存するディスクを指定
リスク
- 初回実行時に約 470 GiB のモデルファイルをダウンロードする必要があります。Linux では CUDA ツールキット、liburing ヘッダーファイル、および cgroup v2 を有効にした systemd が必要です。Windows は開発中で、プリコンパイル済みパッケージはありません
- 比較数値は作者による自己テストです。モデルファイルはコミュニティ変換版であり、重みのライセンスは各公開元に従います。ライセンスは Apache-2.0、リポジトリは 10 月 22 日に作成されました