純粋な C で書かれたローカル推論エンジンで、超大型の混合専門家（MoE）モデルの実行に特化しています。すべてのトークンで使用される部分（アテンション、共有専門家、単語埋め込み）はメモリに常駐し、ルーティングによって選択された専門家は必要に応じてハードディスクから読み込まれ、よく使用する専門家はキャッシュに保持されます。GPU は必須ではなく、GPU が利用可能な場合は最も頻繁に使用される専門家と密な層を GPU に配置します。
スター数 46561（+675 / 24時間）
理由
- 作者の着眼点：MoE モデルはハードディスク上では巨大ですが、各トークンで実際に使用される部分は小さいです。GLM-5.2 を例にとると、総パラメータ数は 744B ですが、各トークンあたり約 40B しか使用されないため、モデル全体を VRAM に収める必要はなく、「適切な場所に配置する」だけで済みます。作者は、デフォルトの戦略ではモデルの精度やルーティングが密かに変更されることはなく、メモリ不足は速度にのみ影響すると強調しています。
- README には 13 個のエンジンがリストされています。言語モデルとしては GLM-5.2/5.3、Kimi K3、DeepSeek V4 / V4.1 Flash、MiMo-V2.6、Qwen3.6 / Qwen3.8 などが含まれ、さらにテキストから画像を生成する Qwen-Image-2.1 や、判定のみを行う意思決定モデルもあります。公開済みの GGUF ファイルを直接読み込むことも可能で、CPU、Vulkan（あらゆる GPU、統合グラフィックスを含む）、CUDA がサポートされています。
- coli serve は OpenAI 互換および Anthropic 互換のインターフェース（Claude Code に直接接続可能）を提供し、ツール呼び出し、画像入力、テキストから画像への生成インターフェースをサポートします。各専門家がいつアクティブ化されたかを確認できるウェブダッシュボードが組み込まれています。各モデルの速度はテストマシン（作者による自己テスト）とともに記載されています。
使い方
- 最低 8 GB のメモリ（16 GB 以上推奨）、最小のモデルでも 22 GB のハードディスク容量が必要で、GPU はオプションです。Windows では ZIP をダウンロードして START-HERE.bat をダブルクリックし、Linux / macOS ではリポジトリをクローンしてから ./start-here.sh を実行します。
- インストーラーはメモリ、ハードディスク、CPU、GPU を検出し、適切なモデルを推奨します。エンジンの自動コンパイルまたはダウンロード、モデルの中断可能ダウンロードを行い、その後 http://127.0.0.1:8000/ を開きます。--list で各モデルがローカルマシンで実行可能か確認でき、--model でモデルを指定し、--backend vulkan / cuda / cpu でバックエンドを指定します。
- 他のプログラムからの接続：OpenAI の base URL には http://127.0.0.1:8000/v1，Anthropic を使用し、Anthropic の base URL には http://127.0.0.1:8000；也可以让 を使用します。AI アシスタントが docs/AI_SETUP.md に従ってインストールを代行するか、coli mcp が提供する MCP ツールを使用します。
リスク
- 大規模モデルの速度はハードディスクに依存し、作者が提示する数値は多くが毎秒 0.05 から数トークン程度です。最大の Kimi K3 は約 9.4 秒で 1 トークン生成するため、急がないタスクに向いています。大規模モデルのダウンロードは数百 GB に及ぶことがあり、高速な NVMe ドライブが必要です。
- エンジンのライセンスは Apache-2.0 ですが、モデルにはそれぞれ異なるライセンスがあります。README では Qwen-Image-2.1 が非商用ライセンスであり、Muse Spark Open は Meta のライセンス契約に準拠していることが明記されています。すべての速度数値は、記載されたマシンで作者が測定したものです。