synchopate/llama-modchip

llama-modchip は、ggml/llama.cpp のカーネルパッチ、量子化トランスコーダー、および実行ツールで構成されるセットであり、スパース MoE モデルを完全にシステムメモリに載せ、CPU のみで推論することを目的としています。作者は、Unsloth の DeepSeek-V4-Flash UD-IQ1_S バージョンをさらに圧縮し、56.56 GiB(約 1.71 bpw)にまで削減したと述べています。64GB のメモリと 16 コアの Zen 5 を搭載したマシンでは、プリフィルが約 44 tok/s、生成が 9.1–14.7 tok/s で動作し、256K コンテキストに対応しています。また、30B クラスの MoE(例:Nemotron-3.5-30B-A3B)については、16–32GB のメモリを搭載したノートパソコンで 25–60 tok/s を達成したと作者は報告しています。さらに、自己投機デコード(self-speculative decoding)や KV スナップショット復元機能を備えており、長いプロンプトを用いるエージェントセッションの高速化に貢献します。

llama-modchip は、ggml/llama.cpp のカーネルパッチ、量子化トランスコーダー、および実行ツールで構成されるセットであり、スパース MoE モデルを完全にシステムメモリに載せ、CPU のみで推論することを目的としています。作者は、Unsloth の DeepSeek-V4-Flash UD-IQ1_S バージョンをさらに圧縮し、56.56 GiB(約 1.71 bpw)にまで削減したと述べています。64GB のメモリと 16 コアの Zen 5 を搭載したマシンでは、プリフィルが約 44 tok/s、生成が 9.1–14.7 tok/s で動作し、256K コンテキストに対応しています。また、30B クラスの MoE(例:Nemotron-3.5-30B-A3B)については、16–32GB のメモリを搭載したノートパソコンで 25–60 tok/s を達成したと作者は報告しています。さらに、自己投機デコード(self-speculative decoding)や KV スナップショット復元機能を備えており、長いプロンプトを用いるエージェントセッションの高速化に貢献します。

なぜ重要か 大規模な MoE モデルの実行には必ずしも GPU が必須ではありません。使用頻度の低いエキスパートをメモリからストリーミング読み込みすることで、一般的なデスクトップ PC でもローカルデプロイを試すことが可能になります。

スター数 785(+287 / 24h)

理由

  • 過去 24 時間で新たに 287 スターを獲得(これは注目度を示すに過ぎません)
  • README には、各テンソルタイプで使用される量子化フォーマット、メモリ使用量、および再実行可能な品質テストスクリプトが記載されています

使い方

  • リポジトリをクローンした後、./modchip chat を実行すると自動で設定されます。モデルはカスタムテンソルタイプを使用しているため、標準の llama.cpp、Ollama、LM Studio では読み込めず、リポジトリに含まれる専用プログラムを使用する必要があります

リスク

  • 速度および品質の数値はすべて作者による自己テストに基づいています。DeepSeek バージョンの品質スコアは、すでに 1 ビット台まで圧縮された UD-IQ1_S と比較したものであり、元の重みとの比較ではありません
  • 極低ビット量子化が複雑なタスクに与える影響は不明です。リポジトリは 10 月 29 日に作成されました

開く

GitHub

最新の AI ニュースを見る