Edge0-AI/Edge0

Edge0 は、オープンソースのストリーミング MoE 推論フレームワークです。専門家(エキスパート)の重みはストレージに保存され、必要に応じて読み込まれるため、ピークメモリは総パラメータ数ではなく、現在アクティブな専門家の数に依存します。学習済みのプリルーティングヘッドが次のトークンで使用する専門家を1ステップ先に予測し、作者によればデコードスループットは最大 59% 向上します。4 ビットのベースモデルには、蒸留された LoRA を組み合わせて量子化による損失を補っています。11 月 4 日、GGML ベースの統合エンジン edge0-infer がリリースされました。macOS、iOS、Android、Windows で動作する同一の C++ インターフェースを提供し、コマンドラインツール、OpenAI 互換のローカルサービス、チャットアプリのサンプルが含まれています。関連する Edge0-35B-A3B は Qwen3.6-35B-A3B をベースとしており、作者の自己テストでは OpenCompass の5項目平均で原版より 3.9 点低い結果となりました。

Edge0 は、オープンソースのストリーミング MoE 推論フレームワークです。専門家(エキスパート)の重みはストレージに保存され、必要に応じて読み込まれるため、ピークメモリは総パラメータ数ではなく、現在アクティブな専門家の数に依存します。学習済みのプリルーティングヘッドが次のトークンで使用する専門家を1ステップ先に予測し、作者によればデコードスループットは最大 59% 向上します。4 ビットのベースモデルには、蒸留された LoRA を組み合わせて量子化による損失を補っています。11 月 4 日、GGML ベースの統合エンジン edge0-infer がリリースされました。macOS、iOS、Android、Windows で動作する同一の C++ インターフェースを提供し、コマンドラインツール、OpenAI 互換のローカルサービス、チャットアプリのサンプルが含まれています。関連する Edge0-35B-A3B は Qwen3.6-35B-A3B をベースとしており、作者の自己テストでは OpenCompass の5項目平均で原版より 3.9 点低い結果となりました。

なぜ重要か 使用する専門家を1ステップ先に予測することで、ディスク読み込みと計算をオーバーラップさせ、スマートフォンや一般的なPCでも大規模な MoE モデルをローカルで実行できるようにします。

スター数 9670(+483 / 24h)

理由

  • 24 時間で新たに 483 スター増加(注目度を示す指標に過ぎません)
  • README には、作者が各プラットフォームで実施したベンチマーク表が記載されています。M5 MacBook で Metal を使用したデコード速度は約 24.8 tok/s、ピークメモリは 3.43 GiB、iPhone 17 Pro Max では約 13.2 tok/s です。

使い方

  • edge0-infer の「Getting Started」ガイドに従ってコンパイルし、付属のリソースツールで Edge0-35B-A3B-preview をダウンロードして変換後、コマンドラインまたはローカルサービスとして起動します。

リスク

  • 速度とスコアはいずれも作者による自己テストです。初回準備には約 18 GB の生重みデータと、約 20 GB の変換後リソース用の空き容量が必要です。
  • 統合エンジンは現在 35B クラスのみをサポートしており、8B クラスは計画中です。SSD の速度が生成速度に直接影響します。

開く

Trendshift(GitHub Trending 快照)

最新の AI ニュースを見る