JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

これはJMNI-LabsがFlare推論エンジン向けにパッケージ化したデプロイパッケージで、2台のDGX Spark上でテンソル並列を実行し、コミュニティ版のDeepSeek-V4.1-Flash-1017 TrellisMX K2-Mixを提供します。ルーティングエキスパートはK2/K3/K4の混合低ビット量子化を採用し、Engramテーブルは4ビットで、アテンション、共有エキスパート、MTP、視覚モジュール、トークナイザーは公式のままで保持されています。16個の同時リクエストスロット、最大5個の検証用ドラフトトークンを含むMTP、約259 GiBのペイロードサイズ、およびデフォルトで約14 GiBのKVキャッシュ割り当てを含みます。

これはJMNI-LabsがFlare推論エンジン向けにパッケージ化したデプロイパッケージで、2台のDGX Spark上でテンソル並列を実行し、コミュニティ版のDeepSeek-V4.1-Flash-1017 TrellisMX K2-Mixを提供します。ルーティングエキスパートはK2/K3/K4の混合低ビット量子化を採用し、Engramテーブルは4ビットで、アテンション、共有エキスパート、MTP、視覚モジュール、トークナイザーは公式のままで保持されています。16個の同時リクエストスロット、最大5個の検証用ドラフトトークンを含むMTP、約259 GiBのペイロードサイズ、およびデフォルトで約14 GiBのKVキャッシュ割り当てを含みます。

なぜ重要か 2台のDGX Sparkを所有しているユーザーにとって、すぐに使える道筋を提供します。マルチプレックスな同時実行、OpenAI互換インターフェース、そして長いコンテキストウィンドウにも対応可能です。

上昇スコア 2 · いいね数 2 · ダウンロード数 0

理由

  • モデルカードには出典チェーンが明確に記載されています。公式のMITライセンス重み、コミュニティ版TrellisMXパッケージの具体的なバージョン、および使用されているカーネル情報が含まれています。

使い方

  • 2台のDGX Sparkの両方に、対応するブランチからビルドされたFlareをインストールします。1台目はflare downloadでパッケージを取得し、rank 0として起動します。2台目はrank 1として参加し、クライアントは1台目の8000ポートに接続します。

リスク

  • まだ正式リリースに統合されていないds41-trellismxエンジンブランチが必要です。正式版のflare-inferenceでは読み込めません。
  • パッケージにはローカル開発用の署名のみが含まれており、起動時に--dangerously-*パラメータを追加する必要があります。作者は、信頼できるホストでのみ使用するか、正式な署名に置き換えるよう警告しています。
  • 公式重みとの比較による品質データは提供されていません。

開く

Hugging Face

最新の AI ニュースを見る