これはJMNI-LabsがFlare推論エンジン向けにパッケージ化したデプロイパッケージで、2台のDGX Spark上でテンソル並列を実行し、コミュニティ版のDeepSeek-V4.1-Flash-1017 TrellisMX K2-Mixを提供します。ルーティングエキスパートはK2/K3/K4の混合低ビット量子化を採用し、Engramテーブルは4ビットで、アテンション、共有エキスパート、MTP、視覚モジュール、トークナイザーは公式のままで保持されています。16個の同時リクエストスロット、最大5個の検証用ドラフトトークンを含むMTP、約259 GiBのペイロードサイズ、およびデフォルトで約14 GiBのKVキャッシュ割り当てを含みます。
なぜ重要か 2台のDGX Sparkを所有しているユーザーにとって、すぐに使える道筋を提供します。マルチプレックスな同時実行、OpenAI互換インターフェース、そして長いコンテキストウィンドウにも対応可能です。
上昇スコア 2 · いいね数 2 · ダウンロード数 0
理由
- モデルカードには出典チェーンが明確に記載されています。公式のMITライセンス重み、コミュニティ版TrellisMXパッケージの具体的なバージョン、および使用されているカーネル情報が含まれています。
使い方
- 2台のDGX Sparkの両方に、対応するブランチからビルドされたFlareをインストールします。1台目は
flare downloadでパッケージを取得し、rank 0として起動します。2台目はrank 1として参加し、クライアントは1台目の8000ポートに接続します。
リスク
- まだ正式リリースに統合されていない
ds41-trellismxエンジンブランチが必要です。正式版のflare-inferenceでは読み込めません。 - パッケージにはローカル開発用の署名のみが含まれており、起動時に
--dangerously-*パラメータを追加する必要があります。作者は、信頼できるホストでのみ使用するか、正式な署名に置き換えるよう警告しています。 - 公式重みとの比較による品質データは提供されていません。