NVIDIA がオープンソース化した Rust 推論ランタイム Flare 用に事前パッケージ化された V4.1-Flash-1017：重み、コンパイル済み CUDA カーネル、キャプチャされた実行グラフが署名付きパッケージにまとめられており、4 カードのテンソル並列で OpenAI 互換サービスを直接起動でき、画像・テキスト入力と 1,048,576 トークンのコンテキストに対応します。
上昇スコア 4 · いいね 16 · ダウンロード数 0
理由
- ハードウェアに応じて 2 バージョンを用意：gb202 は 1 台のマシン上の 4 枚の RTX PRO 6000 Blackwell 96 GB（約 515 GB）向け、gb10 は 4 台の DGX Spark（約 490 GB）向け。
- Python 不要、ランタイムコンパイル不要。読み込み前に発行者の署名を検証。作者によれば、単一パッケージで最大 32 並列に対応し、適応型 MTP 検証を備える。
- モデルカードは 10-27 に更新済み。10-18 でデータベースを構築。
使い方
- hf download local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE --revision gb202 --include '*.safetensors' 'publisher.json' --local-dir ./models を実行し、ghcr.io/local-inference-lab/flare:release イメージで run /models/model.safetensors --gpus 0,1,2,3 を実行（完全なパラメータは gb202 ブランチの README を参照）。
- インターフェースは /v1、モデル名は DeepSeek-V4.1-Flash。DGX Spark ユーザーは gb10 ブランチを参照し、署名付き APT パッケージで flare をインストール。
リスク
- Flare でのみ読み込み可能で、Transformers、vLLM、SGLang、llama.cpp では読み込めない。gb202 の例では Engram テーブルをメモリに配置するため、少なくとも 256 GiB のホストメモリが必要。
- モデルカードには完全な精度評価が実施されていない旨が明記されている。パッケージ作成者は local-inference-lab であり、DeepSeek 公式ではない。