このリポジトリでは、NVIDIA がオープンソースで公開している Rust ベースのローカル推論ランタイム「Flare」向けに、DeepSeek-V4.1-Flash-1017 の実行パッケージを提供しています。各バージョンには、前処理済みの重み、コンパイル済みカーネル、キャプチャされた実行グラフ、および署名メタデータが含まれており、4 カードのテンソル並列処理に対応しています。テキストおよび画像入力をサポートし、リクエストごとに最大 1,048,576 トークンまで処理可能で、OpenAI 互換のインターフェースを備えています。プラットフォーム版として gb202 と gb10 の 2 種類があり、後者ではエキスパートスケーリングが事前に展開されており、実行時の変換処理を省略できます。
なぜ重要か カーネルと実行グラフは事前にコンパイルされており、Python は不要です。ローカルの DGX またはマルチ GPU マシンで、OpenAI 互換のサービスを直接起動できます。
上昇スコア 2 · いいね 18 · ダウンロード数 0
理由
- 実行パッケージには公開者による署名が含まれており、Flare は読み込み前に検証を行います
使い方
- Flare をインストール後、対応するプラットフォームのバージョンをダウンロードして実行します。同一バージョンのファイルはまとめて配置する必要があり、混在させないでください
リスク
- Transformers、vLLM、SGLang、llama.cpp ではこの形式を読み込めません
- 4 枚の GPU または 4 台のデバイスが必要です