local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE

このリポジトリでは、NVIDIA がオープンソースで公開している Rust ベースのローカル推論ランタイム「Flare」向けに、DeepSeek-V4.1-Flash-1017 の実行パッケージを提供しています。各バージョンには、前処理済みの重み、コンパイル済みカーネル、キャプチャされた実行グラフ、および署名メタデータが含まれており、4 カードのテンソル並列処理に対応しています。テキストおよび画像入力をサポートし、リクエストごとに最大 1,048,576 トークンまで処理可能で、OpenAI 互換のインターフェースを備えています。プラットフォーム版として gb202 と gb10 の 2 種類があり、後者ではエキスパートスケーリングが事前に展開されており、実行時の変換処理を省略できます。

このリポジトリでは、NVIDIA がオープンソースで公開している Rust ベースのローカル推論ランタイム「Flare」向けに、DeepSeek-V4.1-Flash-1017 の実行パッケージを提供しています。各バージョンには、前処理済みの重み、コンパイル済みカーネル、キャプチャされた実行グラフ、および署名メタデータが含まれており、4 カードのテンソル並列処理に対応しています。テキストおよび画像入力をサポートし、リクエストごとに最大 1,048,576 トークンまで処理可能で、OpenAI 互換のインターフェースを備えています。プラットフォーム版として gb202 と gb10 の 2 種類があり、後者ではエキスパートスケーリングが事前に展開されており、実行時の変換処理を省略できます。

なぜ重要か カーネルと実行グラフは事前にコンパイルされており、Python は不要です。ローカルの DGX またはマルチ GPU マシンで、OpenAI 互換のサービスを直接起動できます。

上昇スコア 2 · いいね 18 · ダウンロード数 0

理由

  • 実行パッケージには公開者による署名が含まれており、Flare は読み込み前に検証を行います

使い方

  • Flare をインストール後、対応するプラットフォームのバージョンをダウンロードして実行します。同一バージョンのファイルはまとめて配置する必要があり、混在させないでください

リスク

  • Transformers、vLLM、SGLang、llama.cpp ではこの形式を読み込めません
  • 4 枚の GPU または 4 台のデバイスが必要です

開く

Hugging Face

最新の AI ニュースを見る