jesdga/DeepSeek-V4.1-Flash-1017-Basalt

これはBasalt(NVIDIA Blackwell sm_120 グラフィックカード向けのローカル推論エンジンで、OpenAIおよびAnthropicインターフェースと互換性あり)用に用意されたモデルパッケージです。各ファイルには、Unslothで量子化されたDeepSeek-V4.1-Flash-1017の重み、Engramテーブル、視覚投影層、トークナイザー、およびDSparkドラフトモデルが含まれており、UD-IQ1_M(260 GB)とUD-IQ2_XXS(285 GB)の2つのバージョンが提供されています。画像入力と最大1,048,576トークンのコンテキスト長に対応しています。作者によれば、RTX 5090と5060 Tiを使用した場合、単一ストリームでの生成速度は約40~179 tok/sですが、これはバージョンや内容によって異なります。

これはBasalt(NVIDIA Blackwell sm_120 グラフィックカード向けのローカル推論エンジンで、OpenAIおよびAnthropicインターフェースと互換性あり)用に用意されたモデルパッケージです。各ファイルには、Unslothで量子化されたDeepSeek-V4.1-Flash-1017の重み、Engramテーブル、視覚投影層、トークナイザー、およびDSparkドラフトモデルが含まれており、UD-IQ1_M(260 GB)とUD-IQ2_XXS(285 GB)の2つのバージョンが提供されています。画像入力と最大1,048,576トークンのコンテキスト長に対応しています。作者によれば、RTX 5090と5060 Tiを使用した場合、単一ストリームでの生成速度は約40~179 tok/sですが、これはバージョンや内容によって異なります。

なぜ重要か VRAMに収まらないエキスパートをメモリに保持することで、コンシューマー向けBlackwellグラフィックカードでもこの大規模MoEモデルをローカルで実行できます。

上昇スコア 8 · いいね 8 · ダウンロード数 0

理由

  • モデルカードには、BF16の参考値と比較したパープレキシティ、KLダイバージェンス、および優先トークンの一致率が記載されています

使い方

  • Basalt 0.3.0以上が必要で、対応する.basaltファイルをダウンロードした後、Basaltで読み込みます

リスク

  • 速度と品質の数値は、作者が自身のハードウェアで測定したものです
  • 単一ファイルで260 GB以上あり、大容量メモリとディスクが必要で、Blackwellグラフィックカードのみに対応しています

開く

Hugging Face

最新の AI ニュースを見る