V4.1-Flash-1017 の 18 個のコミュニティ量子化 / パッケージ版を1つにまとめ、GGUF、EXL3、MLX、GSQ などの形式をカバー。10-28 と比較すると、turboderp 10-29 で EXL3 リポジトリが新規作成され、unsloth、ISTA-DASLab、mlx-community も 10-28 から 10-29 にかけてファイルを更新した。
ダウンロード数（合計） 2081926 · いいね数（合計） 928
理由
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 は 10-29 にリポジトリを作成し、現在は 2.25bpw の1段階のみ（2.25bpw ブランチに配置）。カードには ExLlamaV3 v1.6.6 または dev ブランチが必要と明記されており、他の段階や評価は後日追加予定。
- unsloth の GGUF は 10-28 から 10-29 にかけて「Better versions / Better quants update」というコミットを連続して行っている。カードによると、最小の 1-bit 段階は 128 GB 以上のメモリを搭載したマシンで動作し、3-bit は 256 GB、全精度は 320 GB 必要で、同社の llama.cpp PR または Unsloth Desktop を使用する必要がある。
- ISTA-DASLab の GSQ-RCO GGUF は 10-27 に llama.cpp b11870 以降の DeepSeek-V4.1 レイアウトへ変更され、10-28 の変換スクリプトは公式に公開されている SHA-256 を個別に検証するように変更され、ダウンロードが破損している場合はエラーが発生するようになった。mlx-community の oQ3e-ngram-mtp は 10-29 にアテンションおよびインデクサーの射影を 8-bit に引き上げた。
使い方
- NVIDIA GPU + ExLlamaV3：v1.6.6 または dev ブランチをインストールした後、hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.25bpw を実行。
- CPU + 大容量メモリ：unsloth GGUF はそのガイドに従い llama.cpp PR を使用して実行。ISTA-DASLab GSQ-RCO は llama.cpp b11870 以上が必要（10-29 に含まれる Delta エンジンでも読み込み可能）。Apple チップは mlx-community の oQ シリーズを参照。
リスク
- turboderp のカードには注意喚起あり：短いプロンプトで出力が乱れる場合、多くはモデル自体の問題であり、公式リポジトリの議論 #33 へリンクされている。コミュニティユーザーからの報告では、思考モード無効時にシステムプロンプトがある場合、「hello」のような短い挨拶に対して約 47% の確率で応答が乱れることがあり、公式 API でも再現可能。この議論は依然として open であり、公式による確認は行われていない。
- すべてコミュニティによる量子化であり、各社の品質比較は作者自身のテストに基づく。30 日間の合計ダウンロード数は単に関心の高さを示すもの。