公式の V4.1-Flash-1017 重みに対する 16 個のコミュニティ量子化版。GGUF（llama.cpp およびいくつかの専用エンジン）、EXL3（マルチGPU vLLM / exllamav3）、MLX、Apple Silicon 専用フォーマットをカバーしています。今号ではモデルカードを一つずつ確認し、検閲除去版やファインチューニング版が混入していないことを確認しました。
ダウンロード数（合計） 1515552 · いいね数（合計） 843
理由
- ISTA-DASLab の GSQ-RCO GGUF には、IQ1_M、IQ2_XXS、IQ2_XS の3段階があります（合計約 231–266 GB）。10-27 の更新後、llama.cpp メインラインの b11870 以上で読み込めるようになり、画像入力にも対応しています。作者によれば、IQ2_XXS は AIME25、GPQA-Diamond、LiveCodeBench v6 において原版と同等の性能を示すとのことです（作者による自己テスト、reasoning effort 50）。
- 128 GB メモリのマシンにはいくつかの選択肢があります。作者によれば、Maya-XS（Project Maya エンジン）は常駐メモリ 115.3 GB を必要とします。ds4 版の Q2 GGUF は、128 GB の Mac での SSD ストリーミング読み込みを想定しています。unsloth によれば、最小の 1-bit 版は 128 GB 以上のメモリを必要とします。
- マルチGPU環境では EXL3 のソリューションがあります。diffbot 版は 2 枚の RTX PRO 6000 向け、franken-v100 版は 8 枚の V100 32GB 向けです。LibertAI の 2.9 bpw 版には、公式エンコーダに基づいて移植された chat_template.jinja が含まれており、作者によれば、参考実装との間で 8,455 個のユースケースにおいてレンダリング結果が一致するとのことです。
- 合計ダウンロード数といいね数は、あくまで注目度を示すものです。
使い方
- llama.cpp：
hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF --include "\*IQ2\_XXS\*" "\*Engram\*" --local-dir .を実行し、モデルカードに従って Engram ファイルを第 6 番目のシャードとしてシンボリックリンクで接続した後、llama-cli -m …-00001-of-00006.ggufで読み込みます。 - Apple Silicon：mlx-community の oQ4e / oQ2.5e（oMLX）または、beamster の Sushi-STQ 1.75bpw（sushi v1.4.0+、macOS 26.2+ が必要）を使用します。
- EXL3 パッケージの多くには2つの Engram テーブルが含まれていないため、公式リポジトリから第 47、48 番目のシャード（それぞれ約 95 GiB）を別途取得する必要があります。
リスク
- 最小のバージョンでも Engram テーブルを含めると数百 GB になるため、Engram は高速な SSD に配置する必要があります。各リポジトリが要求するエンジンやブランチは異なります（mrfakename 版は特定の llama.cpp ブランチを要求し、unsloth 版は同社の PR または Unsloth Desktop を使用する必要があります）。ダウンロード前に必ず対応するモデルカードを確認してください。
- 品質指標（KLD、top-1 一致率、ベンチマークスコア）はすべて各作者による自己テストであり、測定基準が異なります。lossless-CSF 版はカスタムの LIL ライセンスを採用しており、専用のローダーが必要です。