V4.1-Flash-1017 のコミュニティによる量子化／パッケージ版を1項目に統合し、現在 24 個あります。GGUF（unsloth、ISTA DASLab など）、EXL3、MLX、NVIDIA NVFP4 などの形式をカバーしています。前回収録時（10-31）と比較して、対象期間内に新たに追加されたのは、オーストリア科学技術研究所 ISTA の DASLab が 11-02 に公開した GSQ-RCO Coder です。同モデルの IQ2_XXS 量子化版をベースに、各層にある 384 個のルーティングエキスパートのうち 192 個を削除し、残ったエキスパートはコード、エージェントツール呼び出し、長文脈、視覚に関するキャリブレーションデータに基づいて選択されています。
ダウンロード数（合計） 3296957 · いいね数（合計） 1464
理由
- 作者の説明によると：Coder の Transformer 重みは 72.12 GB（プルーニング前の IQ2_XXS 版は 138.2 GB）で、元のモデルパラメータに換算すると約パラメータあたり 1.05 bit です。2つの Engram 検索テーブルは 110.6 GB で、プルーニング前版と共通しており、トークンごとにディスクから行単位で読み込むため、常駐メモリに保持する必要がなく、全体のダウンロードサイズは 182.72 GB です。
- 作者が提示したコード評価（推論強度 50）：SWE-bench Verified は元モデルの 81.20 から 77.00 に低下（94.8% を維持）、LiveCodeBench v6 は 89.71 から 88.57 に低下（98.7% を維持）。エキスパートは RCO 手法を用いてモデル全体の KL ダイバージェンスに基づいて jointly（同時）に選択されており、層ごとに重要度スコアで上位を選択する方式ではありません。各層で保持されたエキスパートのリストはリポジトリで公開されています。
- まとめ内の他のブランチに変更はありません。Coder は対象期間内に唯一新たに出現したブランチであり、本コーナーで「用途別エキスパートプルーニング」を施した V4.1 圧縮版を確認するのは初めてです。
使い方
- llama.cpp には b11870 以降のバージョンが必要です：
hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF --include "IQ2\_XXS/\*" "\*Engram\*"を実行し、Engram ファイルを第 6 番目のシャードとしてリンクします（カードにはln -sと Windows のmklink /Hの書き方が記載されています）。llama-cli -mで第 1 番目のシャードを指定し、-ngl 99を追加します。 - すでにプルーニング前の GSQ-RCO 版をダウンロード済みの場合、Engram ファイルと視覚プロジェクション mmproj は同一ファイルであるため、再ダウンロードは不要です。画像処理を行う場合は
--mmprojを追加し、推論強度は--reasoning on --reasoning-effort 50で指定します。 - 汎用対話のみを行い、コードに特化しない場合は、作者はプルーニング前の GSQ-RCO 版の使用を推奨しています。他の形式（unsloth GGUF、EXL3、MLX、NVFP4）については、まとめ内の各ブランチページを参照してください。
リスク
- 作者はこれが実験的なリリースであることを明確に述べています：エキスパートの半分を削除すれば必然的に能力が低下し、コード／ツール呼び出し／長文脈／視覚以外の能力の低下はこの手法の代償です。カードには2つのコード評価のみが記載されています。単一カード Strata エンジンの実行手順とメモリ使用量は、カード内ではまだ未定（TBD）です。
- すべてのスコアは作者が推論強度 50 で自己測定したものであり、第三者による再現はありません。約 72 GB の重みを収容できるメモリ／VRAM の組み合わせと、約 183 GB のディスク容量が必要です。Engram テーブルを外付けドライブに置くと、プリフィル速度が遅くなる可能性があります。