原題：Diffuspace/Clover-35B-A3B-Preview
DiffuSpaceの最初のモデル：Qwen3.6-35B-A3Bから改造された純テキスト拡散言語モデルで、混合Gated DeltaNet / フルアテンションMoEバックボーン（40層、256個のルーティングエキスパートから8個を選択、各層に1個の共有エキスパート）を維持。総パラメータ数35B、トークンあたりのアクティブパラメータは約3B、コンテキスト長は128K。生成はブロック単位で行われる：各ブロックは最初はすべてマスクされており、信頼度が閾値（デフォルト0.95）を超える位置が並列に埋められ、一つも基準を満たさない場合は最も確信度の高い位置が埋められる。ブロックが完了すると次のブロックのプレフィックスとなる（デフォルトのブロック長は32）。このため、ブロック内のトークンが双方向で相互参照し、プレフィックスは因果性を保つように、学習可能なGDNパラメータが追加された。著者は、リリース時点でブログで報告されたベンチマークにおいて、オープンソースの拡散言語モデルの中で最高性能であると述べている。10月24日にリポジトリが作成されたが、以前の号では取り上げられていなかった。
上昇スコア 87 · いいね 247 · ダウンロード数 3572
理由
- 拡散言語モデルの実行可能な大規模バージョンの一つ：一度に複数のトークンを確定できる。ブロック内では、ルーティングスコアの累計が90%に達するまで共有エキスパートのみを使用することで、同一ブロック内で呼び出される異なるエキスパートの数を減らすことも可能。
- デプロイの選択肢が多い：Transformersによるスタンドアロン推論。公式推奨のSGLang実装はブロック拡散ノイズ除去と自己投機デコーディングをサポートし、llama.cppは自己投機デコーディングをサポート（両方とも上流へのPRとして提出済み）。
- Apache-2.0ライセンス。上流のQwen著作権表示を保持し、ファイルごとの変更説明を添付。GitHubでのいいね数は247（注目度の指標に過ぎない）。
使い方
- pip install "transformers==5.19.0" accelerate safetensors（PyTorch 2.10+）。AutoModelForCausalLM.from_pretrained('Diffuspace/Clover-35B-A3B-Preview', trust_remote_code=True, dtype=torch.bfloat16, device_map='cuda:0')。apply_chat_template時にenable_thinking=Trueを指定し、generate(max_new_tokens=24576, block_size=32, threshold=0.95, do_sample=False)を実行。BF16の重みは約69 GBで、これらを収容できるGPUが必要。
- 反復防止と終了制御はデフォルト設定に組み込まれている（presence_penalty 0.9、repetition_penalty 1.05、回答が8192トークンを超えると徐々に終了へ偏り、思考が4096トークンを超えると徐々に締めくくりへ偏る）。通常は変更不要。本番サービスや評価には公式のSGLang実装を使用。
リスク
- Preview版：モデルカードやREADMEにスコアが記載されておらず、ベンチマーク結果は公式ブログの画像内のみ。著者も、非常に長い生成時には時に反復が発生する可能性があることを認めている。
- SGLangおよびllama.cppのバックエンドコードとSFTコードは、リポジトリ内で「近日追加」と記載されている。Transformers版とSGLang版の出力は、数値的な差異により異なる可能性がある。
- 128Kを超えるリクエストは直接拒否される（最後の完全なブロックを補完するために必要なスペースを含む）。