Оригинальное название: Diffuspace/Clover-35B-A3B-Preview
Первая модель DiffuSpace: чисто текстовая диффузионная языковая модель, полученная из Qwen3.6-35B-A3B, сохраняющая её гибридный остов Gated DeltaNet / полное внимание MoE (40 слоёв, 256 маршрутизируемых экспертов с выбором 8, 1 общих экспертов на слой), общее количество параметров — 35B, активация на токен — около 3B, контекстное окно — 128K. Генерация выполняется блоками: каждый блок изначально полностью замаскирован, позиции с уверенностью выше порога (по умолчанию 0.95) заполняются параллельно; если ни одна позиция не достигает порога, заполняется наиболее уверенная. После завершения блок становится префиксом для следующего блока (длина блока по умолчанию — 32). Для этого были добавлены обучаемые параметры GDN, позволяющие токенам внутри блока видеть друг друга в обоих направлениях, сохраняя при этом причинно-следственную связь для префикса. Авторы утверждают, что на момент релиза модель была лучшей среди открытых диффузионных языковых моделей по бенчмаркам, указанным в их блоге. Репозиторий создан 10 числа месяца 24, в предыдущих выпусках не упоминался.
Рост рейтинга: 87 · Лайки: 247 · Количество загрузок: 3572
Причины
- Крупная версия диффузионной языковой модели, которую можно запустить напрямую: она может определять несколько токенов за один проход; внутри блока можно использовать только набор общих экспертов (накапливая маршрутизационные баллы до порога 90%), что уменьшает количество различных экспертов, вызываемых в одном блоке.
- Широкий выбор вариантов развертывания: независимый вывод через Transformers; официальная реализация SGLang поддерживает блочную диффузионную денуизацию и самопроверку (self-speculative decoding); llama.cpp также поддерживает самопроверку (оба варианта представлены в виде PR в upstream).
- Лицензия Apache-2.0, сохранение авторских прав Qwen из upstream с пофайловым описанием изменений; количество лайков на Hugging Face — 247 (отражает только уровень внимания).
Использование
- pip install "transformers==5.19.0" accelerate safetensors (PyTorch версии 2.10 и выше), AutoModelForCausalLM.from_pretrained('Diffuspace/Clover-35B-A3B-Preview', trust_remote_code=True, dtype=torch.bfloat16, device_map='cuda:0'), при вызове apply_chat_template установите enable_thinking=True, generate(max_new_tokens=24576, block_size=32, threshold=0.95, do_sample=False). Веса в формате BF16 занимают около 69 ГБ, требуется видеокарта с достаточным объемом памяти.
- Контроль повторений и завершения ответа уже включен в конфигурацию по умолчанию (presence_penalty 0.9, repetition_penalty 1.05, постепенное смещение к завершению после превышения 8192 токенов в ответе и после превышения 4096 токенов в размышлениях), обычно изменять не нужно; для продакшн-сервисов и оценки используйте официальную реализацию SGLang.
Риски
- Версия Preview: ни карточка модели, ни README не содержат результатов бенчмарков, они представлены только на графиках в официальном блоге авторов; авторы также отмечают, что при очень длинной генерации иногда возникают повторения.
- Код бэкендов SGLang и llama.cpp, а также код для дообучения (SFT) в репозитории помечен как «скоро будет добавлен»; результаты вывода через Transformers и SGLang могут различаться из-за численных расхождений.
- Запросы с длиной более 128K токенов отклоняются напрямую (включая пространство, необходимое для завершения последнего целого блока).