원제: Diffuspace/Clover-35B-A3B-Preview
DiffuSpace의 첫 번째 모델: Qwen3.6-35B-A3B에서 파생된 순수 텍스트 확산 언어 모델로, 하이브리드 Gated DeltaNet / 전체 어텐션 MoE 백본(40 레이어, 256개의 라우팅 전문가 중 8개 선택, 각 레이어당 1개의 공유 전문가)을 유지합니다. 총 파라미터는 35B이며, 토큰당 활성화 파라미터는 약 3B이고, 컨텍스트 길이는 128K입니다. 생성은 블록 단위로 수행됩니다: 각 블록은 처음에 모두 마스킹된 상태로 시작하며, 신뢰도가 임계값(기본값 0.95)을 초과하는 위치를 병렬로 채웁니다. 하나도 충족되지 않을 경우 가장 확신이 높은 위치를 채웁니다. 블록이 완료되면 다음 블록의 접두사가 됩니다(기본 블록 길이 32). 이를 위해 학습 가능한 GDN 파라미터를 추가하여 블록 내 토큰이 양방향으로 상호 참조할 수 있게 하고, 접두사는 인과 관계를 유지하도록 했습니다. 저자는 공개 당시 블로그에 보고된 벤치마크 기준에서 오픈소스 확산 언어 모델 중 최고 성능이라고 주장했습니다. 10월 24일에 리포지토리가 생성되었으며, 이전 호에서는 다루지 않았습니다.
상승 점수 87 · 좋아요 247 · 다운로드 수 3572
이유
- 확산 언어 모델의 바로 실행 가능한 대형 버전: 한 번에 여러 토큰을 결정할 수 있습니다. 블록 내에서는 라우팅 점수를 누적하여 90%에서 절단하는 방식으로 공유 전문가 세트만 사용할 수 있어, 동일 블록 내에서 호출되는 서로 다른 전문가의 수를 줄일 수 있습니다.
- 다양한 배포 옵션: Transformers를 통한 독립 추론; 공식 권장 SGLang 구현은 블록 확산 디노이징 및 자체 추측 디코딩을 지원하며, llama.cpp는 자체 추측 디코딩을 지원합니다(두 경우 모두 업스트림 PR 형식으로 제출됨).
- Apache-2.0 라이선스 적용, 상류 Qwen 저작권 고지 유지 및 파일별 수정 사항 첨부; 좋아요 수 247(관심도만 반영).
사용법
- pip install "transformers==5.19.0" accelerate safetensors (PyTorch 2.10+), AutoModelForCausalLM.from_pretrained('Diffuspace/Clover-35B-A3B-Preview', trust_remote_code=True, dtype=torch.bfloat16, device_map='cuda:0'), apply_chat_template 시 enable_thinking=True, generate(max_new_tokens=24576, block_size=32, threshold=0.95, do_sample=False). BF16 가중치는 약 69 GB이며, 이를 수용할 수 있는 GPU가 필요합니다.
- 반복 방지 및 종료 제어는 기본 설정에 포함되어 있습니다(presence_penalty 0.9, repetition_penalty 1.05, 응답이 8192 토큰을 초과하면 점차 종료로 유도, 사고 과정이 4096 토큰을 초과하면 점차 마무리로 유도). 일반적으로 수정할 필요가 없으며, 정식 서비스 및 평가에는 공식 SGLang 구현을 사용하십시오.
리스크
- Preview 버전: 모델 카드와 README에 점수가 명시되어 있지 않으며, 벤치마크 결과는 공식 블로그의 이미지만 존재합니다. 저자도 매우 긴 생성 시 때때로 반복이 발생할 수 있다고 언급했습니다.
- SGLang, llama.cpp 백엔드 코드 및 SFT 코드는 리포지토리에 '곧 추가 예정'으로 표시되어 있습니다. Transformers 버전과 SGLang의 출력은 수치적 차이로 인해 다를 수 있습니다.
- 128K를 초과하는 요청은 마지막 블록 완료에 필요한 공간을 포함하여 즉시 거부됩니다.