상탕(SenseTime)이 10월 30일에 공개한 프리뷰 버전의 멀티모달 모델로, 텍스트와 이미지를 입력받아 텍스트를 출력하며, 긴 컨텍스트와 에이전트 작업(문서 읽기, 코드 작성, 외부 도구 호출)에 특화되어 있습니다. 구조적으로는 4~27층 구간의 가중치를 공유하여 두 번 실행하며, 32층의 가중치로 56층의 연산을 수행하고, 두 개의 mHC 잔차 흐름을 통해 정보 흐름을 관리합니다.
상승 점수 70 · 좋아요 70 · 다운로드 수 12
이유
- 접근 방식은 '매개변수 증가 없이 깊이 추가'입니다: 약 9B의 저장 매개변수와 약 14.6B의 추론 계산 매개변수를 가지며, 디코더는 3층의 선형 주의력과 1층의 전체 주의력을 교대로 배치합니다. 학습 시 최대 시퀀스 길이는 262,144 토큰이며, MTP 가속을 이미 지원하고 있고, DSpark 및 DFlash2 초안 모델은 아직 학습 중입니다.
- 모델 카드에는 동적 디자인 영상, PPT 디자인 및 데이터 분석 예시(공식적으로 자사의 Raccoon Work 제품으로 제작됨을 명시)가 포함되어 있으며, 비교 차트는 BIRD-Dev, Terminal Bench 2.1, AutomationBench, RaccoonPPTBench 등 8가지 에이전트 및 오피스 관련 벤치마크를 다룹니다.
- 라이선스는 Apache-2.0이며, SFT / DPO / MTP 미세 조정 스크립트(단일 서버 8 GPU)가 포함되어 있습니다. 이전 호에서는 이 모델이 수록되지 않았습니다.
사용법
- Transformers: pip install "transformers==5.18.0" accelerate safetensors (공식 검증 환경: PyTorch 2.11.0 + CUDA 13.0), AutoModelForCausalLM에 trust_remote_code=True 및 bfloat16을 설정하여 단일 GPU로 로드합니다. apply_chat_template에서 enable_thinking=True / False를 통해 사고 모드(thinking mode)를 전환할 수 있습니다.
- 서비스화: LightLLM 공식 이미지에서 4 GPU 예시(--tp 4)를 제공하며, OpenAI 호환 /v1/chat/completions 엔드포인트를 지원합니다. SGLang의 경우 PR 47281의 브랜치를 직접 가져와 컴파일해야 합니다.
- 미세 조정: git clone OpenSenseNova/torchtitan을 실행한 후, examples/train/SenseNova-Loop-9B-Preview의 mhc2_loop2_titan.sh 스크립트를 사용하여 SFT를 수행합니다.
리스크
- 프리뷰 버전: 기술 보고서는 아직 공개되지 않았으며, 모델 카드에는 Transformers 추론 구현의 공개 세부 사항이 '미정'으로 기재되어 있고, SGLang 지원은 아직 병합되지 않은 PR에만 존재합니다.
- 성능 지표는 비교 차트에만 표시되어 있으며, 모델 카드에는 텍스트 형태의 점수가 없어 본 칼럼에서 구체적인 수치를 검증할 수 없습니다. 예시는 공식 자체 제품에서 가져온 것입니다.
- 순환 구조는 추론 구현 시 순환 범위와 mHC 라우팅을 엄격하게 재현해야 하므로, 서드파티 양자화 또는 변환 버전은 호환되지 않을 수 있습니다.