SenseNova-Loop-9B: 중간 계층을 두 번 실행하는 멀티모달 소형 모델

SenseNova 팀이 11월 17일에 업로드한 정식 버전(10월 31일에 프리뷰를 먼저 공개함). 모델 카드에 따르면 약 9B 파라미터: 32층 디코더 중 4–27층은 가중치를 공유하며 각 순방향 패스마다 두 번 실행되어 총 56층의 연산량(공식 환산 기준 약 14.6B 추론 등가)을 가지며, 이중 잔차 스트림 mHC와 함께 매 4층마다 3층 선형 어텐션과 1층 전체 어텐션을 혼합한 구조를 채택함. 텍스트 및 이미지를 입력받아 텍스트를 출력하며, 컨텍스트 길이는 512K이고 복잡한 추론, 프로그래밍, 도구 호출 및 멀티모작 작업을 대상으로 함. Apache-2.0 라이선스.

원제: sensenova/SenseNova-Loop-9B

SenseNova 팀이 11월 17일에 업로드한 정식 버전(10월 31일에 프리뷰를 먼저 공개함). 모델 카드에 따르면 약 9B 파라미터: 32층 디코더 중 4–27층은 가중치를 공유하며 각 순방향 패스마다 두 번 실행되어 총 56층의 연산량(공식 환산 기준 약 14.6B 추론 등가)을 가지며, 이중 잔차 스트림 mHC와 함께 매 4층마다 3층 선형 어텐션과 1층 전체 어텐션을 혼합한 구조를 채택함. 텍스트 및 이미지를 입력받아 텍스트를 출력하며, 컨텍스트 길이는 512K이고 복잡한 추론, 프로그래밍, 도구 호출 및 멀티모작 작업을 대상으로 함. Apache-2.0 라이선스.

왜 중요한가 공식적으로 에이전트 및 데이터 분석 평가에서 모델 크기가 3배인 Qwen 모델에 근접한 성능을 보이며, 4비트 양자화 시 VRAM 요구량이 수십 GB 수준으로 감소함

상승 점수 185 · 좋아요 188 · 다운로드 수 0

이유

  • 공식적으로 정식 버전은 이미지 내 7개 평가 항목 모두에서 프리뷰보다 높은 점수를 기록함: AutomationBench 14.33 → 36.67, Terminal-Bench 2.1 40.45 → 59.55, GAIA 37.86 → 69.90; Qwen3.8-27B와 비교 시 AIDABench는 65.31 대 65.01, NL2Repo는 41.36 대 44.60
  • 공식 VRAM 추정치: 4비트 가중치는 약 4.9GB이며, 8비트 KV 캐시를 추가할 경우 64K / 128K / 256K 컨텍스트에서 각각 약 10 / 12 / 15 GiB 필요
  • 공식적으로 루프 횟수 실험을 수행함: 1부터 4회까지의 루프 중 3–4회일 때 점수가 가장 좋았으나, 속도를 고려하여 기본값은 2회로 설정됨; 모델 카드에는 웹페이지, SVG, 포스터 및 3D 장면 생성 예시 GIF가 포함됨

사용법

  • Transformers 5.18.0: AutoTokenizer와 AutoModelForCausalLM 모두 trust_remote_code=True를 설정하고 dtype은 bfloat16 사용; apply_chat_template에서 enable_thinking=True로 사고(thinking) 기능을 활성화하며, False로 설정하면 비활성화됨
  • 서비스 배포: LightLLM 공식 이미지(예시 --tp 4)는 OpenAI 호환 인터페이스를 제공함; vLLM 및 SGLang은 아직 병합되지 않은 PR(vLLM #64832, SGLang #47281)을 가져와 직접 설치해야 함
  • MTP 추측 디코딩 지원, 초안 모델 학습 스크립트는 GitHub OpenSenseNova/SenseSpec에 있음; 미세 조정 예제는 OpenSenseNova/torchtitan에 있음

리스크

  • 가중치 다운로드 시 Hugging Face 로그인 및 접근 약관 동의 필요(자동 승인); 배포 명령어는 프리뷰 버전을 따르며, 공식적으로 정식 버전의 엔진 버전 및 구성은 추후 업데이트될 예정임
  • 모델 카드에는 첫날 공식 AWQ 4비트 버전 제공이 명시되어 있으나, 본 항목 확인 시점에는 sensenova 계정의 공개 목록에 아직 없음; VRAM 수치는 공식 추정치임
  • 공식적으로 나열된 단점: 도구 정의가 많고 제약 조건이 복잡할 경우 요구 사항을 놓칠 수 있으며, 프로그래밍 및 긴 체인의 에이전트 작업은 불안정함. 복잡한 3D/애니메이션 웹페이지는 2~3회의 수정이 필요함; 점수는 모두 공식 차트에서 가져온 것이며 본 항목에서는 실행하지 않음

열기

Hugging Face Trending

최신 AI 소식 보기