Mô hình đa phương thức phiên bản xem trước do SenseTime phát hành vào ngày 30 tháng 10, nhận đầu vào là văn bản và hình ảnh, xuất đầu ra là văn bản, hướng tới các tác vụ ngữ cảnh dài và tác vụ agent (đọc tài liệu, viết mã, gọi công cụ bên ngoài); về mặt cấu trúc, đoạn từ lớp 4 đến lớp 27 sử dụng trọng số chia sẻ và chạy hai lần liên tiếp, trọng số của 32 lớp thực hiện tính toán cho 56 lớp, và sử dụng hai luồng dư thừa mHC để quản lý luồng thông tin.
Điểm tăng 70 · Lượt thích 70 · Lượt tải 12
Lý do
- Ý tưởng là "tăng độ sâu thay vì tăng tham số": khoảng 9B tham số lưu trữ, khoảng 14.6B tham số tính toán khi suy luận; bộ giải mã xen kẽ giữa ba lớp chú ý tuyến tính và một lớp chú ý đầy đủ, độ dài chuỗi huấn luyện tối đa là 262,144 token, đã hỗ trợ tăng tốc MTP, các mô hình nháp DSpark, DFlash2 vẫn đang trong quá trình huấn luyện.
- Thẻ mô hình trình bày các ví dụ về video thiết kế động, thiết kế PPT và phân tích dữ liệu (được ghi chú chính thức là do sản phẩm Raccoon Work của họ tạo ra), biểu đồ so sánh bao gồm tám tiêu chuẩn benchmark về agent và văn phòng như BIRD-Dev, Terminal Bench 2.1, AutomationBench, RaccoonPPTBench.
- Giấy phép Apache-2.0, kèm theo các script tinh chỉnh SFT / DPO / MTP (một máy tám card GPU); các kỳ trước chưa từng liệt kê mô hình này.
Cách sử dụng
- Transformers: pip install "transformers==5.18.0" accelerate safetensors (môi trường được xác minh chính thức là PyTorch 2.11.0 + CUDA 13.0), sử dụng AutoModelForCausalLM với trust_remote_code=True, tải trên một card GPU với bfloat16; trong apply_chat_template, chuyển đổi chế độ suy nghĩ bằng enable_thinking=True / False.
- Dịch vụ hóa: Ví dụ bốn card GPU với hình ảnh chính thức của LightLLM (--tp 4), API tương thích OpenAI /v1/chat/completions; SGLang yêu cầu tự kéo nhánh từ PR 47281 để biên dịch.
- Tinh chỉnh: git clone OpenSenseNova/torchtitan, chạy SFT theo script mhc2_loop2_titan.sh trong examples/train/SenseNova-Loop-9B-Preview.
Rủi ro
- Phiên bản xem trước: Báo cáo kỹ thuật chưa được công bố, thẻ mô hình ghi chi tiết về việc phát hành triển khai suy luận bằng Transformers là "chưa công bố", hỗ trợ SGLang chỉ có trong PR chưa được hợp nhất.
- Kết quả chỉ xuất hiện trong biểu đồ so sánh, thẻ mô hình không có điểm số dạng văn bản, chuyên mục này không thể xác minh các con số cụ thể; các ví dụ đến từ sản phẩm nội bộ của chính hãng.
- Cấu trúc vòng lặp yêu cầu triển khai suy luận phải tái hiện chính xác phạm vi vòng lặp và định tuyến mHC, các phiên bản lượng tử hóa hoặc chuyển đổi của bên thứ ba có thể không tương thích.