Предпросмотрная версия мультимодальной модели, выпущенная SenseTime 10 30, принимает на вход текст и изображения, выдает текст и ориентирована на задачи с длинным контекстом и агентные задачи (чтение документов, написание кода, вызов внешних инструментов); архитектурно она повторно выполняет два прохода по слоям с общими весами в диапазоне 4–27, где веса 32 слоев обеспечивают вычисления для 56 слоев, а управление потоком информации осуществляется с помощью двух потоков остаточных связей mHC.
Рост рейтинга: 70 · Лайки: 70 · Загрузки: 12
Причины
- Идея заключается в «увеличении глубины без добавления параметров»: около 9B хранимых параметров и около 14.6B параметров вычислений при инференсе; декодер чередует три слоя линейного внимания и один слой полного внимания, максимальная длина обучающей последовательности составляет 262,144 токенов, уже поддерживается ускорение MTP, а черновые модели DSpark и DFlash2 все еще находятся в стадии обучения.
- В карточке модели представлены примеры динамических коротких видео, дизайна презентаций и анализа данных (официально указано, что они созданы с помощью продукта Raccoon Work), а сравнительные диаграммы охватывают восемь агентных и офисных бенчмарков, включая BIRD-Dev, Terminal Bench 2.1, AutomationBench и RaccoonPPTBench.
- Лицензия Apache-2.0, прилагаются скрипты для дообучения SFT / DPO / MTP (на одной машине с восемью GPU); ранее в выпусках эта модель не рассматривалась.
Использование
- Transformers: pip install "transformers==5.18.0" accelerate safetensors (официально проверенная среда: PyTorch 2.11.0 + CUDA 13.0), загрузка на одном GPU через AutoModelForCausalLM с параметрами trust_remote_code=True и bfloat16; переключение режима размышлений выполняется через enable_thinking=True / False в функции apply_chat_template.
- Сервисный режим: пример запуска на четырех GPU с использованием официального образа LightLLM (--tp 4), совместимость с OpenAI через эндпоинт /v1/chat/completions; для SGLang необходимо самостоятельно клонировать и компилировать ветку из PR 47281.
- Дообучение: клонируйте репозиторий OpenSenseNova/torchtitan и запустите SFT с помощью скрипта mhc2_loop2_titan.sh из каталога examples/train/SenseNova-Loop-9B-Preview.
Риски
- Это предпросмотрная версия: технический отчет еще не опубликован, в карточке модели указано, что детали реализации инференса для Transformers «будут объявлены позже», а поддержка SGLang доступна только в неслитом PR.
- Результаты представлены только на сравнительных диаграммах, в карточке модели нет текстовых оценок, поэтому в рамках данной рубрики невозможно проверить конкретные числовые значения; примеры взяты из собственного продукта разработчика.
- Циклическая архитектура требует, чтобы реализация инференса строго воспроизводила диапазон циклов и маршрутизацию mHC, поэтому сторонние версии с квантованием или конвертацией могут быть несовместимы.