SenseNova-Loop-9B: мультимодальная малая модель с двойным проходом промежуточных слоев

Официальная версия, загруженная командой SenseNova 11 числа месяца 17 (превью было выпущено ранее, 10 числа месяца 31). Согласно карточке модели, она содержит около 9B параметров: в декодере из 32 слоев слои с 4 по 27 имеют общие веса и выполняются дважды за один прямой проход, что в сумме дает вычисления для 56 слоев (официально пересчитано примерно как эквивалент инференса 14.6B), в сочетании с двойным потоком остаточных связей mHC и гибридной структурой, где каждые 4 слоев включают 3 слоев линейного внимания и 1 слоев полного внимания. Модель принимает на вход текст и изображения, выдает текст, имеет контекстное окно 512K и предназначена для сложного рассуждения, программирования, вызова инструментов и мультимодальных задач. Лицензия Apache-2.0.

Оригинальное название: sensenova/SenseNova-Loop-9B

Официальная версия, загруженная командой SenseNova 11 числа месяца 17 (превью было выпущено ранее, 10 числа месяца 31). Согласно карточке модели, она содержит около 9B параметров: в декодере из 32 слоев слои с 4 по 27 имеют общие веса и выполняются дважды за один прямой проход, что в сумме дает вычисления для 56 слоев (официально пересчитано примерно как эквивалент инференса 14.6B), в сочетании с двойным потоком остаточных связей mHC и гибридной структурой, где каждые 4 слоев включают 3 слоев линейного внимания и 1 слоев полного внимания. Модель принимает на вход текст и изображения, выдает текст, имеет контекстное окно 512K и предназначена для сложного рассуждения, программирования, вызова инструментов и мультимодальных задач. Лицензия Apache-2.0.

Почему это важно Официально заявлено, что в тестах на агентов и анализ данных модель близка к результатам моделей Qwen в три раза большего размера; после квантования до 4 бит требования к видеопамяти снижаются до нескольких десятков ГБ

Рост рейтинга 185 · лайки 188 · количество загрузок 0

Причины

  • Официально заявлено, что в релизной версии результаты выше превью по всем 7 показателям на графике: AutomationBench с 14.33 до 36.67, Terminal-Bench с 2.1 40.45 до 59.55, GAIA с 37.86 до 69.90; по сравнению с Qwen3.8-27B: AIDABench 65.31 против 65.01, NL2Repo 41.36 против 44.60
  • Официальная оценка видеопамяти: веса в 4 битах занимают около 4.9 ГБ, при добавлении KV-кэша в 8 битах для контекста 64K / 128K / 256K требуется примерно 10 / 12 / 15 GiB
  • Официально проведены эксперименты с количеством циклов: лучшие результаты достигаются при 3–4 циклах из диапазона 1–4; для баланса скорости по умолчанию используется 2 циклов; в карточке приведены примеры генерации веб-страниц, SVG, постеров и сцен 3D

Использование

  • Transformers 5.18.0: для AutoTokenizer и AutoModelForCausalLM необходимо указать trust_remote_code=True, использовать dtype bfloat16; в apply_chat_template параметр enable_thinking=True включает режим размышлений, False — отключает его
  • Развертывание сервиса: официальный образ LightLLM (пример --tp 4) предоставляет интерфейс, совместимый с OpenAI; для vLLM и SGLang требуется самостоятельно установить еще не объединенные PR (vLLM #64832, SGLang #47281)
  • Поддерживается спекулятивное декодирование MTP, скрипты обучения черновой модели находятся в GitHub OpenSenseNova/SenseSpec; примеры тонкой настройки — в OpenSenseNova/torchtitan

Риски

  • Для загрузки весов требуется войти на Hugging Face и принять условия доступа (проверяется автоматически); команды развертывания остаются теми же, что и для версии Preview, официально указано, что версия движка и конфигурация для релизной версии будут обновлены позже
  • В карточке модели указано, что в первый день будет доступна официальная версия AWQ 4 бит, однако на момент проверки этой записи в публичном списке под именем sensenova она еще не появилась; цифры по видеопамяти являются официальной оценкой
  • Официально отмеченные недостатки: при большом количестве определений инструментов и ограничений модель может упускать требования, нестабильна в задачах программирования и длинных цепочках агентов, для сложных сцен 3D / анимированных веб-страниц требуется два-три раунда доработки; все показатели взяты из официальных графиков, данная запись не проводила собственных тестов

Открыть

Hugging Face Trending

Открыть последние новости ИИ