Первая модель новой компании Ricursive Intelligence: плотный трансформер с 65 млрд параметров (без использования MoE), предобученный с нуля на корпусе из 12 трлн токенов, состоящем преимущественно из англоязычных текстов и кода, с поддержкой контекста длиной до 1 млн токенов. Данный репозиторий содержит инструкционную версию в формате BF16, также доступны инструкционная версия NVFP4, базовая версия BF16 и черновая модель DFlash2 для спекулятивного декодирования. Авторы заявляют, что начали с базовой модели Olmo 3 и поэтапно изменяли конфигурацию обучения; в ходе разработки команда расширилась с 1 до 5 человек, а архитектура была изменена на «узкую и глубокую» по аналогии с Gemma 3N (d_model 5120, 80 слоев). Репозиторий создан 4 числа месяца 11; за последние 7 периодов он не включался в подборки.
Рост рейтинга: 112 · Лайки: 114 · Загрузки: 0
Причины
- Авторы заявляют, что результаты в агентном программировании превосходят ожидания для модели такого размера: Terminal-Bench 2.1 80.5, что выше показателей Reflection Beam с 501 млрд параметров (80.1), Muse Spark Open с 816 млрд параметров (76.4), Inkling с 975 млрд параметров (63.8) и Nemotron 3 Ultra с 550 млрд параметров (56.4); результат SWE-bench Pro v2.0 Hard 79.1 также является лучшим в таблице, а результаты по математике составляют AIME 2025 98.3 и HMMT Feb 2026 90.5.
- Простота развертывания плотной модели с 65 млрд параметров: авторы утверждают, что модель помещается на локальных устройствах типа DGX Spark, для чего была выпущена версия NVFP4 (NVFP4 для MLP, BF16 для внимания); на 2 картах B200 при батче 8, без квантования и написания пользовательских ядер достигается скорость 250 токенов в секунду.
- Подробное описание процесса обучения: в таблицах приведены количество токенов, шагов, длина последовательностей и размер батча для каждого этапа (предобучение, промежуточное обучение, длинный контекст, SFT, SFT с длинным контекстом, RL); базовая версия представляет собой чекпоинт только после предобучения, без добавления данных промежуточного обучения и синтетических вопросов-ответов, что делает ее подходящей для исследований в области пост-тренинга.
Использование
- Способ развертывания, предложенный авторами (в каталоге inference/server репозитория): Linux + CUDA Toolkit 13 + uv, SGLang 0.5.19, две карты B200; в данном каталоге выполняется команда CUDA_VISIBLE_DEVICES=0,1 uv run --script serve.py --model-path <данный репозиторий> --speculative-draft-model-path <черновая модель DFlash2>; по умолчанию TP=2, контекст 1 Mi, сервис доступен на 127.0.0.1:30000 через интерфейс, совместимый с OpenAI.
- Вызов инструментов: передавайте параметры tools и tool_choice: auto в формате OpenAI; ответ содержит отдельные поля reasoning_content, content и tool_calls; при продолжении диалога возвращайте сообщение assistant без изменений, добавляя сообщения типа tool с полем tool_call_id. Если требуется использовать tool_choice: required, установите для функции strict=true и additionalProperties=false.
- Модель использует пользовательский код (RicursiveForCausalLM, требуется trust_remote_code); в шаблоне чата отсутствуют переключатель режима размышлений и уровни интенсивности рассуждений, поэтому параметр max_tokens должен учитывать как часть «размышления», так и часть «ответа».
Риски
- Версия Preview: авторы отмечают, что пост-тренинг выполнен в облегченном варианте с акцентом на агентное программирование; показатели SciCode 39.4, DeepSWE 1.1 44.3 и MCP Atlas 71.67 находятся на низком уровне в таблице. Результаты являются самооценкой авторов, курсивом в таблице обозначены результаты конкурентов, полученные авторами самостоятельно; авторы также признают сложность воспроизведения оценок агентных задач.
- Сравнение проводилось только с американскими открытыми моделями, без сравнения с Qwen, DeepSeek, Kimi, GLM и другими; предобучающий корпус состоит преимущественно из англоязычных текстов и кода и содержит только текст, поэтому возможности работы с китайским языком неизвестны (базовая версия имеет результат C-Eval 69.6, что ниже показателей двух моделей DeepSeek в таблице).
- Для упомянутого в карточке Colab не приведена ссылка; карточка версии NVFP4 содержит лишь краткое описание без инструкций по запуску на устройствах типа DGX Spark; существующая документация охватывает только конфигурацию B200 + SGLang; поскольку это первая модель новой компании, дальнейшее сопровождение неизвестно.