Оригинальное название: RecursiveSI/flint
Языковая модель Recursive с архитектурой смеси экспертов (MoE), предназначенная для кодовых агентов: общее количество параметров составляет 39.8B, активация на токен — около 2.5B (включая выходную голову; обозначение 40B-A2.5B является округленным); 49 слоев (2 плотных + 47 слоев MoE, из которых 35 слоев используют скользящее окно внимания размером 513 токенов, а 14 слоев — глобальное внимание), в каждом слое выбирается 6 из 256 маршрутизируемых экспертов, плюс 1 постоянно активных общих экспертов; контекстное окно составляет 262,144 токенов, заявленная дата отсечки знаний — 2026 год, 6 месяц. Модель обучена с нуля с использованием предобучения, промежуточного обучения, дообучения с учителем (SFT) и обучения с подкреплением, поддерживает рассуждения и многократные вызовы инструментов. Данный репозиторий содержит чекпоинт в формате BF16 (около 80 ГБ), шаблон чата и пакет развертывания SGLang; квантованные версии для чипов NVIDIA и Apple будут подготовлены отдельно. Репозиторий создан 10 21, в предыдущих выпусках не освещался.
Почему это важно Малое количество активных параметров позволяет запустить сервис на одной видеокарте с большим объемом памяти, что подходит для команд, желающих запускать кодовых агентов на собственных машинах
Рост рейтинга 84 · Лайки 1353 · Загрузки 38357
Причины
- Авторы сообщают о результатах: Terminal-Bench 2.1 — 54.9%, SWE-bench Pro v2 — 89.7%, SWE-bench Verified — 74.2% (для агентских задач усреднены результаты минимум 5 прогонов pass@1; для Terminal-Bench использован Terminus 2, для SWE-bench — mini-swe-agent); также указано, что в балле Flint по Terminal-Bench решения, полученные с помощью поиска в интернете, считаются неудачными, тогда как другие проекты могут не применять такой подход к своим самооценкам.
- Инструкции по развертыванию четкие и выполнимые: после сборки образа SGLang через Docker можно запустить один экземпляр на одной видеокарте (B300 или H200), интерфейс совместим с OpenAI и поддерживает вызовы инструментов напрямую, прилагаются примеры клиентов для рассуждений и вызова инструментов (включая вложенные параметры и параллельные вызовы).
- Лицензия Apache-2.0, условия использования весов и хостинг-API разделены; количество лайков на Hugging Face составляет 1353 (отражает только уровень внимания).
Использование
- hf download RecursiveSI/flint --local-dir flint (около 80 ГБ; авторы рекомендуют загружать с фиксированной ревизией и проверять целостность с помощью hf cache verify), затем cd flint && docker build -t flint-sglang sglang, после чего выполнить docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 -v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh (для H200 используйте serve_h200.sh); дождитесь, пока localhost:30000/health_generate вернет ответ, затем запустите python3 sglang/example_client.py --base-url http://localhost:30000/v1 для проверки рассуждений и одного вызова инструмента.
- Параметры сэмплирования: temperature 1.0, top_p 0.95, top_k 20 (если не указаны в запросе, сервер применяет значения по умолчанию); для сложных задач бюджет вывода должен составлять минимум 32768 токенов (включая рассуждения). При многократных диалогах используйте шаблон чата из чекпоинта и сохраняйте возвращаемый reasoning_content в истории диалога.
Риски
- Жесткие требования к памяти: каждый экземпляр требует видеокарту с объемом памяти не менее 141 ГБ (B300 / B200 / H200), карты с 80 ГБ не поддерживаются; код модели для Transformers еще не предоставлен, пока доступен только запуск через SGLang; для сборки образа необходим доступ к Docker Hub, PyPI, flashinfer.ai и GitHub.
- Все результаты являются самооценкой авторов, настройки тестирования у разных проектов различаются; авторы предупреждают, что длинные цепочки рассуждений увеличивают задержку и могут исчерпать бюджет вывода до получения ответа, а приложениям с вызовами инструментов необходимо самостоятельно реализовывать контроль прав доступа и границы выполнения.
- В карточке модели указано лишь «квантованные версии будут подготовлены отдельно», без предоставления ссылок.