Оригинальное название: thinkingmachines/Inkling-2-Small
Универсальная мультимодальная модель, выпущенная Thinking Machines, принимает на вход текст и изображения, выдает текст и предназначена для таких приложений, как агенты и вызов инструментов, программирование-ассистенты, диалоги и поиск с дополненной генерацией. Архитектура представляет собой декодер из 48 слоев со слоями прямого распространения на разреженных экспертах: каждый токен выбирает 8 экспертов из 384, используется смешанное локальное и глобальное внимание; общее количество параметров составляет 594 млрд, активных — 17 млрд, максимальная длина контекста — 1 млн токенов. Официально заявлено, что предварительное обучение, промежуточное обучение и пост-обучение выполнялись в точности NVFP4, поэтому основным предлагается чекпоинт NVFP4, также доступна версия MXFP8 (официально указано, что результаты оценки выше всего на 1–2 процентных пункта).
Почему это важно Обучение изначально велось в формате низкой точности, веса распространяются под лицензией Apache; поддержка в основных фреймворках для вывода и пост-обучения доступна с момента релиза, возможна локальная развертка или самостоятельная донастройка
Рост рейтинга 95 · лайки 95 · количество загрузок 12
Обоснование
- В официальной таблице оценок: BrowseComp (со сжатием контекста) 90.2%, DeepSWE 72.1%, ARC-AGI-2 81.7%, OmniDocBench 94.6%; в той же таблице у модели DeepSeek-V4.1-Flash-1017 индекс AA 32.6 выше, чем у неё 30.6, при этом по отдельным метрикам результаты варьируются
- Готовые экосистемы для развертывания и обучения: SGLang, vLLM, TokenSpeed и Unsloth предлагают рецепты локального вывода, а Miles, SkyRL и другие позволяют проводить постобучение; сторонние провайдеры, такие как Together, Baseten и Cloudflare, предоставляют API
- Официально также перечислены оценки безопасности (FORTRESS, StrongREJECT и др.) и ссылки на политику использования
Использование
- Сначала попробуйте модель онлайн в Tinker Playground или настройте API согласно руководству Tinker Cookbook; для донастройки через Tinker дополнительно требуется установить tml-renderers
- Локально: загрузите thinkingmachines/Inkling-2-Small (NVFP4) согласно рецептам SGLang / vLLM, указанным в карточке модели; при необходимости использования FP8 выберите Inkling-2-Small-MXFP8
Риски
- Высокие требования к оборудованию: версия NVFP4 требует суммарно около 500 ГБ видеопамяти (например, 2 карт B300 или 4 карт H200), версия MXFP8 — около 800 ГБ
- Таблица результатов предоставлена официально; баллы некоторых сравниваемых моделей взяты из сторонних рейтингов или публичных сплитов, условия оценки различаются
- Данная запись не была запущена в работу, фактические результаты следует сверять с карточкой модели