Оригинальное название: thinkingmachines/Inkling-2-Mini
Thinking Machines Lab выпустила 11 20 версию Inkling 2 Small, меньшую по размеру модель, которая принимает текст и изображения и выводит текст, предназначенную для агентов и вызова инструментов, программирования, диалогов и RAG. Декодер с 24 слоями, где средние 12 слоев с общими весами проходят цикл три раза (всего 48 вычислений слоя на токен), в каждом слое выбирается 8 из 128 экспертов, используется смесь локального и глобального внимания; общее количество параметров — 26.4 млрд, активных — 3.4 млрд, с учетом циклов эффективное количество активных параметров составляет примерно 5.4 млрд, максимальная длина контекста — 1 млн токенов. Веса представляют собой контрольную точку смешанной точности NVFP4 / MXFP8 объемом около 20 ГБ; официально заявлено, что для локального вывода достаточно одного DGX Spark, устройства на чипе Apple с памятью более 32 ГБ или видеокарты с 32 ГБ видеопамяти.
Почему это важно В официальной сравнительной таблице результаты в программировании и агентных задачах сопоставимы с моделями того же размера или выше; один контрольный файл занимает около двадцати ГБ, запуск возможен на Mac и с одной видеокартой, лицензия Apache
Рост рейтинга: 221.5 · Лайки: 636 · Загрузки: 136
Причины
- Официальное сравнение с Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL: SWE-bench Verified 79.2%, SWE-bench Pro v2 (Hard) 77.9%, BrowseComp 79.0%, MCP Atlas 82.7%, OmniDocBench 92.8%, индекс AA 20.1 равен показателю Qwen3.8-27B
- Во внутренних тестах безопасности доля ошибочных действий, скрытых нарушений и деструктивных операций среди пяти моделей наименьшая; официально заявлено, что это их первая циклическая модель, и они изучили влияние циклов на обучение с учителем на основе цепочек рассуждений
- Первоначальная поддержка Hugging Face, SGLang, vLLM, llama.cpp, Ollama и других; Unsloth уже выпустила квантованную версию GGUF; также возможен вызов и дообучение через API платформы Tinker
Использование
- Веса: https://huggingface.co/thinkingmachines/Inkling-2-Mini;在线试用:https://tinker.thinkingmachines.ai/playground
- Для локального вывода развертывайте согласно рецептам SGLang / vLLM / TokenSpeed, указанным в карточке; версия GGUF доступна в unsloth/Inkling-2-Mini-GGUF, запуск через llama.cpp или Ollama (на чипах Apple)
- Для пост-обучения доступны Miles, SkyRL; пользователи Tinker могут установить пакет tml-renderers, см. tinker-cookbook
Риски
- Официально указано: ответы на вопросы фактического характера слабее, чем у Inkling 2 Small, модель чаще дает уверенные, но неверные ответы; при работе с кодом может зацикливаться на длинных рассуждениях с самопроверкой, рекомендуется ограничивать количество выходных токенов и итераций агента
- При использовании инструментов модель может удалять или перезаписывать файлы без подтверждения; официально рекомендуется запуск в песочнице и подтверждение деструктивных операций; в тестах на китайском языке встречались обрывы предложений и смешение китайского и английского языков
- Даже в минимальном режиме вывода нельзя полностью отключить размышления; циклические слои увеличивают вычислительную нагрузку на токен по сравнению с тем, что можно ожидать исходя из количества активных параметров; поддержка циклических моделей в локальных средах выполнения еще нова, скорость зависит от фреймворка. Оценки выполнены разработчиками самостоятельно, в данном обзоре тесты не проводились