Оригинальное название: Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup
Thinking Machines Lab 11 20 числа выпустила в открытый доступ Inkling 2 Mini: архитектура со смешанными экспертами, общее количество параметров — 264 млрд, активных параметров — 34 млрд; промежуточные слои модели выполняют три прохода для каждого токена, что позволяет выполнять больше рассуждений с меньшим количеством токенов. Официально заявляется, что модель превосходит все открытые модели с общим количеством параметров менее 1000 млрд в таких бенчмарках, как DeepSWE v1.1 (48.2%) и Vals Index v2.2 (46.5%); большая часть весов представлена в формате NVFP4, последние четыре слоя — в MXFP8, общий объем занимаемой памяти составляет около 20 ГБ, что позволяет запускать модель на потребительских ноутбуках. В блоге Hugging Face сообщается, что модель поддерживает контекст в 100 тыс. токенов и ввод данных в виде текста и изображений, а также поддержку в первый день релиза для transformers, llama.cpp, MLX и SGLang; одновременно была выпущена исследовательская версия с настраиваемым количеством циклов.
Почему это важно Использование циклических слоев вместо наращивания параметров для улучшения рассуждений, открытые веса достаточно малы, чтобы поместиться в ноутбуке, что дает локальным программирующим агентам еще один вариант.
Достоверность: Высокая · Источник Thinking Machines Lab и еще 2 источников (включая официальный) · Время события 11-20 08:00 (пекинское время)
Обоснование
- Официальная страница релиза Thinking Machines и официальный блог Hugging Face опубликованы в один день, с деталями архитектуры и таблицами бенчмарков
- Открытые веса, поддержка в первый день релиза популярными фреймворками локального вывода
Использование
- Загрузите веса с Hugging Face и запустите локально с помощью transformers, llama.cpp или MLX; также можно выполнять вывод и дообучение на платформе Tinker от Thinking Machines
Риски
- Результаты бенчмарков предоставлены самой Thinking Machines, настройки тестирования для разных моделей различаются
- Официально указано, что циклы не увеличивают объем знаний, которые модель может запомнить; результаты в тестах на знания сопоставимы с моделями аналогичного размера