Thinking Machines выпустила в открытый доступ локальную модель Inkling 2 Mini

Thinking Machines Lab 11 20 числа выпустила в открытый доступ Inkling 2 Mini: архитектура со смешанными экспертами, общее количество параметров — 264 млрд, активных параметров — 34 млрд; промежуточные слои модели выполняют три прохода для каждого токена, что позволяет выполнять больше рассуждений с меньшим количеством токенов. Официально заявляется, что модель превосходит все открытые модели с общим количеством параметров менее 1000 млрд в таких бенчмарках, как DeepSWE v1.1 (48.2%) и Vals Index v2.2 (46.5%); большая часть весов представлена в формате NVFP4, последние четыре слоя — в MXFP8, общий объем занимаемой памяти составляет около 20 ГБ, что позволяет запускать модель на потребительских ноутбуках. В блоге Hugging Face сообщается, что модель поддерживает контекст в 100 тыс. токенов и ввод данных в виде текста и изображений, а также поддержку в первый день релиза для transformers, llama.cpp, MLX и SGLang; одновременно была выпущена исследовательская версия с настраиваемым количеством циклов.

Оригинальное название: Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

Thinking Machines Lab 11 20 числа выпустила в открытый доступ Inkling 2 Mini: архитектура со смешанными экспертами, общее количество параметров — 264 млрд, активных параметров — 34 млрд; промежуточные слои модели выполняют три прохода для каждого токена, что позволяет выполнять больше рассуждений с меньшим количеством токенов. Официально заявляется, что модель превосходит все открытые модели с общим количеством параметров менее 1000 млрд в таких бенчмарках, как DeepSWE v1.1 (48.2%) и Vals Index v2.2 (46.5%); большая часть весов представлена в формате NVFP4, последние четыре слоя — в MXFP8, общий объем занимаемой памяти составляет около 20 ГБ, что позволяет запускать модель на потребительских ноутбуках. В блоге Hugging Face сообщается, что модель поддерживает контекст в 100 тыс. токенов и ввод данных в виде текста и изображений, а также поддержку в первый день релиза для transformers, llama.cpp, MLX и SGLang; одновременно была выпущена исследовательская версия с настраиваемым количеством циклов.

Почему это важно Использование циклических слоев вместо наращивания параметров для улучшения рассуждений, открытые веса достаточно малы, чтобы поместиться в ноутбуке, что дает локальным программирующим агентам еще один вариант.

Достоверность: Высокая · Источник Thinking Machines Lab и еще 2 источников (включая официальный) · Время события 11-20 08:00 (пекинское время)

Обоснование

  • Официальная страница релиза Thinking Machines и официальный блог Hugging Face опубликованы в один день, с деталями архитектуры и таблицами бенчмарков
  • Открытые веса, поддержка в первый день релиза популярными фреймворками локального вывода

Использование

  • Загрузите веса с Hugging Face и запустите локально с помощью transformers, llama.cpp или MLX; также можно выполнять вывод и дообучение на платформе Tinker от Thinking Machines

Риски

  • Результаты бенчмарков предоставлены самой Thinking Machines, настройки тестирования для разных моделей различаются
  • Официально указано, что циклы не увеличивают объем знаний, которые модель может запомнить; результаты в тестах на знания сопоставимы с моделями аналогичного размера

Открыть · Thinking Machines Lab

Hugging Face

Открыть последние новости ИИ