JMNI-Labs/DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

Это пакет развертывания, подготовленный JMNI-Labs для движка вывода Flare, который обслуживает сообщество DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix на двух системах DGX Spark с использованием тензорного параллелизма: маршрутизируемые эксперты используют смешанное низкоразрядное представление K2/K3/K4, таблица Engram занимает 4 бит, а механизмы внимания, общие эксперты, MTP, модуль компьютерного зрения и токенизатор остаются в оригинальном виде. Пакет включает слоты для 16 одновременных запросов, поддержку MTP с проверкой до 5 черновых токенов, имеет размер около 259 ГиБ и по умолчанию выделяет около 14 ГиБ памяти KV.

Это пакет развертывания, подготовленный JMNI-Labs для движка вывода Flare, который обслуживает сообщество DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix на двух системах DGX Spark с использованием тензорного параллелизма: маршрутизируемые эксперты используют смешанное низкоразрядное представление K2/K3/K4, таблица Engram занимает 4 бит, а механизмы внимания, общие эксперты, MTP, модуль компьютерного зрения и токенизатор остаются в оригинальном виде. Пакет включает слоты для 16 одновременных запросов, поддержку MTP с проверкой до 5 черновых токенов, имеет размер около 259 ГиБ и по умолчанию выделяет около 14 ГиБ памяти KV.

Почему это важно Для владельцев двух систем DGX Spark это готовое решение: поддержка многопоточного параллелизма, совместимость с интерфейсом OpenAI и возможность работы с длинным контекстом.

Рост рейтинга 2 · Лайки 2 · Загрузки 0

Причины

  • В карточке модели четко указана цепочка происхождения: официальные веса под лицензией MIT, конкретная версия пакета TrellisMX от сообщества и используемые ядра

Использование

  • На обеих системах DGX Spark необходимо установить Flare, собранный из соответствующей ветки. На первой системе выполните команду flare download для загрузки пакета и запустите его с рангом 0, на второй системе присоединитесь с рангом 1. Клиент подключается к порту 8000 первой системы.

Риски

  • Требуется ветка движка ds41-trellismx, которая еще не включена в официальный релиз; официальная версия flare-inference не сможет загрузить этот пакет.
  • Пакет подписан только локальным ключом разработчика, поэтому при запуске необходимо использовать параметры --dangerously-*. Автор рекомендует применять его только на доверенных хостах или заменить подпись на официальную.
  • Отсутствуют данные о качестве по сравнению с официальными весами модели.

Открыть

Hugging Face

Открыть последние новости ИИ