Это пакет развертывания, подготовленный JMNI-Labs для движка вывода Flare, который обслуживает сообщество DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix на двух системах DGX Spark с использованием тензорного параллелизма: маршрутизируемые эксперты используют смешанное низкоразрядное представление K2/K3/K4, таблица Engram занимает 4 бит, а механизмы внимания, общие эксперты, MTP, модуль компьютерного зрения и токенизатор остаются в оригинальном виде. Пакет включает слоты для 16 одновременных запросов, поддержку MTP с проверкой до 5 черновых токенов, имеет размер около 259 ГиБ и по умолчанию выделяет около 14 ГиБ памяти KV.
Почему это важно Для владельцев двух систем DGX Spark это готовое решение: поддержка многопоточного параллелизма, совместимость с интерфейсом OpenAI и возможность работы с длинным контекстом.
Рост рейтинга 2 · Лайки 2 · Загрузки 0
Причины
- В карточке модели четко указана цепочка происхождения: официальные веса под лицензией MIT, конкретная версия пакета TrellisMX от сообщества и используемые ядра
Использование
- На обеих системах DGX Spark необходимо установить Flare, собранный из соответствующей ветки. На первой системе выполните команду flare download для загрузки пакета и запустите его с рангом 0, на второй системе присоединитесь с рангом 1. Клиент подключается к порту 8000 первой системы.
Риски
- Требуется ветка движка ds41-trellismx, которая еще не включена в официальный релиз; официальная версия flare-inference не сможет загрузить этот пакет.
- Пакет подписан только локальным ключом разработчика, поэтому при запуске необходимо использовать параметры --dangerously-*. Автор рекомендует применять его только на доверенных хостах или заменить подпись на официальную.
- Отсутствуют данные о качестве по сравнению с официальными весами модели.