Это пакет моделей для Basalt (локального движка вывода для видеокарт NVIDIA Blackwell sm_120, совместимого с интерфейсами OpenAI и Anthropic): каждый файл содержит квантованные веса DeepSeek-V4.1-Flash-1017 от Unsloth, таблицы Engram, визуальные проекции, токенизатор и черновую модель DSpark, доступные в двух вариантах: UD-IQ1_M (260 ГБ) и UD-IQ2_XXS (285 ГБ). Поддерживается ввод изображений и контекст длиной до 1,048,576 токенов; автор утверждает, что на RTX 5090 с 5060 Ti скорость генерации в одном потоке составляет примерно 40–179 ток/с, в зависимости от варианта и содержимого.
Почему это важно Эксперты, не помещающиеся в видеопамять, остаются в оперативной памяти, что позволяет локально запускать эту большую модель MoE на потребительских видеокартах Blackwell.
Рост рейтинга 8 · Лайки 8 · Загрузки 0
Причины
- В карточке модели приведены перплексия, дивергенция Кульбака–Лейблера и совпадение предпочтительных токенов по сравнению с эталоном BF16
Использование
- Требуется Basalt версии 0.3.0 или выше; после загрузки соответствующего файла .basalt он загружается через Basalt
Риски
- Показатели скорости и качества измерены автором на его собственном оборудовании
- Размер одного файла начинается с 260 ГБ, требуется большой объем оперативной памяти и дискового пространства; поддерживаются только видеокарты Blackwell