Пакет для переноса движков Xolotl / Strata с Linux на Windows в один клик: запуск V4.1-Flash-1017 (квантование экспертов до 2 бит) на обычном ПК с видеокартой RTX от 12 ГБ, оперативной памятью от 128 ГБ и быстрым NVMe; предоставляет локальный интерфейс, совместимый с OpenAI и Anthropic, с максимальной длиной контекста 1 млн токенов.
Количество звезд: 28
Причины
- Двойной клик по Start DeepSeek.bat автоматически устанавливает Python, предварительно скомпилированный движок, оптимизированный под ваш CPU, и файлы модели (загрузку можно возобновить, каждый файл проверяется по SHA-256); после установки автоматически открывается страница чата, компиляция не требуется.
- По словам автора, на RTX 3090 + NVMe скорость генерации составляет примерно 41 ток/с (при 192 ГБ ОЗУ) / 33 ток/с (при 128 ГБ ОЗУ), скорость чтения длинных промптов — примерно 610 / 410 ток/с; при точной маршрутизации совпадение с приоритетным токеном официального API DeepSeek составляет 91.4% (общие задачи) / 92.1% (код и математика), все данные получены автором в ходе самостоятельного тестирования.
- По умолчанию используется версия ds4 формата Q2 GGUF, а модель-черновик для спекулятивного декодирования берется из официального заголовка MTP; с помощью Choose Model.bat можно переключиться на квантование GSQ-RCO от ISTA-DASLab или unsloth, для 128 ГБ ОЗУ автор рекомендует UD-IQ1_S.
- Реализована адаптация для агентов: в памяти кэшируется до 8 сегментов диалога, что позволяет избежать повторного чтения всего промпта при переключении; поддерживаются инструменты, принудительный выбор tool_choice и вывод в формате JSON.
Использование
- Требуется Windows 10/11 64-битная, видеокарта NVIDIA RTX с видеопамятью от 12 ГБ (драйвер 580+, GTX 10 и более старые модели не поддерживаются), ОЗУ от 128 ГБ, около 385 ГБ свободного места на NVMe; поместите репозиторий по короткому пути (например, C:\AI\Delta) и дважды щелкните Start DeepSeek.bat.
- Клиенты подключаются к http://127.0.0.1:8080/v1（OpenAI）或 /v1/messages (Anthropic), API-ключ можно указать любой, имя модели: deepseek-v4.1-flash-1017-ds4-q2; при возникновении проблем используйте Start DeepSeek (debug).bat, который создаст архив с логами, не содержащими содержимое диалога.
Риски
- При первом запуске необходимо скачать около 375 ГБ; во время работы модель постоянно читает данные с SSD, поэтому SATA-диски, HDD и USB-накопители не подходят; в первые несколько минут после перезагрузки скорость заметно снижается, на видеокарте 12 ГБ автор зафиксировал примерно 17 ток/с, одновременно поступающие запросы обрабатываются последовательно.
- Веса представляют собой квантованные версии от сообщества, а не официальные оригиналы; показатели скорости и совпадения измерены автором на собственном оборудовании; по умолчанию сервис слушает только localhost, для использования в локальной сети необходимо задать api_key.