pico-dgx-ds4 — это форк blaesus/dsgx10, позволяющий нескольким пользователям совместно использовать DeepSeek V4.1 Flash 1017 на наборе из 4 серверов DGX Spark (TP4, коммутатор RoCE 200G). Автор утверждает, что контекстное окно расширено с 256K до 1M, добавлена поддержка входных изображений, настроено 16 слотов для запросов (4 слотов по 1M и 12 слотов по 128K), пропускная способность составляет примерно 380 ток/с при отправке различных запросов от 16 пользователей, а для одиночного чата и написания кода — примерно 82 и 144 ток/с соответственно; качество оценки соответствует апстриму.
Почему это важно При создании собственной системы вывода для небольших команд пропускная способность при одновременной работе нескольких пользователей важнее скорости для одного пользователя, и именно на это в основном направлен данный форк.
Звёзды: 25
Причины
- В README подробно перечислены изменения и приведена таблица сравнения с апстримом и SGLang
Использование
- Требуется 4 серверов DGX Spark и соединение RoCE, развертывание согласно README
Риски
- Показатели производительности получены автором самостоятельно; опции ускорения, такие как перенаправление экспертов, приводят к потере качества и по умолчанию отключены
- Высокие требования к аппаратному обеспечению