Проприетарный Legal/Volta-Max-uPLIft-FP4-DeepSeek-V4.1-Flash-1017-NVFP4-8xV100-SXM2-PP2xTP4

Автор сначала поместил всех маршрутизируемых экспертов в видеокарту в формате сжатия уровня IQ2, а затем по одному заменял их на веса из официального пакета NVFP4 от NVIDIA, руководствуясь частотой использования, пока память не заполнилась: из 15360 маршрутизируемых экспертов 6087 сохранили точность NVFP4, обеспечив в измеренных выборках от 79% до 85% маршрутизации декодирования. По словам автора, версия от 13 11 генерирует примерно 117.7 токенов в секунду на один запрос; для кода длиной от 1K до 256K скорость составляет от 143 до 175 токенов в секунду, а доля совпадений следующего токена с эталоном NVFP4 равна 95.1%. Это медленнее, чем более быстрый вариант Volta sPLIt того же автора, но точнее соответствует официальной точности.

Автор сначала поместил всех маршрутизируемых экспертов в видеокарту в формате сжатия уровня IQ2, а затем по одному заменял их на веса из официального пакета NVFP4 от NVIDIA, руководствуясь частотой использования, пока память не заполнилась: из 15360 маршрутизируемых экспертов 6087 сохранили точность NVFP4, обеспечив в измеренных выборках от 79% до 85% маршрутизации декодирования. По словам автора, версия от 13 11 генерирует примерно 117.7 токенов в секунду на один запрос; для кода длиной от 1K до 256K скорость составляет от 143 до 175 токенов в секунду, а доля совпадений следующего токена с эталоном NVFP4 равна 95.1%. Это медленнее, чем более быстрый вариант Volta sPLIt того же автора, но точнее соответствует официальной точности.

Почему это важно Выбор экспертов для сохранения исходной точности определяется частотой использования каждого байта; все эксперты размещаются в видеопамяти без обращения к PCIe. Данные о скорости, точности и неудачных попытках публикуются с указанием дат, что облегчает воспроизведение результатов.

Количество звезд: 18

Обоснование

  • Репозиторий создан 10 11, код и документация распространяются под лицензией Apache-2.0; после прочтения README можно убедиться, что каждое число сопровождается датой измерения, условиями и ссылкой на исходные записи
  • В README отдельно выделен раздел «Не сработало или недостаточно хорошо», например, качество быстрого чтения промптов еще не подтверждено

Использование

  • Требуется две платы NVLink с картами 4, всего 8 карт V100-SXM2-32GB: согласно README, соберите движок, загрузите пакет весом 556 ГБ и проверьте его контрольными суммами SHA256, затем запустите сервер с помощью скрипта serve_hot_iq.sh

Риски

  • Высокие требования к оборудованию делают воспроизведение невозможным для обычных пользователей; все данные о скорости и точности получены на машине автора
  • Быстрое чтение промптов, включенное по умолчанию, изменяет вывод, при этом автор отмечает, что его качество еще не подтверждено

Открыть

GitHub

Открыть последние новости ИИ