Автор сначала поместил всех маршрутизируемых экспертов в видеокарту в формате сжатия уровня IQ2, а затем по одному заменял их на веса из официального пакета NVFP4 от NVIDIA, руководствуясь частотой использования, пока память не заполнилась: из 15360 маршрутизируемых экспертов 6087 сохранили точность NVFP4, обеспечив в измеренных выборках от 79% до 85% маршрутизации декодирования. По словам автора, версия от 13 11 генерирует примерно 117.7 токенов в секунду на один запрос; для кода длиной от 1K до 256K скорость составляет от 143 до 175 токенов в секунду, а доля совпадений следующего токена с эталоном NVFP4 равна 95.1%. Это медленнее, чем более быстрый вариант Volta sPLIt того же автора, но точнее соответствует официальной точности.
Почему это важно Выбор экспертов для сохранения исходной точности определяется частотой использования каждого байта; все эксперты размещаются в видеопамяти без обращения к PCIe. Данные о скорости, точности и неудачных попытках публикуются с указанием дат, что облегчает воспроизведение результатов.
Количество звезд: 18
Обоснование
- Репозиторий создан 10 11, код и документация распространяются под лицензией Apache-2.0; после прочтения README можно убедиться, что каждое число сопровождается датой измерения, условиями и ссылкой на исходные записи
- В README отдельно выделен раздел «Не сработало или недостаточно хорошо», например, качество быстрого чтения промптов еще не подтверждено
Использование
- Требуется две платы NVLink с картами 4, всего 8 карт V100-SXM2-32GB: согласно README, соберите движок, загрузите пакет весом 556 ГБ и проверьте его контрольными суммами SHA256, затем запустите сервер с помощью скрипта serve_hot_iq.sh
Риски
- Высокие требования к оборудованию делают воспроизведение невозможным для обычных пользователей; все данные о скорости и точности получены на машине автора
- Быстрое чтение промптов, включенное по умолчанию, изменяет вывод, при этом автор отмечает, что его качество еще не подтверждено