inference-optimisation охватывает декодирование для одного пользователя и параллельное декодирование, спекулятивное декодирование, предзаполнение (prefill), объем кэша KV, время запуска и задержку до первого токена. Он требует, чтобы агент сначала рассчитал теоретический предел на основе пропускной способности и вычислительных мощностей, затем менял только одну переменную за раз, чередуя измерения между контрольными группами, записывал каждый результат (включая неудачные) в журнал и публиковал только после проверки поиска в длинном контексте и стабильности при полной нагрузке, а также повторной верификации на чистой зафиксированной версии. В комплекте идут скрипты для тестирования производительности, расчета предельных значений и управления очередью, написанные исключительно на стандартной библиотеке Python и bash, которые позволяют тестировать производительность любого сервиса, совместимого с OpenAI.
Почему это важно Этот инструмент формализует подход автора к настройке производительности на различных видеокартах: изменение только одной переменной за раз, использование контрольных групп до и после изменений, и учет результатов только после успешного прохождения тестов поиска в длинном контексте и проверки стабильности при полной нагрузке.
Звезды 1114 (+184 / 24ч)
Причины
- За последние 24 часов добавлено 184 звезд, общее количество звезд — 1114 (отражает только уровень внимания); лицензия MIT, проект создан 16 11
- В README приведены данные до и после оптимизации на встроенной графике Intel Arc B390, Arc Pro B70, RTX 3090 и 4 картах H200, а также ссылки на исходные логи и конфигурации
Использование
- Скопируйте каталог skills/inference-optimisation из репозитория в ~/.claude/skills/, затем попросите агента: «Улучшите скорость декодирования и предзаполнения для модели на :8000 в пределах лимита памяти 40 Гиб»; без агента можно напрямую запустить ceiling.py для расчета предельных значений и bench.py для тестирования производительности
Риски
- Показатели ускорения основаны на результатах автора на его собственном оборудовании (автор утверждает, что скорость декодирования для одного пользователя на B390 выросла с 43.6 до 53 ток/с); результаты будут отличаться при смене модели, движка или видеокарты
- Оптимизация требует многократных перезапусков сервиса инференса и длительных нагрузочных тестов, поэтому лучше проводить её на машине, не обслуживающей внешние запросы