TrnRT — это открытый движок инференса от RunAnywhere, предоставляющий совместимый с OpenAI интерфейс на одном экземпляре trn2.48xlarge. Первая поддерживаемая модель — GLM-5.3-Flash (320B MoE, активные параметры 18B). При декодировании каждые полслоя компилируются в один большой ядро NKI, префиксный кэш распределен между памятью устройства и памятью хоста, граф компилируется офлайн на CPU-хосте, а сервер по умолчанию больше не выполняет компиляцию. Автор использовал AgentX от SemiAnalysis для воспроизведения реальных сессий программирующих агентов: при 32 одновременных запросах и контексте 1M с размером батча по умолчанию 12 автор оценивает стоимость примерно в 0.04 долларов за миллион токенов по ценам спотовых экземпляров.
Почему это важно Предоставляет пользователям Trainium движок, способный напрямую обслуживать большие открытые модели, и публикует данные о стоимости при нагрузке программирующих агентов.
Звезды 1050 (+771 / 24ч)
Причины
- За 24 часов добавлено 771 звезд (отражает только уровень внимания)
- В README указано, что тестовые данные получены на более ранней сборке, и приведены результаты проверки, подтверждающие пографовую эквивалентность текущего кода этой сборке и побайтовое совпадение выходов для 384 запросов
Использование
- Соберите образ с помощью Docker, выполните офлайн-компиляцию кэша на любом хосте x86_64 (это займет несколько часов), затем скопируйте его на trn2.48xlarge для запуска сервиса и вызывайте его через SDK OpenAI
Риски
- Поддерживаются только AWS Trainium2 и одна модель GLM-5.3-Flash, поддержка других моделей находится в планах
- Цифры стоимости рассчитаны по ценам спотовых экземпляров в регионе us-east-2 на 3 11, при использовании выделенных блоков емкостности (Capacity Blocks) стоимость примерно в четыре раза выше