TrnRT 是 RunAnywhere 开源的推理引擎,在一台 trn2.48xlarge 上提供 OpenAI 兼容接口,首个支持的模型是 GLM-5.3-Flash(320B MoE,激活 18B)。解码时每半层合成一个 NKI 大内核,前缀缓存跨设备内存和主机内存,图在 CPU 主机上离线编译,服务端默认不再编译。作者用 SemiAnalysis 的 AgentX 回放真实编程智能体会话,32 个并发、1M 上下文下,默认批大小 12 时作者称按竞价实例计约 0.04 美元每百万 token。
为什么重要 给 Trainium 用户一个能直接服务开源大模型的引擎,并公开了编程智能体负载下的成本数据。
星数 1050(+771 / 24h)
理由
- 24 小时新增 771 星(只代表关注度)
- README 写明测试数据来自较早的构建,并列出当前代码与该构建逐图等价、384 条请求输出逐字节一致的核对结果
用法
- 用 Docker 构建镜像,在任意 x86_64 主机上离线编译缓存(要几个小时),再拷到 trn2.48xlarge 上启动服务,用 OpenAI SDK 调用
风险
- 只支持 AWS Trainium2 和 GLM-5.3-Flash 一个模型,其他模型还在计划中
- 成本数字按 11 月 3 日 us-east-2 竞价价格算,按容量块计价约贵四倍