TrnRT は RunAnywhere がオープンソースで公開している推論エンジンで、trn2.48xlarge インスタンス 1 台で OpenAI 互換インターフェースを提供します。最初にサポートされるモデルは GLM-5.3-Flash(320B MoE、アクティブパラメータ数 18B)です。デコード時には半層ごとに NKI の大規模カーネルを合成し、プレフィックスキャッシュはデバイスメモリとホストメモリを跨いで利用されます。計算グラフは CPU ホスト上でオフラインでコンパイルされ、サーバー側ではデフォルトでコンパイルを行いません。著者は SemiAnalysis の AgentX を用いて実際のプログラミングエージェントのセッションをリプレイし、32 並列、1M コンテキスト、デフォルトのバッチサイズ 12 の条件下で、スポットインスタンスの料金換算で約 0.04 ドル/100 万トークンと報告しています。
なぜ重要か Trainium ユーザーに対して、オープンソースの大規模モデルを直接サーブできるエンジンを提供し、プログラミングエージェントのワークロードにおけるコストデータを公開した点。
スター数 1050(+771 / 24h)
理由
- 24 時間で新たに 771 スター増加(注目度を示すのみ)
- README に、テストデータは以前のビルドからのものであると明記されており、現在のコードがそのビルドとグラフ単位で等価であること、および 384 件のリクエスト出力がバイト単位で一致することを確認した結果が記載されている
使い方
- Docker でイメージをビルドし、任意の x86_64 ホスト上でキャッシュをオフラインでコンパイル(数時間かかる)した後、trn2.48xlarge にコピーしてサービスを起動し、OpenAI SDK を介して呼び出す
リスク
- AWS Trainium2 と GLM-5.3-Flash の 1 モデルのみをサポートしており、他のモデルは計画中
- コスト数値は 11 月 3 日の us-east-2 のスポット価格に基づいて計算されており、キャパシティブロックで課金される場合は約 4 倍高くなる