RunanywhereAI/trnrt

TrnRT는 RunAnywhere가 오픈 소스로 공개한 추론 엔진으로, trn2.48xlarge 인스턴스 하나에서 OpenAI 호환 인터페이스를 제공합니다. 처음 지원되는 모델은 GLM-5.3-Flash(320B MoE, 활성 파라미터 18B)입니다. 디코딩 시 반층마다 하나의 NKI 대형 커널을 합성하며, 프리픽스 캐시는 디바이스 메모리와 호스트 메모리를 넘나듭니다. 그래프는 CPU 호스트에서 오프라인으로 컴파일되며, 서버 측에서는 기본적으로 더 이상 컴파일을 수행하지 않습니다. 저자는 SemiAnalysis의 AgentX를 사용하여 실제 프로그래밍 에이전트 세션을 재현했으며, 32개의 동시 접속과 1M 컨텍스트 길이에서 기본 배치 크기 12일 때 스팟 인스턴스 기준으로 약 0.04달러/백만 토큰이라고 주장했습니다.

TrnRT는 RunAnywhere가 오픈 소스로 공개한 추론 엔진으로, trn2.48xlarge 인스턴스 하나에서 OpenAI 호환 인터페이스를 제공합니다. 처음 지원되는 모델은 GLM-5.3-Flash(320B MoE, 활성 파라미터 18B)입니다. 디코딩 시 반층마다 하나의 NKI 대형 커널을 합성하며, 프리픽스 캐시는 디바이스 메모리와 호스트 메모리를 넘나듭니다. 그래프는 CPU 호스트에서 오프라인으로 컴파일되며, 서버 측에서는 기본적으로 더 이상 컴파일을 수행하지 않습니다. 저자는 SemiAnalysis의 AgentX를 사용하여 실제 프로그래밍 에이전트 세션을 재현했으며, 32개의 동시 접속과 1M 컨텍스트 길이에서 기본 배치 크기 12일 때 스팟 인스턴스 기준으로 약 0.04달러/백만 토큰이라고 주장했습니다.

왜 중요한가 Trainium 사용자에게 오픈 소스 대규모 언어 모델을 직접 서빙할 수 있는 엔진을 제공하며, 프로그래밍 에이전트 워크로드에서의 비용 데이터를 공개했습니다.

스타 수 1050(+771 / 24시간)

이유

  • 24시간 동안 스타가 771개 증가(관심도만 반영)
  • README에 테스트 데이터가 이전 빌드에서 나왔으며, 현재 코드가 해당 빌드와 그래프 단위로 동등하고 384건의 요청 출력은 바이트 단위로 일치한다는 검증 결과가 명시되어 있음

사용법

  • Docker로 이미지를 빌드하고, 임의의 x86_64 호스트에서 오프라인 컴파일 캐시를 생성한 후(몇 시간 소요), 이를 trn2.48xlarge 인스턴스로 복사하여 서비스를 시작하고 OpenAI SDK를 통해 호출

리스크

  • AWS Trainium2와 GLM-5.3-Flash 모델 하나만 지원하며, 다른 모델들은 아직 계획 단계임
  • 비용 수치는 11월 3일 us-east-2의 스팟 가격 기준으로 계산되었으며, 용량 블록(Capacity Block) 기준으로 계산하면 약 4배 더 비쌈

열기

GitHub

최신 AI 소식 보기