RunanywhereAI/trnrt

TrnRT là công cụ suy luận mã nguồn mở của RunAnywhere, cung cấp giao diện tương thích OpenAI trên một máy trn2.48xlarge, với mô hình đầu tiên được hỗ trợ là GLM-5.3-Flash (320B MoE, kích hoạt 18B). Trong quá trình giải mã, mỗi nửa lớp được tổng hợp thành một kernel NKI lớn, bộ nhớ đệm tiền tố trải dài qua bộ nhớ thiết bị và bộ nhớ máy chủ, đồ thị được biên dịch ngoại tuyến trên máy chủ CPU, và máy chủ mặc định không còn biên dịch nữa. Tác giả sử dụng AgentX của SemiAnalysis để phát lại các phiên hội thoại thực tế của tác nhân lập trình, với 32 yêu cầu đồng thời và ngữ cảnh 1M, ở kích thước lô mặc định là 12, tác giả cho biết chi phí khoảng 0.04 đô la mỗi triệu token tính theo giá phiên bản spot.

TrnRT là công cụ suy luận mã nguồn mở của RunAnywhere, cung cấp giao diện tương thích OpenAI trên một máy trn2.48xlarge, với mô hình đầu tiên được hỗ trợ là GLM-5.3-Flash (320B MoE, kích hoạt 18B). Trong quá trình giải mã, mỗi nửa lớp được tổng hợp thành một kernel NKI lớn, bộ nhớ đệm tiền tố trải dài qua bộ nhớ thiết bị và bộ nhớ máy chủ, đồ thị được biên dịch ngoại tuyến trên máy chủ CPU, và máy chủ mặc định không còn biên dịch nữa. Tác giả sử dụng AgentX của SemiAnalysis để phát lại các phiên hội thoại thực tế của tác nhân lập trình, với 32 yêu cầu đồng thời và ngữ cảnh 1M, ở kích thước lô mặc định là 12, tác giả cho biết chi phí khoảng 0.04 đô la mỗi triệu token tính theo giá phiên bản spot.

Tại sao quan trọng Cung cấp cho người dùng Trainium một công cụ có thể phục vụ trực tiếp các mô hình lớn mã nguồn mở, đồng thời công khai dữ liệu chi phí dưới tải công việc của tác nhân lập trình.

Số sao 1050 (+771 / 24h)

Lý do

  • Tăng 771 sao trong 24 giờ (chỉ phản ánh mức độ quan tâm)
  • README ghi rõ dữ liệu kiểm thử đến từ một bản build cũ hơn, và liệt kê kết quả xác minh rằng mã hiện tại tương đương từng đồ thị với bản build đó, và đầu ra của 384 yêu cầu khớp từng byte

Cách sử dụng

  • Xây dựng hình ảnh bằng Docker, biên dịch bộ nhớ đệm ngoại tuyến trên bất kỳ máy chủ x86_64 nào (mất vài giờ), sau đó sao chép sang máy trn2.48xlarge để khởi động dịch vụ, và gọi bằng SDK OpenAI

Rủi ro

  • Chỉ hỗ trợ AWS Trainium2 và một mô hình duy nhất là GLM-5.3-Flash, các mô hình khác vẫn đang trong kế hoạch
  • Con số chi phí được tính theo giá phiên bản spot tại us-east-2 vào ngày 3 tháng 11, tính theo giá khối dung lượng thì đắt gấp khoảng bốn lần

Mở

GitHub

Xem tin AI mới nhất