inference-optimisation bao phủ giải mã đơn người dùng và đồng thời, giải mã suy đoán, prefill, dung lượng bộ nhớ đệm KV, thời gian khởi động và độ trễ ký tự đầu tiên. Nó yêu cầu tác nhân trước tiên tính toán giới hạn lý thuyết dựa trên băng thông và năng lực tính toán, sau đó thay đổi từng biến số một, đo lường xen kẽ giữa các nhóm đối chứng ở hai bên, ghi lại mọi kết quả (bao gồm cả những thất bại) vào sổ ghi chép, và cuối cùng chỉ công bố sau khi vượt qua các kiểm tra về truy xuất ngữ cảnh dài và độ ổn định khi tải tối đa, đồng thời xác minh lại bằng phiên bản cố định sạch sẽ. Kèm theo các script đo tốc độ, tính toán giới hạn và xếp hàng được viết chỉ bằng thư viện chuẩn Python và bash, có thể đo tốc độ cho bất kỳ dịch vụ tương thích OpenAI nào.
Tại sao quan trọng Nó biến các phương pháp tinh chỉnh của tác giả trên nhiều loại card đồ họa thành các quy tắc: chỉ thay đổi một thứ tại một thời điểm, kẹp các nhóm đối chứng trước và sau, chỉ được tính khi vượt qua các kiểm tra về truy xuất ngữ cảnh dài và độ ổn định khi tải tối đa.
Số sao 1114 (+184 / 24h)
Lý do
- 24 giờ mới tăng thêm 184 sao, tổng số sao 1114 (chỉ đại diện cho mức độ quan tâm); giấy phép MIT, được tạo mới vào ngày 16 tháng 11
- README liệt kê dữ liệu trước và sau khi tinh chỉnh của tác giả trên card đồ họa tích hợp Intel Arc B390, Arc Pro B70, RTX 3090 và 4 card H200, đồng thời liên kết đến nhật ký gốc và các công thức cấu hình
Cách sử dụng
- Sao chép thư mục skills/inference-optimisation từ kho lưu trữ vào ~/.claude/skills/, sau đó ra lệnh cho tác nhân: "Tăng tốc độ giải mã và prefill cho mô hình trên :8000 trong giới hạn bộ nhớ 40 GiB"; không cần tác nhân cũng có thể trực tiếp chạy ceiling.py để tính giới hạn, bench.py để đo tốc độ
Rủi ro
- Các con số tăng tốc đều là kết quả của tác giả trên phần cứng của chính họ (tác giả tuyên bố tốc độ giải mã đơn người dùng trên B390 tăng từ 43.6 lên 53 tok/s), kết quả sẽ khác nhau khi thay đổi mô hình, engine hoặc card đồ họa
- Việc tinh chỉnh đòi hỏi phải khởi động lại dịch vụ suy luận nhiều lần và thực hiện kiểm tra tải trong thời gian dài, tốt nhất nên thực hiện trên máy không phục vụ người dùng bên ngoài