Flide: Engine suy luận phân nhánh chính xác dành cho mô hình ra quyết định

Các "mô hình ra quyết định" kiểu Jev thực hiện những đánh giá nhanh dạng câu hỏi trắc nghiệm cho tác nhân (agent) (với trạng thái đã cho, xuất xác suất cho từng lựa chọn), nhưng các engine được thiết kế cho mục đích sinh văn bản như vLLM và SGLang khi xử lý loại yêu cầu này thường phải tính toán lại nhiều lần phần tiền tố chung hoặc làm sai lệch xác suất đầu ra. Flide tách biệt cây logic của một yêu cầu ra quyết định khỏi quá trình thực thi vật lý, sử dụng ForkAttention để xử lý các nhánh trong một luồng token phẳng, đồng thời hỗ trợ cả cơ chế chú ý (attention) tiêu chuẩn và các lớp hồi quy Gated DeltaNet, đảm bảo kết quả của mỗi nhánh hoàn toàn nhất quán với phép tính forward độc lập; lịch sử ngày càng dài của tác nhân cũng có thể tiếp tục tính toán từ các điểm kiểm tra (checkpoint) đã lưu trước đó. Các tác giả tuyên bố tốc độ nhanh hơn vLLM và SGLang tối đa 9.5 lần, và kết quả gần nhất với tham chiếu float32.

Tiêu đề gốc: Flide: Accelerating Decision Inference with Exact State Forking

Các "mô hình ra quyết định" kiểu Jev thực hiện những đánh giá nhanh dạng câu hỏi trắc nghiệm cho tác nhân (agent) (với trạng thái đã cho, xuất xác suất cho từng lựa chọn), nhưng các engine được thiết kế cho mục đích sinh văn bản như vLLM và SGLang khi xử lý loại yêu cầu này thường phải tính toán lại nhiều lần phần tiền tố chung hoặc làm sai lệch xác suất đầu ra. Flide tách biệt cây logic của một yêu cầu ra quyết định khỏi quá trình thực thi vật lý, sử dụng ForkAttention để xử lý các nhánh trong một luồng token phẳng, đồng thời hỗ trợ cả cơ chế chú ý (attention) tiêu chuẩn và các lớp hồi quy Gated DeltaNet, đảm bảo kết quả của mỗi nhánh hoàn toàn nhất quán với phép tính forward độc lập; lịch sử ngày càng dài của tác nhân cũng có thể tiếp tục tính toán từ các điểm kiểm tra (checkpoint) đã lưu trước đó. Các tác giả tuyên bố tốc độ nhanh hơn vLLM và SGLang tối đa 9.5 lần, và kết quả gần nhất với tham chiếu float32.

Tại sao quan trọng Nhiều đánh giá nhanh kiểu "chọn cái nào, có nên hay không" trong các tác nhân (agent) chạy nhanh hơn khi dùng công cụ này so với engine suy luận chung, và xác suất đầu ra không bị sai lệch

Thích 32 · Số sao mã nguồn 386

Lý do

  • Đã phát hành gói PyPI, hỗ trợ Qwen3.5, Gemma 4 và hàng chục họ mô hình ra quyết định mã nguồn mở, các tác giả vẫn đang tiếp tục bổ sung thêm mô hình
  • Ví dụ phân loại email trong README: trên một GPU H200, trả lời 8 câu hỏi cho mỗi bức trong số 1 vạn email chỉ mất 28 giây
  • Tham số --session-cache-gb có thể lưu giữ trạng thái của các yêu cầu trước đó, giúp tác nhân ở bước tiếp theo chỉ cần tính toán phần nội dung mới phát sinh

Cách dùng

  • Mã nguồn: sau khi chạy https://github.com/OmniJev/Flide;uv pip install flide torchvision, hãy chạy lệnh flide serve --model <tên_mô_hình>
  • Gửi yêu cầu tới /v1/systemone: trường state ghi tình huống hiện tại, trường questions chứa các câu hỏi trắc nghiệm hoặc câu hỏi đúng/sai

Rủi ro

  • Chỉ phục vụ các loại yêu cầu ra quyết định (gán xác suất cho các lựa chọn), không phải là engine sinh văn bản chung
  • Mức độ tăng tốc giữa các mô hình khác nhau rất lớn, bảng trong README ghi nhận từ khoảng 1.0 lần đến 28.1 lần, tất cả đều do tác giả đo kiểm trên GPU H200
  • Mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất