ARC 1.0: Mô hình định tuyến để chọn mô hình cho tác nhân thông minh

Mô hình điều khiển định tuyến thích ứng ARC do Rayline tải lên vào ngày 10 tháng 11, dựa trên Qwen3.5-0.8B. Nó đọc các cuộc hội thoại của tác nhân, xuất ra các tín hiệu như xác suất thành công của từng mô hình, mức sử dụng token (đầu vào không được lưu đệm, đọc/ghi bộ nhớ đệm, đầu ra), lợi ích về cường độ suy luận, phát hiện thông tin cá nhân nhạy cảm và phân loại yêu cầu. Sau đó, ứng dụng kết hợp với kho mô hình, giá cả và quy tắc riêng của mình để quyết định gửi yêu cầu tiếp theo cho mô hình nào. Có sẵn hai chiến lược được cấu hình trước: Sage (V=4.5, ưu tiên thành công) và Swift (V=0.1, ưu tiên tiết kiệm chi phí), với hàm tiện ích = V × xác suất thành công dự đoán − chi phí kỳ vọng, đồng thời có thể thiết lập ngưỡng “ưu tiên cục bộ”. Giấy phép Apache-2.0.

Tiêu đề gốc: rayline-ai/ARC-1.0

Mô hình điều khiển định tuyến thích ứng ARC do Rayline tải lên vào ngày 10 tháng 11, dựa trên Qwen3.5-0.8B. Nó đọc các cuộc hội thoại của tác nhân, xuất ra các tín hiệu như xác suất thành công của từng mô hình, mức sử dụng token (đầu vào không được lưu đệm, đọc/ghi bộ nhớ đệm, đầu ra), lợi ích về cường độ suy luận, phát hiện thông tin cá nhân nhạy cảm và phân loại yêu cầu. Sau đó, ứng dụng kết hợp với kho mô hình, giá cả và quy tắc riêng của mình để quyết định gửi yêu cầu tiếp theo cho mô hình nào. Có sẵn hai chiến lược được cấu hình trước: Sage (V=4.5, ưu tiên thành công) và Swift (V=0.1, ưu tiên tiết kiệm chi phí), với hàm tiện ích = V × xác suất thành công dự đoán − chi phí kỳ vọng, đồng thời có thể thiết lập ngưỡng “ưu tiên cục bộ”. Giấy phép Apache-2.0.

Tại sao quan trọng Tách biệt chiến lược dự đoán và định giá, giúp thay đổi giá mà không cần huấn luyện lại; theo thông báo chính thức, khi kết hợp mô hình cục bộ và đám mây, chất lượng gần ngang với các mô hình đóng hàng đầu nhưng chi phí giảm đáng kể

Điểm tăng 34 · Lượt thích 42 · Lượt tải xuống 1786

Lý do

  • Báo cáo kỹ thuật cho biết: Khi kết hợp DeepSeek V4.1 Flash cục bộ (trên nhiều máy DGX Spark) với các mô hình đám mây và đặt ngưỡng ưu tiên cục bộ là 0.85, hệ thống duy trì được 97.5% chất lượng của Opus 5.5 trên 6 tiêu chuẩn đánh giá, trong khi chi phí giảm đi 92.9%
  • So sánh ARC Sage với việc chỉ sử dụng Opus 5.5: Trên DeepSWE, đạt 68.7% so với 69.9%, với chi phí bằng 7%; tuy nhiên, trên Tau3 Banking, kết quả là 33.2% so với 42.8%, cho thấy sự sụt giảm điểm rõ rệt
  • Trên bộ câu hỏi nội bộ Router Question Bench gồm 3,056 câu, tỷ lệ khớp với đáp án mục tiêu là 56.2%, còn Jev 1.14 đạt 32.7%

Cách sử dụng

  • Dịch vụ lưu trữ (hosted): Kết nối vào proxy hiện có theo hướng dẫn tại docs.rayline.ai, với ID mô hình là arc-sage-1.0 và arc-swift-1.0
  • Ra quyết định cục bộ: Cấu hình CLI mã nguồn mở Rayline với routing.decisions: "local", đọc các thư mục gguf/ và runtime/ trong kho lưu trữ; các quyết định định tuyến không được gửi đến đám mây Rayline (chế độ cục bộ đang ở giai đoạn xem trước)
  • Cài đặt plugin vllm-arc mã nguồn mở trên vLLM 0.33.0 có thể phục vụ bộ mã hóa, nhưng không bao gồm chiến lược định tuyến và API ra quyết định; giá cả nằm trong runtime/prices.json và có thể thay thế bằng dữ liệu của riêng bạn

Rủi ro

  • Các đánh giá đến từ báo cáo kỹ thuật nội bộ và bộ câu hỏi của công ty; hiệu quả thực tế phụ thuộc vào kho mô hình, giá cả và các yêu cầu cụ thể của bạn
  • Chế độ ra quyết định cục bộ đang ở giai đoạn xem trước, plugin vllm-arc là bản tiền phát hành 0.1.0 nên giao diện có thể thay đổi; tích hợp đầy đủ hiện tại vẫn cần sử dụng API dịch vụ lưu trữ
  • Kiến trúc tùy chỉnh, yêu cầu mã hỗ trợ đi kèm. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất