原题:rayline-ai/ARC-1.0
Rayline 11 月 10 日上传的自适应路由控制器 ARC,基于 Qwen3.5-0.8B。它读入智能体的对话,输出各模型成功概率、token 用量(未缓存输入、缓存读写、输出)、推理强度的收益、个人敏感信息检测和请求分类等信号,应用再结合自己的模型池、价格和规则决定下一次请求交给谁。预置 Sage(V=4.5,看重成功)和 Swift(V=0.1,看重省钱)两种策略,效用 = V × 预测成功率 − 预期成本,也可以设“优先本地”阈值。Apache-2.0。
为什么重要 预测和定价策略分开,换价格不用重训;官方称本地和云端模型混用时质量接近顶级闭源模型、成本大降
上升分 34 · 点赞 42 · 下载量 1786
理由
- 技术报告称:本地 DeepSeek V4.1 Flash(多台 DGX Spark)和云端模型混用、优先本地阈值 0.85 时,6 个基准上保留 Opus 5.5 质量的 97.5%,成本降低 92.9%
- ARC Sage 对比只用 Opus 5.5:DeepSWE 68.7% 对 69.9%、成本为 7%;但 Tau3 Banking 33.2% 对 42.8%,掉分明显
- 内部 Router Question Bench 3,056 题上与目标答案一致率 56.2%,Jev 1.14 为 32.7%
用法
- 托管服务:按 docs.rayline.ai 接入现有代理,模型 ID 为 arc-sage-1.0、arc-swift-1.0
- 本地决策:开源 Rayline CLI 配置 routing.decisions: "local",读取仓库里的 gguf/ 和 runtime/ 目录,路由决策不发往 Rayline 云端(本地模式是预览版)
- vLLM 0.33.0 装开源 vllm-arc 插件可以服务编码器,但不含路由策略和决策 API;价格在 runtime/prices.json,可换成自己的
风险
- 评测来自公司自己的技术报告和内部题库;实际效果取决于你的模型池、价格和请求
- 本地决策是预览版,vllm-arc 插件为 0.1.0 预发布,接口会变;完整集成目前要走托管 API
- 自定义架构,需要配套代码。本条未运行