Оригинал: rayline-ai/ARC-1.0
Адаптивный контроллер маршрутизации ARC, загруженный Rayline 11 10, основан на Qwen3.5-0.8B. Он считывает диалог агента и выдает такие сигналы, как вероятность успеха различных моделей, использование токенов (некэшированный ввод, чтение/запись кэша, вывод), выгода от интенсивности рассуждений, обнаружение личной конфиденциальной информации и классификация запросов. Приложение затем, учитывая свой пул моделей, цены и правила, решает, кому передать следующий запрос. Предусмотрены две стратегии: Sage (V=4.5, приоритет успеха) и Swift (V=0.1, приоритет экономии), где полезность = V × предсказанная вероятность успеха − ожидаемая стоимость; также можно задать порог «приоритет локальных моделей». Лицензия Apache-2.0.
Почему это важно Предсказание и ценообразование разделены, поэтому изменение цен не требует переобучения; официально заявляется, что при смешанном использовании локальных и облачных моделей качество приближается к уровню ведущих закрытых моделей, а затраты значительно снижаются
Рост рейтинга на 34 · Лайков 42 · Загрузок 1786
Обоснование
- В техническом отчете указано: при смешанном использовании локальной DeepSeek V4.1 Flash (на нескольких DGX Spark) и облачных моделей с порогом «приоритет локальных» 0.85 сохраняется 97.5% качества Opus 5.5 на 6 бенчмарках, а затраты снижаются на 92.9%
- Сравнение ARC Sage с использованием только Opus 5.5: DeepSWE 68.7% против 69.9%, стоимость составляет 7%; однако на Tau3 Banking результат 33.2% против 42.8%, что свидетельствует о заметном падении баллов
- На внутреннем бенчмарке Router Question Bench из 3,056 задач совпадение с целевыми ответами составляет 56.2%, а показатель Jev 1.14 равен 32.7%
Использование
- Управляемый сервис: подключайтесь к существующим прокси согласно docs.rayline.ai, идентификаторы моделей: arc-sage-1.0, arc-swift-1.0
- Локальное принятие решений: в открытом Rayline CLI настройте routing.decisions: "local", считывая каталоги gguf/ и runtime/ из репозитория; решения по маршрутизации не отправляются в облако Rayline (локальный режим находится в статусе превью)
- Установка открытого плагина vllm-arc для vLLM 0.33.0 позволяет обслуживать энкодер, но не включает стратегии маршрутизации и API принятия решений; цены указаны в runtime/prices.json и могут быть заменены на собственные
Риски
- Оценки получены из собственного технического отчета компании и внутренних тестовых наборов; фактическая эффективность зависит от вашего пула моделей, цен и запросов
- Локальное принятие решений находится в статусе превью, плагин vllm-arc является препрелизом 0.1.0, интерфейс может измениться; полная интеграция пока требует использования управляемого API
- Пользовательская архитектура, требующая сопутствующего кода. Данный пункт не был выполнен