ARC 1.0: модель-маршрутизатор для выбора модели агентами

Адаптивный контроллер маршрутизации ARC, загруженный Rayline 11 10, основан на Qwen3.5-0.8B. Он считывает диалог агента и выдает такие сигналы, как вероятность успеха различных моделей, использование токенов (некэшированный ввод, чтение/запись кэша, вывод), выгода от интенсивности рассуждений, обнаружение личной конфиденциальной информации и классификация запросов. Приложение затем, учитывая свой пул моделей, цены и правила, решает, кому передать следующий запрос. Предусмотрены две стратегии: Sage (V=4.5, приоритет успеха) и Swift (V=0.1, приоритет экономии), где полезность = V × предсказанная вероятность успеха − ожидаемая стоимость; также можно задать порог «приоритет локальных моделей». Лицензия Apache-2.0.

Оригинал: rayline-ai/ARC-1.0

Адаптивный контроллер маршрутизации ARC, загруженный Rayline 11 10, основан на Qwen3.5-0.8B. Он считывает диалог агента и выдает такие сигналы, как вероятность успеха различных моделей, использование токенов (некэшированный ввод, чтение/запись кэша, вывод), выгода от интенсивности рассуждений, обнаружение личной конфиденциальной информации и классификация запросов. Приложение затем, учитывая свой пул моделей, цены и правила, решает, кому передать следующий запрос. Предусмотрены две стратегии: Sage (V=4.5, приоритет успеха) и Swift (V=0.1, приоритет экономии), где полезность = V × предсказанная вероятность успеха − ожидаемая стоимость; также можно задать порог «приоритет локальных моделей». Лицензия Apache-2.0.

Почему это важно Предсказание и ценообразование разделены, поэтому изменение цен не требует переобучения; официально заявляется, что при смешанном использовании локальных и облачных моделей качество приближается к уровню ведущих закрытых моделей, а затраты значительно снижаются

Рост рейтинга на 34 · Лайков 42 · Загрузок 1786

Обоснование

  • В техническом отчете указано: при смешанном использовании локальной DeepSeek V4.1 Flash (на нескольких DGX Spark) и облачных моделей с порогом «приоритет локальных» 0.85 сохраняется 97.5% качества Opus 5.5 на 6 бенчмарках, а затраты снижаются на 92.9%
  • Сравнение ARC Sage с использованием только Opus 5.5: DeepSWE 68.7% против 69.9%, стоимость составляет 7%; однако на Tau3 Banking результат 33.2% против 42.8%, что свидетельствует о заметном падении баллов
  • На внутреннем бенчмарке Router Question Bench из 3,056 задач совпадение с целевыми ответами составляет 56.2%, а показатель Jev 1.14 равен 32.7%

Использование

  • Управляемый сервис: подключайтесь к существующим прокси согласно docs.rayline.ai, идентификаторы моделей: arc-sage-1.0, arc-swift-1.0
  • Локальное принятие решений: в открытом Rayline CLI настройте routing.decisions: "local", считывая каталоги gguf/ и runtime/ из репозитория; решения по маршрутизации не отправляются в облако Rayline (локальный режим находится в статусе превью)
  • Установка открытого плагина vllm-arc для vLLM 0.33.0 позволяет обслуживать энкодер, но не включает стратегии маршрутизации и API принятия решений; цены указаны в runtime/prices.json и могут быть заменены на собственные

Риски

  • Оценки получены из собственного технического отчета компании и внутренних тестовых наборов; фактическая эффективность зависит от вашего пула моделей, цен и запросов
  • Локальное принятие решений находится в статусе превью, плагин vllm-arc является препрелизом 0.1.0, интерфейс может измениться; полная интеграция пока требует использования управляемого API
  • Пользовательская архитектура, требующая сопутствующего кода. Данный пункт не был выполнен

Открыть

Hugging Face Trending

Открыть последние новости ИИ