ARC 1.0: 에이전트용 모델을 선택하는 라우팅 모델

Rayline이 11월 10일에 업로드한 적응형 라우팅 컨트롤러 ARC는 Qwen3.5-0.8B를 기반으로 합니다. 이 모델은 에이전트의 대화를 입력받아 각 모델의 성공 확률, 토큰 사용량(비캐시 입력, 캐시 읽기/쓰기, 출력), 추론 강도 이점, 개인 민감 정보 감지 및 요청 분류 등의 신호를 출력합니다. 애플리케이션은 자체 모델 풀, 가격 및 규칙을 결합하여 다음 요청을 어떤 모델에 전달할지 결정합니다. 성공을 중시하는 Sage(V=4.5)와 비용 절감을 중시하는 Swift(V=0.1) 두 가지 사전 설정된 전략을 제공하며, 효용 = V × 예측 성공률 − 예상 비용으로 계산됩니다. 또한 '로컬 우선' 임계값을 설정할 수도 있습니다. 라이선스는 Apache-2.0입니다.

원제: rayline-ai/ARC-1.0

Rayline이 11월 10일에 업로드한 적응형 라우팅 컨트롤러 ARC는 Qwen3.5-0.8B를 기반으로 합니다. 이 모델은 에이전트의 대화를 입력받아 각 모델의 성공 확률, 토큰 사용량(비캐시 입력, 캐시 읽기/쓰기, 출력), 추론 강도 이점, 개인 민감 정보 감지 및 요청 분류 등의 신호를 출력합니다. 애플리케이션은 자체 모델 풀, 가격 및 규칙을 결합하여 다음 요청을 어떤 모델에 전달할지 결정합니다. 성공을 중시하는 Sage(V=4.5)와 비용 절감을 중시하는 Swift(V=0.1) 두 가지 사전 설정된 전략을 제공하며, 효용 = V × 예측 성공률 − 예상 비용으로 계산됩니다. 또한 '로컬 우선' 임계값을 설정할 수도 있습니다. 라이선스는 Apache-2.0입니다.

왜 중요한가 예측 및 가격 책정 전략이 분리되어 있어 가격 변경 시 재학습이 필요하지 않습니다. 공식적으로 로컬 및 클라우드 모델을 혼합 사용할 경우 최고급 폐쇄형 모델에 가까운 품질을 유지하면서 비용을 대폭 절감한다고 주장합니다.

상승 점수 34 · 좋아요 42 · 다운로드 수 1786

이유

  • 기술 보고서에 따르면: 로컬 DeepSeek V4.1 Flash(여러 대의 DGX Spark)와 클라우드 모델을 혼합하고, 로컬 우선 임계값 0.85을 사용할 때, 6개의 벤치마크에서 Opus 5.5 품질의 97.5%을 유지하면서 비용은 92.9% 감소
  • ARC Sage 비교(순수 Opus 5.5 대비): DeepSWE 68.7% 대 69.9%, 비용은 7%; 그러나 Tau3 Banking 33.2% 대 42.8%에서는 점수 하락이 뚜렷함
  • 내부 Router Question Bench 3,056개 문제에서 목표 답변 일치율 56.2%, Jev 1.14는 32.7%

사용법

  • 관리형 서비스: docs.rayline.ai를 참고하여 기존 프록시에 연결하며, 모델 ID는 arc-sage-1.0, arc-swift-1.0입니다
  • 로컬 의사결정: 오픈소스 Rayline CLI에서 routing.decisions: "local"로 설정하고 저장소의 gguf/ 및 runtime/ 디렉터리를 읽습니다. 라우팅 의사결정은 Rayline 클라우드로 전송되지 않습니다(로컬 모드는 프리뷰 버전입니다)
  • vLLM 0.33.0에 오픈소스 vllm-arc 플러그인을 설치하면 인코더를 서비스할 수 있지만, 라우팅 전략 및 의사결정 API는 포함되지 않습니다. 가격은 runtime/prices.json에 있으며, 자체 가격으로 교체할 수 있습니다

리스크

  • 평가는 회사 자체 기술 보고서 및 내부 문제 은행에서 나온 것입니다. 실제 효과는 사용자의 모델 풀, 가격 및 요청에 따라 달라집니다
  • 로컬 의사결정은 프리뷰 버전이며, vllm-arc 플러그인은 0.1.0 프리릴리스 상태이므로 인터페이스가 변경될 수 있습니다. 완전한 통합은 현재 관리형 API를 통해 이루어져야 합니다
  • 커스텀 아키텍처로, 호환 코드가 필요합니다. 이 항목은 실행되지 않았습니다

열기

Hugging Face Trending

최신 AI 소식 보기