Titre original : rayline-ai/ARC-1.0
ARC, un contrôleur de routage adaptatif publié par Rayline le 10 11, est basé sur Qwen3.5-0.8B. Il analyse les conversations de l'agent et génère des signaux tels que la probabilité de succès de chaque modèle, l'utilisation des tokens (entrées non mises en cache, lectures/écritures en cache, sorties), le gain lié à l'intensité du raisonnement, la détection des informations personnelles sensibles et la classification des requêtes. L'application combine ensuite ces signaux avec son propre pool de modèles, ses prix et ses règles pour déterminer à quel modèle confier la prochaine requête. Deux stratégies sont préconfigurées : Sage (V=4.5, privilégiant le succès) et Swift (V=0.1, privilégiant les économies). L'utilité est calculée comme suit : V × probabilité de succès prédite − coût attendu. Un seuil « priorité locale » peut également être défini. Licence Apache-2.0.
Pourquoi c'est important La prédiction et la stratégie de tarification sont séparées, ce qui permet de modifier les prix sans réentraîner le modèle ; selon les affirmations officielles, lors de l'utilisation mixte de modèles locaux et cloud, la qualité est proche de celle des meilleurs modèles propriétaires fermés, tandis que les coûts sont considérablement réduits
Score de progression 34 · J'aime 42 · Téléchargements 1786
Raisons
- Le rapport technique indique : lors de l'utilisation mixte de DeepSeek V4.1 Flash en local (sur plusieurs DGX Spark) et de modèles cloud, avec un seuil de priorité locale de 0.85, 97.5% de la qualité d'Opus 5.5 est conservée sur 6 benchmarks, tandis que les coûts sont réduits de 92.9%
- Comparaison entre ARC Sage et l'utilisation exclusive d'Opus 5.5 : sur DeepSWE, score de 68.7% contre 69.9%, avec un coût de 7% ; mais sur Tau3 Banking, score de 33.2% contre 42.8%, avec une baisse de performance notable
- Sur le banc d'essai interne Router Question Bench de 3,056 questions, le taux de concordance avec les réponses cibles est de 56.2%, avec un indice de Jev 1.14 de 32.7%
Utilisation
- Service hébergé : intégrez-le à vos agents existants via docs.rayline.ai, en utilisant les identifiants de modèle arc-sage-1.0 et arc-swift-1.0
- Décision locale : configurez l'interface en ligne de commande open source Rayline avec routing.decisions: "local", en lisant les répertoires gguf/ et runtime/ du dépôt ; les décisions de routage ne sont pas envoyées au cloud Rayline (le mode local est en version préliminaire)
- L'installation du plugin open source vllm-arc sur vLLM 0.33.0 permet de servir l'encodeur, mais n'inclut pas les stratégies de routage ni l'API de décision ; les prix sont définis dans runtime/prices.json et peuvent être remplacés par les vôtres
Risques
- Les évaluations proviennent du rapport technique de l'entreprise et de ses bancs d'essai internes ; les résultats réels dépendent de votre pool de modèles, de vos prix et de vos requêtes
- La décision locale est en version préliminaire, le plugin vllm-arc est en préversion 0.1.0 et les interfaces sont susceptibles d'évoluer ; l'intégration complète nécessite actuellement l'API hébergée
- Architecture personnalisée nécessitant du code d'accompagnement. Cette entrée n'a pas été exécutée