Premier modèle de la nouvelle entreprise Ricursive Intelligence : un Transformer dense de 65B paramètres (sans MoE), pré-entraîné de zéro sur un corpus textuel pur principalement en anglais et en code de 12T tokens, avec une fenêtre de contexte maximale de 1M. Ce dépôt est la version d'instruction BF16, publiée simultanément avec la version d'instruction NVFP4, la version de base BF16 et le modèle brouillon DFlash2 pour le décodage spéculatif. Les auteurs indiquent être partis du modèle de référence Olmo 3 en ajustant progressivement la recette d'entraînement ; pendant le développement, l'équipe est passée de 1 à 5 personnes, et l'architecture a été modifiée pour ressembler à celle de Gemma 3N, avec une structure « étroite et profonde » (d_model 5120, 80 couches). Le dépôt a été créé le 4 11, et n'a pas été inclus dans les 7 dernières périodes.
Score de progression 112 · J'aime 114 · Téléchargements 0
Raisons
- Les auteurs affirment que les performances en programmation agentique dépassent la taille du modèle : Terminal-Bench 2.1 80.5, supérieur à Reflection Beam (80.1) de 501B, Muse Spark Open (76.4) de 816B, Inkling (63.8) de 975B et Nemotron 3 Ultra (56.4) de 550B dans le tableau ; SWE-bench Pro v2.0 Hard 79.1 est également le score le plus élevé du tableau, avec AIME 2025 98.3 et HMMT Feb 2026 90.5 en mathématiques.
- Le déploiement d'un modèle dense de 65B est simple : les auteurs affirment qu'il peut tenir sur des appareils locaux comme le DGX Spark, raison pour laquelle une version NVFP4 a été publiée (MLP en NVFP4, attention conservée en BF16) ; avec un batch de 8 sur 2 cartes B200, sans quantification ni noyaux personnalisés, la vitesse atteint 250 tokens par seconde.
- Le processus d'entraînement est détaillé : les tableaux listent le nombre de tokens, les étapes, la longueur des séquences et la taille des batchs pour chaque phase (pré-entraînement, entraînement intermédiaire, contexte long, SFT, SFT en contexte long, RL) ; la version de base est un checkpoint issu uniquement du pré-entraînement, sans données d'entraînement intermédiaire ni questions-réponses synthétiques, ce qui la rend adaptée à la recherche en post-entraînement.
Utilisation
- Méthode de déploiement fournie par les auteurs (répertoire inference/server du dépôt) : Linux + CUDA Toolkit 13 + uv, SGLang 0.5.19, deux cartes B200. Dans ce répertoire, exécutez CUDA_VISIBLE_DEVICES=0,1 uv run --script serve.py --model-path <ce dépôt> --speculative-draft-model-path <modèle brouillon DFlash2> ; par défaut TP=2, contexte de 1Mi, service sur 127.0.0.1:30000, interface compatible OpenAI.
- Appels d'outils : passez tools et tool_choice: auto au format OpenAI ; la réponse sépare reasoning_content, content et tool_calls ; pour les tours suivants, remettez le message assistant tel quel, puis ajoutez un message tool avec tool_call_id. Pour utiliser tool_choice: required, définissez strict=true et additionalProperties=false sur la fonction.
- Le modèle inclut du code personnalisé (RicursiveForCausalLM, nécessite trust_remote_code) ; le gabarit de chat n'a pas d'option de réflexion ni de niveau d'intensité de raisonnement, max_tokens doit être suffisant pour couvrir à la fois la réflexion et la réponse.
Risques
- Version Preview : les auteurs indiquent que le post-entraînement est léger et axé sur la programmation agentique ; SciCode 39.4, DeepSWE 1.1 44.3 et MCP Atlas 71.67 sont bas dans le tableau. Les scores sont auto-évalués par les auteurs, les valeurs en italique dans le tableau sont des scores obtenus par les auteurs pour les modèles concurrents, et ils admettent que les évaluations agentiques sont difficiles à reproduire.
- Comparaison uniquement avec des modèles open source américains, sans comparaison avec Qwen, DeepSeek, Kimi, GLM, etc. ; le corpus de pré-entraînement est principalement en anglais et en code, texte uniquement, la capacité en chinois est inconnue (la version de base obtient 69.6 à C-Eval, inférieur aux deux modèles DeepSeek du tableau).
- Le lien Colab mentionné dans la fiche n'est pas fourni ; la fiche de la version NVFP4 ne contient qu'une brève description, sans instructions d'exécution sur des appareils comme le DGX Spark ; la documentation existante ne couvre que B200 + SGLang ; premier modèle d'une nouvelle entreprise, la situation de maintenance future est inconnue.