Modèle multimodal en version préliminaire publié par SenseTime le 10 30, acceptant du texte et des images en entrée et produisant du texte en sortie, destiné aux tâches à long contexte et aux agents (lecture de documents, écriture de code, appel d'outils externes) ; structurellement, il exécute deux fois consécutivement la même portion de poids partagés pour les couches 4–27, utilise les poids de 32 couches pour effectuer le calcul de 56 couches, et gère le flux d'information via deux flux résiduels mHC.
Score en hausse 70 · J'aime 70 · Téléchargements 12
Raison
- L'idée est « ajouter de la profondeur sans ajouter de paramètres » : environ 9B de paramètres stockés, environ 14.6B de paramètres de calcul en inférence ; le décodeur alterne trois couches d'attention linéaire et une couche d'attention complète, avec des séquences d'entraînement allant jusqu'à 262,144 tokens, prend déjà en charge l'accélération MTP, tandis que les modèles brouillon DSpark et DFlash2 sont encore en entraînement.
- La fiche présente des exemples de courts métrages à design dynamique, de conception de présentations PowerPoint et d'analyse de données (officiellement produits par son produit Raccoon Work), avec des graphiques comparatifs couvrant huit benchmarks d'agents et de bureautique tels que BIRD-Dev, Terminal Bench 2.1, AutomationBench et RaccoonPPTBench.
- Licence Apache-2.0, incluant des scripts de fine-tuning SFT / DPO / MTP (sur une machine avec huit cartes GPU) ; les numéros précédents ne l'avaient pas inclus.
Utilisation
- Transformers : pip install "transformers==5.18.0" accelerate safetensors (environnement officiel vérifié : PyTorch 2.11.0 + CUDA 13.0), chargement sur une seule carte via AutoModelForCausalLM avec trust_remote_code=True et bfloat16 ; dans apply_chat_template, enable_thinking=True / False permet de basculer entre les modes de réflexion.
- En tant que service : exemple officiel LightLLM sur quatre cartes (--tp 4), endpoint compatible OpenAI /v1/chat/completions ; pour SGLang, il faut compiler soi-même la branche de la PR 47281.
- Fine-tuning : git clone OpenSenseNova/torchtitan, puis exécuter le script SFT via examples/train/SenseNova-Loop-9B-Preview/mhc2_loop2_titan.sh.
Risques
- Version préliminaire : le rapport technique reste à publier, la fiche du modèle indique que les détails de l'implémentation d'inférence pour Transformers sont « à venir », et le support SGLang n'existe que dans une PR non fusionnée.
- Les performances ne figurent que dans des graphiques comparatifs, sans scores textuels sur la fiche ; cette rubrique ne peut donc pas vérifier les chiffres exacts ; les exemples proviennent du produit maison officiel.
- La structure cyclique exige que l'implémentation d'inférence reproduise strictement la portée de la boucle et le routage mHC ; les versions quantifiées ou converties par des tiers ne sont pas nécessairement compatibles.