Titre original : OVHaiLLM/Olala-v1.0-mini-7A1B
Modèle post-entraînement d'OVHai LLM, la filiale d'OVHcloud, mis en ligne le 30 10 et mis à jour le 19 11. Total de paramètres : 6.8 B, avec environ 1 B activés par token : sur les 36 couches, 29 sont des couches Mamba-3 et 7 sont des couches d'attention (seules ces 7 couches conservent le cache KV). Chaque couche est suivie d'un MoE (6 experts routés sélectionnés parmi 256, plus 1 experts partagés). Contexte de 32 K (une version 128 K est à venir). Entraîné sur trois supercalculateurs : JUPITER en Allemagne, Jean Zay en France et MeluXina au Luxembourg. Pré-entraînement sur 12.8 T tokens (anglais et 36 autres langues, principalement européennes, mais aussi chinois, japonais, coréen et arabe), suivi d'un ajustement supervisé et de quatre phases d'apprentissage par renforcement (instructions et mathématiques, code, comportement d'assistant, appels d'outils et recherche jusqu'à 75 tours). L'intensité de raisonnement est réglable sur quatre niveaux : disabled / low / medium / high. La série comprend également une version de base, une version SFT, ainsi que des versions dédiées au résumé et à la traduction, toutes sous licence Apache-2.0.
Pourquoi c'est important Entraîné sur trois supercalculateurs européens, sous licence Apache, exécutable sur un ordinateur portable ; les benchmarks complets, les tests de sécurité et les émissions de carbone de l'entraînement sont publiés officiellement
Score de progression 40 · J'aime 40 · Téléchargements 181
Raisons
- Les développeurs officiels ont évalué eux-mêmes 19 modèles sur le même cluster et avec le même code d'évaluation : moyenne de 68.0 sur 12 tâches, soit 15.2 points de plus que leur propre version SFT ; IFBench 57.7, HumanEval+ 88.3, AIME 2025 61.3, GPQA Diamond 50.5, BFCL V3 59.6
- Dans le même tableau, le modèle plus petit LFM3-1.7B obtient de meilleurs scores sur la plupart des tâches (IFBench 70.0, AIME 2025 79.3), tandis que le GPQA Diamond de Qwen3.5-4B est de 75.8 ; les développeurs affirment que ce modèle est fort en respect des instructions mais faible en mathématiques de compétition
- Tests de sécurité sur 5,701 prompts d'attaque : après l'apprentissage par renforcement, le taux de réussite des attaques est passé de 12.5% à 6.3%, mais les refus erronés des requêtes normales ont augmenté de 7.0% à 10.7% ; les développeurs estiment la consommation électrique totale de l'entraînement à environ 1.16 GWh et les émissions à environ 40 tonnes de CO₂e
Utilisation
- Sans déploiement : OVHcloud AI Endpoints (compatible OpenAI, hébergé en Europe) ou les Inference Providers de Hugging Face, en indiquant le modèle OVHaiLLM/Olala-v1.0-mini-7A1B:ovhcloud ; il existe également un quota gratuit de départ avec Blade (Shadow)
- Auto-déploiement : branche vLLM officielle ou image Docker ovhaillm/olala-vllm (NVIDIA 24 GB ou plus, l'image nécessite un pilote 580 ou plus). L'option --mamba-ssm-cache-dtype float32 est obligatoire au démarrage, sinon les générations longues risquent de boucler en répétition. Ajoutez également --reasoning-parser olala --tool-call-parser olala --enable-auto-tool-choice ; la compilation au premier démarrage prend environ 8 minutes
- Local : sur puces Apple M2 ou plus avec 16 GB de RAM, utilisez la version MLX (5.4 GB) ; sur M1, sans GPU ou avec un seul GPU NVIDIA, utilisez la version GGUF (6–14 GB). Dans tous les cas, utilisez les branches officielles. Paramètres d'échantillonnage : temperature 0.8, top_p 0.9, top_k 40. Pour le fine-tuning, utilisez l'image Docker ovhaillm/olala-ai-training (un seul H100, fusionnez après l'entraînement LoRA)
Risques
- Ollama, LM Studio ainsi que les versions officielles de llama.cpp, vLLM et mlx-lm ne peuvent actuellement pas charger le modèle ; il faut utiliser les branches d'OVHai ou les services hébergés
- Traite uniquement le texte ; avec environ 1 B de paramètres activés, ses connaissances factuelles sont limitées. Les développeurs recommandent de fournir des documents ou des outils pour les questions factuelles, numériques, légales, médicales ou financières, et de ne pas lui faire répondre de mémoire
- Tous les scores proviennent des évaluations officielles ; après l'apprentissage par renforcement, la proportion de raisonnement tronqué en raison de sa longueur est passée de 11.8% à 15.0%. Cette entrée n'a pas été exécutée