Deux modèles de langage développés par un chercheur, depuis la pipeline de données jusqu'au noyau d'entraînement : Praxis (2.94B paramètres totaux, 0.46B activés par passe) et Logos (10.23B paramètres totaux, 1.18B activés par passe). Tous deux sont des structures MoE hybrides combinant Mamba-2 et attention, où chaque token fait passer l'ensemble du réseau deux fois avec les mêmes poids (« jeter un second coup d'œil »). Chacun a été entraîné sur 1.02T tokens, avec une fenêtre de contexte de 131,072. La seconde moitié du rapport détaille ce qui a mal tourné : l'optimiseur configuré n'a pas pris effet, un module de mémoire n-gramme a appris à se désactiver lui-même, cinq choix de fine-tuning ont entraîné une perte de capacités, et la récompense de longueur, sous normalisation par moyenne intra-groupe, pénalise les « bonnes réponses rédigées longuement » ; les auteurs fournissent une preuve et une correction par troncature en une ligne.
J'aime 4 · Étoiles du code 0
Raisons
- Orientation claire vers l'efficacité : les auteurs affirment que le volume de données d'entraînement est environ douze fois inférieur à la médiane des modèles publics comparables, avec moins de paramètres activés par token, se situant ainsi sur les deux fronts de Pareto en termes de volume de données et de puissance de calcul ; classement mathématique : deuxième parmi 30 modèles (AIME 2025 67.50%).
- Prêt à l'emploi : les poids Apache-2.0 sont disponibles sur Hugging Face, ainsi que des versions FP8, NVFP4, GGUF et MLX 4/8 bits ; le moteur d'inférence Dromos écrit par les auteurs (Apache-2.0) prend en charge les puces NVIDIA, Apple et CPU, et fournit une interface compatible OpenAI.
- Les registres d'échecs ont une valeur de référence : le problème de l'inversion du signe de la récompense de longueur lorsque le taux de réussite intra-groupe dépasse 2/3 est un piège directement vérifiable pour ceux qui font de l'entraînement par renforcement sur le raisonnement.
Utilisation
- Le plus rapide : curl -fsSL https://github.com/lernex/dromos/releases/latest/download/install.sh | sh, puis dromos run logos:fp8 pour discuter dans le terminal, ou dromos serve logos:fp8 pour ouvrir une interface compatible OpenAI (port 8080) ; dromos doctor permet de voir quel format est exécutable sur la machine locale.
- Choisir le format selon la carte graphique (fiche modèle) : BF16 pour plus de 32 GB, FP8 pour 16/24 GB, NVFP4 pour 8/12 GB (lisibles uniquement par Dromos), MLX pour Mac, GGUF Q4_K_M (llama.cpp) pour CPU / ordinateurs portables.
- Transformers : AutoModelForCausalLM.from_pretrained("Lernex/Metis-1.6-Logos", trust_remote_code=True), nécessite transformers 4.57 ou supérieur ; pour le mode réflexion, il est recommandé d'utiliser une temperature de 0.8 et une repetition_penalty de 1.05, sans descendre en dessous de 0.6.
Risques
- Les auteurs admettent eux-mêmes des faiblesses en code, en respect des instructions et en contexte long ; la moyenne sur 40 benchmarks le place septième parmi les 17 modèles de son groupe de comparaison, à moins d'un point de Qwen3-4B.
- Les chiffres d'accélération du décodage de Dromos par rapport à vLLM proviennent des tests effectués par les auteurs sur une seule RTX 5070 Ti ; trust_remote_code est requis, et sous llama.cpp / Ollama, il faut ajuster la fenêtre de pénalité de répétition selon la fiche modèle, sinon le mode réflexion risque de tourner en boucle.
- Projet personnel, les benchmarks ont été auto-testés par les auteurs dans leur propre cadre d'évaluation, sans reproduction par des tiers.