Titre original : Bienvenue Inkling 2 Mini, une performance de pointe pour votre configuration locale
Thinking Machines Lab a ouvert le code source d'Inkling 2 Mini le 11 20 : une architecture à experts mélangés, avec un total de 264 milliards de paramètres et 34 milliards activés. Les couches intermédiaires du modèle effectuent trois passes par token, permettant d'effectuer plus de raisonnement avec moins de tokens. Selon les informations officielles, il surpasse tous les modèles open source ayant moins de 1000 milliards de paramètres totaux sur des benchmarks tels que DeepSWE v1.1 (48.2%) et Vals Index v2.2 (46.5%). La majeure partie des poids est en NVFP4, tandis que les quatre dernières couches sont en MXFP8. L'empreinte mémoire totale est d'environ 20 Go, ce qui permet de l'exécuter sur un ordinateur portable grand public. Le blog de Hugging Face indique que le modèle prend en charge un contexte de 100 mille tokens et des entrées multimodales (texte et image), avec un support dès le premier jour pour transformers, llama.cpp, MLX et SGLang. Une version de recherche permettant d'ajuster le nombre de passes a également été publiée.
Pourquoi c'est important Utiliser des couches récurrentes plutôt que d'augmenter le nombre de paramètres pour améliorer le raisonnement, proposer des poids open source suffisamment petits pour tenir dans un ordinateur portable, offrant ainsi une nouvelle option aux agents de programmation locaux.
Fiabilité : Haute fiabilité · Sources Thinking Machines Lab et 2 autres (y compris les sources officielles) · Date de l'événement 11-20 08:00 (heure de Pékin)
Raisons
- La page de publication officielle de Thinking Machines et le blog officiel de Hugging Face ont été publiés le même jour, avec des détails sur l'architecture et des tableaux de benchmark
- Poids open source, supporté dès le premier jour par les frameworks d'inférence locaux courants
Utilisation
- Téléchargez les poids depuis Hugging Face et exécutez-les localement avec transformers, llama.cpp ou MLX ; vous pouvez également effectuer de l'inférence et du fine-tuning sur la plateforme Tinker de Thinking Machines
Risques
- Les scores de benchmark sont rapportés par Thinking Machines eux-mêmes, et les configurations de test varient d'un modèle à l'autre
- La documentation officielle précise que la récurrence n'augmente pas les connaissances mémorisées par le modèle ; les benchmarks de connaissances restent au niveau des modèles de taille comparable