Inkling 2 Mini : le modèle multimodal local de Thinking Machines

Publié par Thinking Machines Lab le 11 20, cette version réduite d'Inkling 2 Small accepte du texte et des images en entrée et produit du texte en sortie, destinée aux agents et à l'appel d'outils, aux assistants de programmation, aux conversations et au RAG. Décodeur de 24 couches, où les 12 couches intermédiaires à poids partagés sont exécutées trois fois en boucle (soit 48 calculs de couche par token), chaque couche sélectionnant 8 experts parmi 128, avec un mélange d'attention locale et globale ; 26.4 B de paramètres totaux, 3.4 B de paramètres actifs, soit environ 5.4 B de paramètres actifs effectifs en comptant la boucle, avec une longueur de contexte maximale de 1 M tokens. Les poids constituent un point de contrôle en précision mixte NVFP4 / MXFP8 d'environ 20 GB ; selon l'éditeur, une inférence locale est possible sur un DGX Spark, un appareil à puce Apple disposant de plus de 32 GB de mémoire, ou une carte graphique avec 32 GB de VRAM.

Titre original : thinkingmachines/Inkling-2-Mini

Publié par Thinking Machines Lab le 11 20, cette version réduite d'Inkling 2 Small accepte du texte et des images en entrée et produit du texte en sortie, destinée aux agents et à l'appel d'outils, aux assistants de programmation, aux conversations et au RAG. Décodeur de 24 couches, où les 12 couches intermédiaires à poids partagés sont exécutées trois fois en boucle (soit 48 calculs de couche par token), chaque couche sélectionnant 8 experts parmi 128, avec un mélange d'attention locale et globale ; 26.4 B de paramètres totaux, 3.4 B de paramètres actifs, soit environ 5.4 B de paramètres actifs effectifs en comptant la boucle, avec une longueur de contexte maximale de 1 M tokens. Les poids constituent un point de contrôle en précision mixte NVFP4 / MXFP8 d'environ 20 GB ; selon l'éditeur, une inférence locale est possible sur un DGX Spark, un appareil à puce Apple disposant de plus de 32 GB de mémoire, ou une carte graphique avec 32 GB de VRAM.

Pourquoi c'est important Dans le tableau comparatif officiel, les scores en programmation et en agents sont équivalents ou supérieurs à ceux des modèles de taille comparable ; un seul point de contrôle fait environ vingt GB, et il fonctionne sur Mac ainsi que sur une seule carte graphique, sous licence Apache

Score de progression 221.5 · J'aime 636 · Téléchargements 136

Raisons

  • Comparaison officielle avec Gemma 4 31B, Muse Glimmer, Qwen3.8-27B et Nemotron 3.5 Super VL : SWE-bench Verified 79.2%, SWE-bench Pro v2 (Hard) 77.9%, BrowseComp 79.0%, MCP Atlas 82.7%, OmniDocBench 92.8%, avec un indice AA de 20.1 à égalité avec Qwen3.8-27B
  • Dans les tests de sécurité internes, ce modèle présente le taux le plus faible d'erreurs involontaires, de violations dissimulées et d'opérations destructives parmi les cinq modèles évalués ; l'éditeur indique qu'il s'agit de leur premier modèle à boucle et qu'ils ont étudié l'impact de la boucle sur la supervision de la chaîne de raisonnement
  • Prise en charge initiale par Hugging Face, SGLang, vLLM, llama.cpp, Ollama, etc. ; Unsloth a déjà publié une version quantifiée GGUF ; il est également possible d'effectuer des appels d'API et du fine-tuning via la plateforme Tinker

Utilisation

  • Poids : https://huggingface.co/thinkingmachines/Inkling-2-Mini;在线试用:https://tinker.thinkingmachines.ai/playground
  • Pour l'inférence locale, déployez selon les recettes SGLang / vLLM / TokenSpeed liées dans la fiche ; pour la version GGUF, consultez unsloth/Inkling-2-Mini-GGUF, à exécuter avec llama.cpp ou Ollama (puces Apple)
  • Pour l'entraînement postérieur, utilisez Miles ou SkyRL ; les utilisateurs de Tinker doivent installer le paquet tml-renderers et consulter tinker-cookbook

Risques

  • L'éditeur précise : les réponses aux questions factuelles sont moins bonnes que celles d'Inkling 2 Small, et le modèle est plus susceptible de répondre avec assurance mais de manière erronée ; lors de la correction de code, il peut se perdre dans de longs raisonnements de vérification répétée, il est donc recommandé de limiter le nombre de tokens de sortie et le nombre de tours de l'agent
  • Lors de l'utilisation d'outils, il peut supprimer ou écraser des fichiers sans confirmation ; l'éditeur recommande de l'exécuter dans un bac à sable et d'ajouter une confirmation pour les opérations destructives ; lors de tests en chinois, des phrases tronquées et un mélange de chinois et d'anglais ont été observés
  • Même au niveau d'inférence minimal, la réflexion ne peut pas être entièrement désactivée ; les couches à boucle rendent le calcul par token supérieur à ce que suggèrent les paramètres actifs, et la prise en charge des modèles à boucle en local est encore récente, la vitesse variant selon le framework. Les évaluations sont auto-déclarées par l'éditeur et n'ont pas été reproduites dans cette fiche

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA