Inkling 2 Small : Modèle multimodal à poids ouverts de Thinking Machines

Modèle multimodal généraliste publié par Thinking Machines, acceptant en entrée du texte et des images et produisant du texte en sortie, destiné aux applications telles que les agents et l'appel d'outils, les assistants de programmation, la conversation et la recherche augmentée. L'architecture comprend un décodeur à 48 couches avec des couches feed-forward à experts épars, où chaque token sélectionne 8 experts parmi 384, combinant attention locale et globale ; le nombre total de paramètres est de 594B, avec 17B activés, et la longueur maximale du contexte est de 1M tokens. Selon les informations officielles, le pré-entraînement, l'entraînement intermédiaire et le post-entraînement ont tous été réalisés en précision NVFP4, ce qui explique la promotion principale des points de contrôle NVFP4. Une version MXFP8 est également disponible (selon les informations officielles, les évaluations ne sont supérieures que de 1–2 points de pourcentage).

Titre original : thinkingmachines/Inkling-2-Small

Modèle multimodal généraliste publié par Thinking Machines, acceptant en entrée du texte et des images et produisant du texte en sortie, destiné aux applications telles que les agents et l'appel d'outils, les assistants de programmation, la conversation et la recherche augmentée. L'architecture comprend un décodeur à 48 couches avec des couches feed-forward à experts épars, où chaque token sélectionne 8 experts parmi 384, combinant attention locale et globale ; le nombre total de paramètres est de 594B, avec 17B activés, et la longueur maximale du contexte est de 1M tokens. Selon les informations officielles, le pré-entraînement, l'entraînement intermédiaire et le post-entraînement ont tous été réalisés en précision NVFP4, ce qui explique la promotion principale des points de contrôle NVFP4. Une version MXFP8 est également disponible (selon les informations officielles, les évaluations ne sont supérieures que de 1–2 points de pourcentage).

Pourquoi c'est important Entraînement natif en formats basse précision, poids sous licence Apache, support immédiat par les principaux frameworks d'inférence et de post-entraînement, permettant un déploiement local ainsi que des ajustements personnalisés

Score de montée 95 · J'aime 95 · Téléchargements 12

Raisons

  • Dans le tableau d'évaluation officiel : BrowseComp (avec compression du contexte) 90.2%, DeepSWE 72.1%, ARC-AGI-2 81.7%, OmniDocBench 94.6% ; dans le même tableau, l'indice AA de DeepSeek-V4.1-Flash-1017 est de 32.6, supérieur à ses 30.6, avec des performances variables selon les métriques
  • L'écosystème de déploiement et d'entraînement est prêt : SGLang, vLLM, TokenSpeed et Unsloth proposent des recettes pour l'inférence locale, tandis que Miles, SkyRL, etc., permettent le post-entraînement ; Together, Baseten, Cloudflare, etc., offrent des API tierces
  • Les informations officielles incluent également des évaluations de sécurité (FORTRESS, StrongREJECT, etc.) et des liens vers les politiques d'utilisation

Utilisation

  • Essayez d'abord en ligne sur Tinker Playground ou utilisez l'API selon le Tinker Cookbook ; pour un ajustement via Tinker, installez également tml-renderers
  • En local : chargez thinkingmachines/Inkling-2-Small (NVFP4) en suivant les recettes SGLang / vLLM fournies dans la fiche du modèle ; si vous avez besoin de FP8, utilisez Inkling-2-Small-MXFP8

Risques

  • Exigences matérielles élevées : la version NVFP4 nécessite environ 500GB de mémoire vidéo au total (par exemple, 2 cartes B300 ou 4 cartes H200), tandis que la version MXFP8 en demande environ 800GB
  • Les tableaux de résultats sont fournis par les officiels ; certains scores des modèles comparés proviennent de classements tiers ou de partitions publiques, avec des configurations d'évaluation différentes
  • Cette entrée n'a pas été exécutée ; les performances doivent être vérifiées selon la fiche du modèle

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA