Titre original : microsoft/Aion-1.0-Instruct-2.3B
Modèle d'instructions publié par le groupe Applied Sciences de Microsoft Windows & Devices le 18 11, conçu comme un petit modèle de base pour l'écosystème Windows, succédant au petit modèle système de génération précédente Phi Silica. Environ 2.29 milliards de paramètres (embeddings d'entrée et de sortie partagés), 28 couches, dont 21 couches d'attention à fenêtre glissante de taille 2048 et 7 couches d'attention complète (GQA, 24 têtes de requête, 8 têtes KV), contexte de 32,768 tokens, vocabulaire de 200,029, date de coupure des connaissances en 12 2025. Prend en charge 8 langues : anglais, allemand, espagnol, portugais, italien, français, chinois et japonais. Conçu principalement pour la compréhension de documents, le résumé, la reformulation, le question-réponse et le dialogue, avec un format d'appel d'outils. Note officielle : une version optimisée intégrant le modèle de modération de contenu de Microsoft deviendra le petit modèle système de Windows d'ici la fin du mois de 1 2027. Cette publication propose d'abord la version non quantifiée, la version quantifiée suivra. Licence MIT.
Pourquoi c'est important Selon l'annonce officielle, la version optimisée intégrant le modèle de modération de contenu deviendra le petit modèle intégré au système Windows d'ici la fin janvier de l'année prochaine ; il s'agit d'une préversion publiée en avance
Score de progression 47 · J'aime 67 · Téléchargements 788
Raisons
- Tests internes officiels via lm-evaluation-harness : MMLU 55.15, MMLU-Pro 33.35, GPQA 28.18, GSM8K 74.91, MATH-500 48.00, IFEval 83.90, Multi-IF 64.70, IFBench 32.00 ; aucune comparaison avec d'autres modèles n'est fournie
- Données d'entraînement étendues à partir de celles de Phi Silica : documents publics rigoureusement filtrés, complétés par des données synthétiques nouvellement créées pour les mathématiques, le code et le raisonnement de sens commun ; les données multilingues représentent environ 6%
- Positionnement : traitement local sans sortie des données de l'appareil ; les documents multi-pages, les longues chaînes d'e-mails et les spécifications techniques peuvent être intégrés dans un contexte de 32K tokens
Utilisation
- Transformers 5.x : charger microsoft/Aion-1.0-Instruct-2.3B avec AutoModelForCausalLM / AutoTokenizer ; trust_remote_code=True est obligatoire (code de modèle personnalisé modeling_aion_instruct.py), dtype="auto", device_map="auto"
- Pour les dialogues, utiliser le chat_template.jinja fourni dans le dépôt ; chaque tour se termine par <|end|> ; variables de template optionnelles : model_identity, knowledge_cutoff, current_date
- Appels d'outils : apply_chat_template(..., tools=tools) injecte la description des outils dans le prompt système ; le modèle produit <|tool_call|>{"name": ..., "arguments": {...}}<|/tool_call|> ; les résultats des outils sont renvoyés dans le tour utilisateur en commençant par <|tool_response|> ; exemples de code disponibles sur GitHub microsoft/Aion-Instruct-Preview-Sample
Risques
- Seuls les fichiers safetensors BF16 sont actuellement disponibles ; ONNX et GGUF sont mentionnés, mais les versions quantifiées n'ont pas encore été publiées
- Microsoft indique explicitement que le modèle n'est pas performant en connaissances factuelles et peut commettre des erreurs dans les raisonnements complexes multi-étapes ; les métriques de sécurité XPIA, DIC et ECI doivent encore être améliorées dans les versions futures, et le modèle est vulnérable aux prompts adversariaux ; un modèle de modération de contenu sera intégré séparément lors de l'intégration système
- Les évaluations ne présentent que des scores internes, sans comparaison avec des modèles de taille similaire ; la proportion de données multilingues est faible, la qualité des sorties non anglaises peut être inégale. Cette entrée n'a pas été exécutée