Оригинальное название: microsoft/Aion-1.0-Instruct-2.3B
Инструктивная модель, загруженная группой прикладных наук Microsoft Windows & Devices 11 18. Позиционируется как базовая малая модель в экосистеме Windows, заменяющая предыдущую системную малую модель Phi Silica. Около 2.29 млрд параметров (общие эмбеддинги входа и выхода), 28 слоев, из которых 21 слоев используют скользящее окно внимания с размером окна 2048, а 7 слоев — полное внимание (GQA, 24 голов запросов, 8 ключ-значений). Контекстное окно составляет 32,768 токенов, размер словаря — 200,029, дата отсечения знаний — 12 2025. Поддерживает 8 языков: английский, немецкий, испанский, португальский, итальянский, французский, китайский и японский. Основные задачи: понимание документов, суммаризация, перефразирование, ответы на вопросы и диалог; поддерживается формат вызова инструментов. Официальное заявление: оптимизированная версия с моделью модерации контента Microsoft станет системной малой моделью Windows до конца 1 2027 года. Сейчас опубликована не квантованная версия, квантованная выйдет позже. Лицензия MIT.
Почему это важно Официально заявлено, что оптимизированная версия с моделью модерации контента станет встроенной системной малой моделью Windows до конца января следующего года; это предварительный публичный релиз.
Рост рейтинга 47 · Лайки 67 · Загрузки 788
Причины
- Официальное тестирование с помощью lm-evaluation-harness: MMLU 55.15, MMLU-Pro 33.35, GPQA 28.18, GSM8K 74.91, MATH-500 48.00, IFEval 83.90, Multi-IF 64.70, IFBench 32.00; сравнения с другими моделями в карточке нет.
- Обучающие данные расширены на основе данных Phi Silica: строго отобранные общедоступные документы плюс новые синтетические данные для математики, кода и логического рассуждения; многоязычные данные составляют примерно 6%.
- Позиционируется как локальная обработка без передачи данных с устройства: многостраничные документы, длинные цепочки писем и технические спецификации можно целиком поместить в контекст размером 32K.
Использование
- Transformers 5.x: загрузка microsoft/Aion-1.0-Instruct-2.3B через AutoModelForCausalLM / AutoTokenizer; обязательно trust_remote_code=True (пользовательский код модели modeling_aion_instruct.py), dtype="auto", device_map="auto".
- Для диалога используйте прилагаемый шаблон chat_template.jinja, каждая реплика завершается тегом <|end|>; доступны переменные шаблона model_identity, knowledge_cutoff, current_date.
- Вызов инструментов: apply_chat_template(..., tools=tools) внедряет описание инструментов в системный промпт, модель выводит <|tool_call|>{"name": ..., "arguments": {...}}<|/tool_call|>, результат инструмента возвращается в пользовательскую реплику с префиксом <|tool_response|>; примеры кода доступны на GitHub microsoft/Aion-Instruct-Preview-Sample.
Риски
- Сейчас доступны только веса в формате BF16 safetensors; в карточке указаны ONNX и GGUF, но квантованные версии еще не загружены.
- Официально указано, что модель плохо справляется с фактическими знаниями о мире и сложными многошаговыми рассуждениями; показатели безопасности XPIA, DIC и ECI требуют улучшения в будущих версиях, модель подвержена влиянию состязательных промптов; при интеграции в систему будет использоваться отдельная модель модерации контента.
- В оценке представлены только собственные результаты без сравнения с моделями аналогичного размера; доля многоязычных данных невелика, качество генерации на неанглийских языках может быть нестабильным. Данный пункт не проверялся.