Aion 1.0 Instruct: Mô hình nhỏ chạy trên thiết bị cho Microsoft Windows

Mô hình chỉ dẫn được tải lên bởi Nhóm Khoa học Ứng dụng của Microsoft Windows & Devices vào ngày 18 tháng 11, được định vị là mô hình nhỏ nền tảng trong hệ sinh thái Windows, thay thế cho mô hình hệ thống nhỏ thế hệ trước Phi Silica. Khoảng 2.29 tỷ tham số (chia sẻ embedding đầu vào và đầu ra), gồm 28 lớp, trong đó 21 lớp sử dụng cơ chế chú ý cửa sổ trượt với kích thước cửa sổ 2048, còn 7 lớp sử dụng cơ chế chú ý toàn bộ (GQA, với 24 head truy vấn và 8 head KV), độ dài ngữ cảnh 32,768 token, từ vựng gồm 200,029 từ, dữ liệu kiến thức cập nhật đến tháng 12 năm 2025. Hỗ trợ 8 ngôn ngữ bao gồm tiếng Anh, Đức, Tây Ban Nha, Bồ Đào Nha, Ý, Pháp, Trung và Nhật, tập trung vào hiểu tài liệu, tóm tắt, viết lại, hỏi đáp và hội thoại, kèm theo định dạng gọi công cụ. Theo thông báo chính thức: phiên bản được tối ưu hóa thêm với mô hình kiểm duyệt nội dung của Microsoft sẽ trở thành mô hình hệ thống nhỏ trên Windows trước cuối tháng 1 năm 2027, lần này phát hành trước phiên bản chưa lượng tử hóa, phiên bản lượng tử hóa sẽ được ra mắt sau. Giấy phép MIT.

Tiêu đề gốc: microsoft/Aion-1.0-Instruct-2.3B

Mô hình chỉ dẫn được tải lên bởi Nhóm Khoa học Ứng dụng của Microsoft Windows & Devices vào ngày 18 tháng 11, được định vị là mô hình nhỏ nền tảng trong hệ sinh thái Windows, thay thế cho mô hình hệ thống nhỏ thế hệ trước Phi Silica. Khoảng 2.29 tỷ tham số (chia sẻ embedding đầu vào và đầu ra), gồm 28 lớp, trong đó 21 lớp sử dụng cơ chế chú ý cửa sổ trượt với kích thước cửa sổ 2048, còn 7 lớp sử dụng cơ chế chú ý toàn bộ (GQA, với 24 head truy vấn và 8 head KV), độ dài ngữ cảnh 32,768 token, từ vựng gồm 200,029 từ, dữ liệu kiến thức cập nhật đến tháng 12 năm 2025. Hỗ trợ 8 ngôn ngữ bao gồm tiếng Anh, Đức, Tây Ban Nha, Bồ Đào Nha, Ý, Pháp, Trung và Nhật, tập trung vào hiểu tài liệu, tóm tắt, viết lại, hỏi đáp và hội thoại, kèm theo định dạng gọi công cụ. Theo thông báo chính thức: phiên bản được tối ưu hóa thêm với mô hình kiểm duyệt nội dung của Microsoft sẽ trở thành mô hình hệ thống nhỏ trên Windows trước cuối tháng 1 năm 2027, lần này phát hành trước phiên bản chưa lượng tử hóa, phiên bản lượng tử hóa sẽ được ra mắt sau. Giấy phép MIT.

Tại sao quan trọng Chính thức cho biết phiên bản được tối ưu hóa với mô hình kiểm duyệt nội dung sẽ trở thành mô hình hệ thống tích hợp sẵn trên Windows trước cuối tháng Một năm tới, đây là bản xem trước được công bố sớm

Điểm tăng 47 · Lượt thích 67 · Lượt tải xuống 788

Lý do

  • Tự đánh giá bởi nhóm phát triển chính thức sử dụng lm-evaluation-harness: MMLU 55.15, MMLU-Pro 33.35, GPQA 28.18, GSM8K 74.91, MATH-500 48.00, IFEval 83.90, Multi-IF 64.70, IFBench 32.00; thẻ mô hình không có so sánh với các mô hình khác
  • Dữ liệu huấn luyện được mở rộng từ dữ liệu của Phi Silica: bao gồm tài liệu công khai đã qua sàng lọc nghiêm ngặt cùng dữ liệu tổng hợp mới tạo cho toán học, mã nguồn và suy luận thường thức, dữ liệu đa ngôn ngữ chiếm khoảng 6%
  • Định vị là xử lý cục bộ trên thiết bị mà không cần gửi dữ liệu ra ngoài: các tài liệu nhiều trang, chuỗi email dài và đặc tả kỹ thuật có thể được đưa nguyên vẹn vào ngữ cảnh 32K

Cách sử dụng

  • Transformers 5.x: Sử dụng AutoModelForCausalLM / AutoTokenizer để tải microsoft/Aion-1.0-Instruct-2.3B, bắt buộc phải đặt trust_remote_code=True (do mã mô hình tùy chỉnh modeling_aion_instruct.py), dtype="auto", device_map="auto"
  • Đối với hội thoại, sử dụng chat_template.jinja đi kèm trong kho lưu trữ, mỗi lượt kết thúc bằng <|end|>; các biến mẫu tùy chọn bao gồm model_identity, knowledge_cutoff, current_date
  • Gọi công cụ: sử dụng apply_chat_template(..., tools=tools) để chèn mô tả công cụ vào lời nhắc hệ thống, đầu ra của mô hình có dạng <|tool_call|>{"name": ..., "arguments": {...}}<|/tool_call|>, kết quả công cụ được bắt đầu bằng <|tool_response|> và đưa lại vào lượt người dùng; mã ví dụ có sẵn trên GitHub microsoft/Aion-Instruct-Preview-Sample

Rủi ro

  • Hiện tại chỉ có định dạng safetensors BF16; thẻ mô hình liệt kê ONNX, GGUF nhưng phiên bản lượng tử hóa chưa được tải lên
  • Chính thức thừa nhận rằng mô hình không mạnh về kiến thức thế giới, dễ mắc lỗi trong suy luận đa bước phức tạp; các chỉ số an toàn XPIA, DIC, ECI cần được cải thiện trong các phiên bản sau, và dễ bị đánh lừa bởi các lời nhắc đối kháng; khi tích hợp vào hệ thống sẽ đi kèm với một mô hình kiểm duyệt nội dung riêng
  • Đánh giá chỉ dựa trên điểm số tự đo, không có so sánh với các mô hình cùng kích thước; tỷ lệ dữ liệu đa ngôn ngữ thấp nên chất lượng đầu ra ngoài tiếng Anh có thể không đồng đều. Mục này chưa được chạy thử nghiệm

Mở

Hugging Face Trending

Xem tin AI mới nhất