Raon-1 nano: Mô hình nhỏ chạy trên thiết bị, hỗ trợ song ngữ Hàn-Anh và có khả năng gọi công cụ

Mô hình nhỏ dạng đặc (dense) của KRAFTON AI, thuộc nhà phát triển PUBG là KRAFTON: tham số hiệu dụng 1.5B, tổng tham số 3.1B (bao gồm bảng nhúng theo từng lớp kích thước 1.5B), ngữ cảnh 262,144 token, chế độ suy luận được bật mặc định. Trong 24 lớp, có 18 lớp sử dụng cơ chế chú ý tuyến tính (Raon Delta Attention), chỉ có 6 lớp MLA giữ lại bộ nhớ đệm KV, mỗi token chiếm khoảng 7 KiB. Mô hình này được tạo ra từ phiên bản xem trước Raon-1 mini (30B-A4B) thông qua việc cắt tỉa và chưng cất từ MoE sang dạng đặc, tiếp tục tiền huấn luyện trên 3T token, sau đó thực hiện SFT, chưng cất trực tuyến và học tăng cường. So sánh chính thức với các mô hình cùng cấp như Qwen3.5 2B, Gemma 4 E2B: IFBench đạt 75.9, FACTS Grounding đạt 44.4, KMMLU-Redux đạt 50.9 đều là mức cao nhất trong bảng; BFCL v4 đạt 56.3, thấp hơn mức 67.2 của LFM3 1.7B.

Tiêu đề gốc: KRAFTON/Raon-1-nano

Mô hình nhỏ dạng đặc (dense) của KRAFTON AI, thuộc nhà phát triển PUBG là KRAFTON: tham số hiệu dụng 1.5B, tổng tham số 3.1B (bao gồm bảng nhúng theo từng lớp kích thước 1.5B), ngữ cảnh 262,144 token, chế độ suy luận được bật mặc định. Trong 24 lớp, có 18 lớp sử dụng cơ chế chú ý tuyến tính (Raon Delta Attention), chỉ có 6 lớp MLA giữ lại bộ nhớ đệm KV, mỗi token chiếm khoảng 7 KiB. Mô hình này được tạo ra từ phiên bản xem trước Raon-1 mini (30B-A4B) thông qua việc cắt tỉa và chưng cất từ MoE sang dạng đặc, tiếp tục tiền huấn luyện trên 3T token, sau đó thực hiện SFT, chưng cất trực tuyến và học tăng cường. So sánh chính thức với các mô hình cùng cấp như Qwen3.5 2B, Gemma 4 E2B: IFBench đạt 75.9, FACTS Grounding đạt 44.4, KMMLU-Redux đạt 50.9 đều là mức cao nhất trong bảng; BFCL v4 đạt 56.3, thấp hơn mức 67.2 của LFM3 1.7B.

Tại sao quan trọng Một ví dụ khác về mô hình nhỏ được bản địa hóa cho các ngôn ngữ không phải tiếng Anh, cung cấp chính thức các phiên bản GGUF, MLX và LiteRT-LM, có thể chạy cục bộ trên laptop và chip Apple

Điểm tăng 48 · Lượt thích 48 · Lượt tải xuống 58

Lý do

  • Được huấn luyện song ngữ tiếng Hàn và tiếng Anh, có thể gọi công cụ trong hội thoại, các bài kiểm tra chính thức bao phủ tác vụ văn phòng, điều khiển điện thoại, lệnh terminal và tìm kiếm
  • Định dạng đầy đủ: Có phiên bản chính thức cho GGUF, MLX (4 bit) và LiteRT-LM, có thể chạy cục bộ trên chip Apple
  • Trọng số theo giấy phép Apache-2.0, được phép sử dụng thương mại

Cách dùng

  • llama.cpp: Sau khi biên dịch nhánh raon-1-nano-preview của KRAFTON, chạy lệnh llama-cli -hf KRAFTON/Raon-1-nano-gguf:Q4_K_M --reasoning on
  • Chip Apple: Sau khi cài đặt pip mlx==0.32.4 và mlx-lm, tải mô hình từ KRAFTON/Raon-1-nano-mlx (trust_remote_code=True)
  • Khuyến nghị chính thức: Cho hội thoại hàng ngày, đặt temperature 0.1, presence_penalty 1.5; cho tác vụ agent và code, đặt temperature 1.0

Rủi ro

  • vLLM và llama.cpp tạm thời phải sử dụng nhánh riêng của KRAFTON, chưa được tích hợp vào phiên bản chính thức
  • Office Work Bench và Chatbot Korean là các bài kiểm tra nội bộ chưa công khai; thẻ mô hình không nêu rõ khả năng hỗ trợ tiếng Trung
  • Phiên bản transformers xử lý prompt theo từng token, khiến việc tiền điền (prefill) cho prompt dài bị chậm; phiên bản LiteRT-LM chỉ có ngữ cảnh 4,096 token và không có chế độ suy luận
  • Mục này chưa được chạy thử nghiệm, hiệu quả thực tế dựa trên thẻ mô hình

Mở

Hugging Face Trending

Xem tin AI mới nhất