Raon-1 nano:韩英双语、能调工具的端侧小模型

《绝地求生》开发商 KRAFTON 旗下 KRAFTON AI 的稠密小模型:有效参数 1.5B,总参数 3.1B(含 1.5B 的逐层嵌入表),上下文 262,144 token,默认开思考模式。24 层里 18 层是线性注意力(Raon Delta Attention),只有 6 层 MLA 保留 KV 缓存,每 token 约 7 KiB。它由 Raon-1 mini preview(30B-A4B)经 MoE 转稠密剪枝和蒸馏得到,继续预训练 3T token,再做 SFT、在线蒸馏和强化学习。官方对比 Qwen3.5 2B、Gemma 4 E2B 等同级模型:IFBench 75.9、FACTS Grounding 44.4、KMMLU-Redux 50.9 均为表中最高,BFCL v4 为 56.3、低于 LFM3 1.7B 的 67.2。

原题:KRAFTON/Raon-1-nano

《绝地求生》开发商 KRAFTON 旗下 KRAFTON AI 的稠密小模型:有效参数 1.5B,总参数 3.1B(含 1.5B 的逐层嵌入表),上下文 262,144 token,默认开思考模式。24 层里 18 层是线性注意力(Raon Delta Attention),只有 6 层 MLA 保留 KV 缓存,每 token 约 7 KiB。它由 Raon-1 mini preview(30B-A4B)经 MoE 转稠密剪枝和蒸馏得到,继续预训练 3T token,再做 SFT、在线蒸馏和强化学习。官方对比 Qwen3.5 2B、Gemma 4 E2B 等同级模型:IFBench 75.9、FACTS Grounding 44.4、KMMLU-Redux 50.9 均为表中最高,BFCL v4 为 56.3、低于 LFM3 1.7B 的 67.2。

为什么重要 非英语本地化小模型的又一例,官方提供 GGUF、MLX、LiteRT-LM 版本,笔记本和苹果芯片上可本地跑

上升分 48 · 点赞 48 · 下载量 58

理由

  • 韩语和英语双语训练,对话中可调用工具,官方测试覆盖办公、手机操控、终端命令和搜索
  • 格式齐全:GGUF、MLX(4 位)、LiteRT-LM 都有官方版本,Apple 芯片可本地运行
  • 权重 Apache-2.0,可商用

用法

  • llama.cpp:编译 KRAFTON 的 raon-1-nano-preview 分支后 llama-cli -hf KRAFTON/Raon-1-nano-gguf:Q4_K_M --reasoning on
  • Apple 芯片:pip 安装 mlx==0.32.4 和 mlx-lm 后加载 KRAFTON/Raon-1-nano-mlx(trust_remote_code=True)
  • 官方推荐:日常对话 temperature 0.1、presence_penalty 1.5;智能体和代码 temperature 1.0

风险

  • vLLM 和 llama.cpp 暂时要用 KRAFTON 自己的分支,主线尚未合入
  • Office Work Bench 和 Chatbot Korean 是未公开的内部测试;模型卡没有说明中文能力
  • transformers 版逐 token 处理提示,长提示预填充慢;LiteRT-LM 版只有 4,096 token 上下文且不思考
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态