Olala 1.0 mini:OVHcloud 的欧洲混合 Mamba 小模型

OVHcloud 旗下 OVHai LLM 10 月 30 日上传、11 月 19 日更新的后训练模型。总参 6.8B、每 token 激活约 1B:36 层里 29 层 Mamba-3、7 层注意力(只有这 7 层留 KV 缓存),每层接 MoE(256 个路由专家选 6 个,另加 1 个共享专家),上下文 32K(128K 版即将推出)。在德国 JUPITER、法国 Jean Zay、卢森堡 MeluXina 三台超算上训练:预训练 12.8T token(英语加 36 种语言,大多是欧洲语言,也有中、日、韩、阿拉伯语),再做监督微调和四段强化学习(指令与数学、代码、助手行为、最多 75 轮的工具调用与搜索)。推理强度分 disabled / low / medium / high 四档。同系列还有基座、SFT 版和摘要、翻译两个专用版,均为 Apache-2.0。

原题:OVHaiLLM/Olala-v1.0-mini-7A1B

OVHcloud 旗下 OVHai LLM 10 月 30 日上传、11 月 19 日更新的后训练模型。总参 6.8B、每 token 激活约 1B:36 层里 29 层 Mamba-3、7 层注意力(只有这 7 层留 KV 缓存),每层接 MoE(256 个路由专家选 6 个,另加 1 个共享专家),上下文 32K(128K 版即将推出)。在德国 JUPITER、法国 Jean Zay、卢森堡 MeluXina 三台超算上训练:预训练 12.8T token(英语加 36 种语言,大多是欧洲语言,也有中、日、韩、阿拉伯语),再做监督微调和四段强化学习(指令与数学、代码、助手行为、最多 75 轮的工具调用与搜索)。推理强度分 disabled / low / medium / high 四档。同系列还有基座、SFT 版和摘要、翻译两个专用版,均为 Apache-2.0。

为什么重要 在欧洲三台超算上训练、Apache 许可、笔记本能跑;官方公开了全部基准对比、安全测试和训练碳排放

上升分 40 · 点赞 40 · 下载量 181

理由

  • 官方在同一集群、同一评测代码下自跑 19 个模型:12 项平均 68.0,比自家 SFT 版高 15.2 分;IFBench 57.7、HumanEval+ 88.3、AIME 2025 61.3、GPQA Diamond 50.5、BFCL V3 59.6
  • 同表里更小的 LFM3-1.7B 多数项更高(IFBench 70.0、AIME 2025 79.3),Qwen3.5-4B 的 GPQA Diamond 为 75.8;官方说它强在指令遵循、弱在竞赛数学
  • 安全测试 5,701 条攻击提示:强化学习后攻击成功率从 12.5% 降到 6.3%,但正常请求的误拒从 7.0% 升到 10.7%;官方称整个训练耗电约 1.16 GWh、排放约 40 吨 CO₂e

用法

  • 不想部署:OVHcloud AI Endpoints(OpenAI 兼容、欧洲托管)或抱脸 Inference Providers,model 写 OVHaiLLM/Olala-v1.0-mini-7A1B:ovhcloud;另有 Blade(Shadow)的免费起步额度
  • 自部署:官方 vLLM 分支或 Docker 镜像 ovhaillm/olala-vllm(NVIDIA 24 GB 以上,镜像要驱动 580 以上),启动必须加 --mamba-ssm-cache-dtype float32,否则长生成会陷入重复;再加 --reasoning-parser olala --tool-call-parser olala --enable-auto-tool-choice,首次启动编译约 8 分钟
  • 本地:Apple 芯片 M2 以上 16 GB 用 MLX 版(5.4 GB),M1、无显卡电脑或单张 N 卡用 GGUF 版(6–14 GB),都要用官方分支;采样 temperature 0.8、top_p 0.9、top_k 40;微调用 Docker 镜像 ovhaillm/olala-ai-training(单张 H100,训 LoRA 后合并)

风险

  • Ollama、LM Studio 和官方 llama.cpp、vLLM、mlx-lm 目前都加载不了,只能用 OVHai 的分支或托管服务
  • 只处理文本;激活参数约 1B,事实知识少,官方建议涉及事实、数字、法律医疗金融时给资料或工具,不要让它凭记忆回答
  • 全部分数是官方自跑;强化学习后推理超长被截断的比例从 11.8% 升到 15.0%。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态