Olala 1.0 mini: европейская гибридная малая модель Mamba от OVHcloud

Пост-обученная модель от OVHai LLM (подразделение OVHcloud), загруженная 10 30 и обновленная 11 19. Всего параметров 6.8 млрд, активация на токен составляет около 1 млрд: из 36 слоев 29 являются слоями Mamba-3, а 7 — слоями внимания (только эти 7 слоев сохраняют кэш KV). Каждый слой оснащен MoE (выбор 6 из 256 маршрутизируемых экспертов плюс 1 общих экспертов), контекстное окно составляет 32K (версия 128K скоро выйдет). Обучение проводилось на трех суперкомпьютерах: JUPITER в Германии, Jean Zay во Франции и MeluXina в Люксембурге. Предварительное обучение на 12.8 трлн токенов (английский язык плюс 36 других языков, преимущественно европейских, а также китайский, японский, корейский и арабский), затем дообучение с учителем и четыре этапа обучения с подкреплением (инструкции и математика, код, поведение ассистента, вызов инструментов и поиск с максимум 75 итерациями). Интенсивность рассуждений имеет четыре уровня: disabled / low / medium / high. В той же серии также есть базовая модель, версия SFT и две специализированные версии для суммаризации и перевода, все под лицензией Apache-2.0.

Оригинальное название: OVHaiLLM/Olala-v1.0-mini-7A1B

Пост-обученная модель от OVHai LLM (подразделение OVHcloud), загруженная 10 30 и обновленная 11 19. Всего параметров 6.8 млрд, активация на токен составляет около 1 млрд: из 36 слоев 29 являются слоями Mamba-3, а 7 — слоями внимания (только эти 7 слоев сохраняют кэш KV). Каждый слой оснащен MoE (выбор 6 из 256 маршрутизируемых экспертов плюс 1 общих экспертов), контекстное окно составляет 32K (версия 128K скоро выйдет). Обучение проводилось на трех суперкомпьютерах: JUPITER в Германии, Jean Zay во Франции и MeluXina в Люксембурге. Предварительное обучение на 12.8 трлн токенов (английский язык плюс 36 других языков, преимущественно европейских, а также китайский, японский, корейский и арабский), затем дообучение с учителем и четыре этапа обучения с подкреплением (инструкции и математика, код, поведение ассистента, вызов инструментов и поиск с максимум 75 итерациями). Интенсивность рассуждений имеет четыре уровня: disabled / low / medium / high. В той же серии также есть базовая модель, версия SFT и две специализированные версии для суммаризации и перевода, все под лицензией Apache-2.0.

Почему это важно Обучение на трех европейских суперкомпьютерах, лицензия Apache, возможность запуска на ноутбуке; официально опубликованы все сравнительные бенчмарки, тесты безопасности и данные о выбросах углерода при обучении

Рост рейтинга 40 · Лайки 40 · Загрузки 181

Причины

  • Официально на одном кластере и с одним кодом оценки протестировано 19 моделей: среднее значение по 12 метрикам составляет 68.0, что на 15.2 балла выше, чем у собственной версии SFT; IFBench 57.7, HumanEval+ 88.3, AIME 2025 61.3, GPQA Diamond 50.5, BFCL V3 59.6
  • В той же таблице меньшая модель LFM3-1.7B показывает лучшие результаты по большинству метрик (IFBench 70.0, AIME 2025 79.3), у Qwen3.5-4B показатель GPQA Diamond составляет 75.8; официально указано, что модель сильна в следовании инструкциям, но слаба в олимпиадной математике
  • Тесты безопасности с 5,701 атакующими промптами: после обучения с подкреплением успешность атак снизилась с 12.5% до 6.3%, но ложные отказы на обычные запросы выросли с 7.0% до 10.7%; официально заявлено, что общее энергопотребление при обучении составило около 1.16 ГВт·ч, а выбросы — около 40 тонн CO₂e

Использование

  • Без развертывания: OVHcloud AI Endpoints (совместимость с OpenAI, хостинг в Европе) или Hugging Face Inference Providers, в поле model указать OVHaiLLM/Olala-v1.0-mini-7A1B:ovhcloud; также доступен бесплатный стартовый пакет от Blade (Shadow)
  • Самостоятельное развертывание: официальная ветка vLLM или Docker-образ ovhaillm/olala-vllm (требуется NVIDIA 24 ГБ и выше, драйвер в образе должен быть версии 580 и выше). При запуске обязательно нужно добавить --mamba-ssm-cache-dtype float32, иначе при длинной генерации возникнут повторения; также добавьте --reasoning-parser olala --tool-call-parser olala --enable-auto-tool-choice, первая компиляция при запуске занимает около 8 минут
  • Локально: на чипах Apple M2 и выше с 16 ГБ ОЗУ используйте версию MLX (5.4 ГБ), на M1, компьютерах без видеокарты или с одной видеокартой NVIDIA — версию GGUF (6–14 ГБ), в обоих случаях требуется официальная ветка; параметры сэмплирования: temperature 0.8, top_p 0.9, top_k 40; для дообучения используйте Docker-образ ovhaillm/olala-ai-training (одна видеокарта H100, обучение LoRA с последующим слиянием)

Риски

  • Ollama, LM Studio, а также официальные версии llama.cpp, vLLM и mlx-lm в настоящее время не могут загрузить модель; доступны только ветки OVHai или хостинговые сервисы
  • Модель работает только с текстом; количество активных параметров составляет около 1 млрд, фактических знаний мало. Официально рекомендуется предоставлять источники или инструменты при работе с фактами, числами, юридическими, медицинскими и финансовыми вопросами, не полагаясь на память модели
  • Все результаты получены официальными тестами; после обучения с подкреплением доля случаев, когда длинные цепочки рассуждений обрывались, выросла с 11.8% до 15.0%. Данный пункт не проверялся

Открыть

Hugging Face Trending

Открыть последние новости ИИ