원제: OVHaiLLM/Olala-v1.0-mini-7A1B
OVHcloud 산하 OVHai LLM이 10월 30일에 업로드하고 11월 19일에 업데이트한 후처리(post-training) 모델입니다. 총 파라미터는 6.8B이며, 토큰당 활성화 파라미터는 약 1B입니다. 36개 레이어 중 29개는 Mamba-3 레이어이고, 7개는 어텐션 레이어입니다(KV 캐시는 이 7개 레이어에만 유지됨). 각 레이어에는 MoE(혼합 전문가)가 연결되어 있으며, 256개의 라우팅 전문가 중 6개를 선택하고 추가로 1개의 공유 전문가를 사용합니다. 컨텍스트 길이는 32K이며(128K 버전은 곧 출시 예정), 독일의 JUPITER, 프랑스의 Jean Zay, 룩셈부르크의 MeluXina 등 세 대의 슈퍼컴퓨터에서 학습되었습니다. 사전 학습에는 12.8T개의 토큰이 사용되었으며(영어와 36개 언어 포함, 대부분 유럽 언어이며 중국어, 일본어, 한국어, 아랍어도 포함), 이후 지도 학습 미세 조정(SFT)과 4단계의 강화 학습(지시문 및 수학, 코드, 어시스턴트 행동, 최대 75라운드의 도구 호출 및 검색)을 수행했습니다. 추론 강도는 disabled / low / medium / high의 4단계로 구분됩니다. 같은 시리즈에는 기본 모델, SFT 버전, 그리고 요약 및 번역용 전용 버전 두 가지가 있으며, 모두 Apache-2.0 라이선스를 따릅니다.
왜 중요한가 유럽의 세 대 슈퍼컴퓨터에서 학습되었고, Apache 라이선스를 적용했으며, 노트북에서도 실행 가능합니다. 공식적으로 모든 벤치마크 비교, 보안 테스트 및 학습 탄소 배출량이 공개되었습니다.
상승 점수 40 · 좋아요 40 · 다운로드 수 181
이유
- 공식적으로 동일한 클러스터 및 동일한 평가 코드를 사용하여 19개의 모델을 자체 실행한 결과: 12개 항목의 평균 점수가 68.0로, 자사의 SFT 버전보다 15.2점 높음; IFBench 57.7, HumanEval+ 88.3, AIME 2025 61.3, GPQA Diamond 50.5, BFCL V3 59.6
- 같은 표에서 더 작은 LFM3-1.7B 모델은 대부분의 항목에서 더 높은 점수를 기록함(IFBench 70.0, AIME 2025 79.3). Qwen3.5-4B의 GPQA Diamond 점수는 75.8임. 공식적으로 이 모델은 지시문 준수 능력은 강하지만 경쟁 수학 능력은 약하다고 설명함
- 보안 테스트로 5,701개의 공격 프롬프트를 사용함: 강화 학습 후 공격 성공률이 12.5%에서 6.3%으로 감소했으나, 정상 요청에 대한 오탐지 거절률은 7.0%에서 10.7%으로 증가함. 공식적으로 전체 학습 과정에서 약 1.16 GWh의 전력을 소비하고 약 40톤의 CO₂e를 배출했다고 밝힘
사용법
- 배포를 원하지 않는 경우: OVHcloud AI Endpoints(OpenAI 호환, 유럽 호스팅) 또는 Hugging Face Inference Providers를 사용하세요. model 필드에는 OVHaiLLM/Olala-v1.0-mini-7A1B:ovhcloud로 입력합니다. 또한 Blade(Shadow)의 무료 시작 크레딧도 있습니다.
- 자체 배포: 공식 vLLM 분기(fork) 또는 Docker 이미지 ovhaillm/olala-vllm(NVIDIA GPU VRAM 24GB 이상, 이미지는 드라이버 580 이상 필요)을 사용하세요. 시작 시 반드시 --mamba-ssm-cache-dtype float32을 추가해야 하며, 그렇지 않으면 긴 생성 시 반복 현상에 빠질 수 있습니다. 또한 --reasoning-parser olala --tool-call-parser olala --enable-auto-tool-choice를 추가하세요. 첫 번째 시작 시 컴파일에는 약 8분이 소요됩니다.
- 로컬 실행: Apple 실리콘 M2 이상 및 16GB RAM 이상에서는 MLX 버전(5.4GB)을 사용하세요. M1, 그래픽 카드가 없는 컴퓨터 또는 단일 NVIDIA GPU에서는 GGUF 버전(6–14GB)을 사용하세요. 두 경우 모두 공식 분기를 사용해야 합니다. 샘플링 설정은 temperature 0.8, top_p 0.9, top_k 40을 권장합니다. 미세 조정은 Docker 이미지 ovhaillm/olala-ai-training(단일 H100 GPU, LoRA 학습 후 병합)을 사용하세요.
위험 요소
- Ollama, LM Studio 및 공식 llama.cpp, vLLM, mlx-lm은 현재 로드할 수 없으므로 OVHai의 분기나 호스팅 서비스만 사용할 수 있습니다.
- 텍스트만 처리합니다. 활성화 파라미터가 약 1B로 사실 지식이 적으므로, 공식적으로는 사실, 숫자, 법률, 의료, 금융 관련 질문에는 자료나 도구를 제공하거나 검색을 사용하도록 권장하며, 모델이 기억에 의존해 답변하지 않도록 주의해야 합니다.
- 모든 점수는 공식적으로 직접 실행한 결과입니다. 강화 학습 후 추론이 너무 길어져 잘리는 비율이 11.8%에서 15.0%로 증가했습니다. 이 항목은 실행되지 않았습니다.