原題:OVHaiLLM/Olala-v1.0-mini-7A1B
OVHcloud傘下のOVHai LLMが10月30日にアップロードし、11月19日に更新した後訓練モデル。総パラメータ数6.8B、トークンあたりのアクティブパラメータは約1B:36層のうち29層がMamba-3、7層がアテンション(この7層のみKVキャッシュを保持)、各層にMoE(256個のルーティング専門家から6個を選択、さらに1個の共有専門家を追加)、コンテキスト長は32K(128K版は近日リリース予定)。ドイツのJUPITER、フランスのJean Zay、ルクセンブルクのMeluXinaの3台のスーパーコンピュータで訓練:事前学習は12.8Tトークン(英語に加え36言語、主に欧州言語だが中国語、日本語、韓国語、アラビア語も含む)、その後、教師あり微調整と4段階の強化学習(指示と数学、コード、アシスタントの振る舞い、最大75ラウンドのツール呼び出しと検索)を実施。推論強度はdisabled / low / medium / highの4段階。同シリーズにはベースモデル、SFT版、および要約と翻訳の2つの専用版があり、すべてApache-2.0ライセンス。
なぜ重要か 欧州の3台のスーパーコンピュータで訓練、Apacheライセンス、ノートPCで動作可能;公式はすべてのベンチマーク比較、セキュリティテスト、および訓練時の炭素排出量を公開
上昇スコア 40 · いいね 40 · ダウンロード数 181
理由
- 公式は同一クラスタ、同一評価コードで19個のモデルを自社で評価:12項目の平均は68.0で、自社SFT版より15.2点高い;IFBench 57.7、HumanEval+ 88.3、AIME 2025 61.3、GPQA Diamond 50.5、BFCL V3 59.6
- 同表内のより小型のLFM3-1.7Bは多くの項目でより高いスコア(IFBench 70.0、AIME 2025 79.3)を示し、Qwen3.5-4BのGPQA Diamondは75.8;公式は、本モデルは指示遵守に強く、競技数学に弱いと説明
- セキュリティテストでは5,701件の攻撃プロンプトを使用:強化学習後、攻撃成功率は12.5%から6.3%に低下したが、正常なリクエストに対する誤拒否率は7.0%から10.7%に上昇;公式は、全訓練期間の消費電力は約1.16 GWh、排出量は約40トンCO₂eと報告
使い方
- デプロイ不要:OVHcloud AI Endpoints(OpenAI互換、欧州ホスティング)またはHugging Face Inference Providersを利用し、modelにOVHaiLLM/Olala-v1.0-mini-7A1B:ovhcloudを指定;Blade(Shadow)の無料スタート枠も利用可能
- 自社デプロイ:公式vLLMブランチまたはDockerイメージovhaillm/olala-vllm(NVIDIA GPU 24 GB以上、イメージにはドライバ580以上が必要)、起動時に必ず--mamba-ssm-cache-dtype float32を追加する必要があり、追加しないと長い生成で繰り返しが発生する;さらに--reasoning-parser olala --tool-call-parser olala --enable-auto-tool-choiceを追加、初回起動時のコンパイルは約8分
- ローカル実行:AppleチップM2以上で16 GBメモリならMLX版(5.4 GB)、M1、GPUなしのPC、または単一のNVIDIA GPUならGGUF版(6–14 GB)を使用、いずれも公式ブランチが必要;サンプリングパラメータはtemperature 0.8、top_p 0.9、top_k 40;微調整にはDockerイメージovhaillm/olala-ai-training(単一のH100、LoRA訓練後にマージ)を使用
リスク
- Ollama、LM Studio、および公式のllama.cpp、vLLM、mlx-lmは現在読み込み不可であり、OVHaiのブランチまたはホスティングサービスのみ利用可能
- テキストのみを処理;アクティブパラメータは約1Bで事実知識が少なく、公式は事実、数値、法律、医療、金融に関する質問では資料やツールを提供し、記憶に頼って回答させないことを推奨
- すべてのスコアは公式による自社評価;強化学習後、推論が長すぎて切り捨てられる割合は11.8%から15.0%に上昇。本項目は未実行