データパイプラインから学習カーネルまで、研究者がゼロから構築した2つの言語モデル：Praxis（総パラメータ数 2.94B、各パスのアクティベーションパラメータ数 0.46B）と Logos（総パラメータ数 10.23B、各パスのアクティベーションパラメータ数 1.18B）。両モデルとも Mamba-2 とアテンションを混合した MoE 構造を採用し、同一の重みでネットワーク全体を各トークンにつき2回実行します（「もう一度見る」）。それぞれ 1.02T トークンで学習され、コンテキスト長は 131,072 です。レポートの後半では、設定したオプティマイザが実際には有効でなかったこと、n-gram メモリモジュールが自らを無効化することを学習してしまったこと、5つのファインチューニングの選択により能力が低下したこと、およびグループ内平均正規化において長さ報酬が「長く書かれた正解」をペナルティとして扱ってしまう問題など、失敗した点に焦点を当てています。著者はこれらの問題に対する証明と、1行での切り詰めによる修正を提供しています。
いいね 4 · コードのスター数 0
理由
- 効率重視の方針が明確：著者によれば、学習データ量は同種の公開モデルの中央値の約12分の1であり、トークンあたりのアクティベーションパラメータ数も少ないため、データ量と計算能力の両方のパレートフロンティア上に位置しています。数学ランキングでは 30 個のモデル中第2位（AIME 2025 67.50%）です。
- すぐに利用可能：Apache-2.0 ライセンスの重みが Hugging Face で公開されており、さらに FP8、NVFP4、GGUF、MLX 4/8bit バージョンも提供されています。著者が独自に開発した推論エンジン Dromos（Apache-2.0）は NVIDIA、Apple チップ、CPU をサポートし、OpenAI 互換インターフェースを提供します。
- 失敗の記録が参考になる：グループ内正答率が 2/3 を超えると長さ報酬の符号が反転する問題は、強化学習による推論訓練を行う人にとって直接確認できる落とし穴です。
使い方
- 最速の方法：curl -fsSL https://github.com/lernex/dromos/releases/latest/download/install.sh | sh を実行した後、dromos run logos:fp8 でターミナルで対話するか、dromos serve logos:fp8 で OpenAI 互換インターフェース（ポート 8080）を起動します。dromos doctor を使用すると、ローカルマシンでどの形式が実行可能かを確認できます。
- GPU に応じた形式の選択（モデルカード参照）：32 GB 以上なら BF16、16/24 GB なら FP8、8/12 GB なら NVFP4（Dromos のみ読み取り可能）、Mac なら MLX、CPU / ノートパソコンなら GGUF Q4_K_M（llama.cpp）を使用します。
- Transformers：AutoModelForCausalLM.from_pretrained("Lernex/Metis-1.6-Logos", trust_remote_code=True) を使用し、transformers バージョン 4.57 以上が必要です。思考モードでは temperature 0.8、repetition_penalty 1.05 を推奨し、0.6 未満にはしないでください。
リスク
- 著者自身が、コード生成、指示追従、長文コンテキストの性能が弱いことを明記しています。40 項目のベンチマーク平均スコアは比較対象の 17 個のモデル中第7位であり、Qwen3-4B との差は1点以内です。
- Dromos の vLLM に対するデコード高速化の数値は、著者が単一の RTX 5070 Ti でテストした結果に基づいています。trust_remote_code が必要であり、llama.cpp / Ollama を使用する場合はモデルカードに従って繰り返しペナルティのウィンドウを変更する必要があります。これを行わないと、思考モードでループに陥りやすくなります。
- 個人プロジェクトであり、ベンチマークは著者が同一の評価フレームワーク下で独自に測定したものであり、第三者による再現はありません。