Две языковые модели, созданные одним исследователем с нуля — от конвейера данных до ядер обучения: Praxis (общее количество параметров 2.94 млрд, активных за проход 0.46 млрд) и Logos (общее количество параметров 10.23 млрд, активных за проход 1.18 млрд). Обе представляют собой гибридные архитектуры MoE, сочетающие Mamba-2 и внимание, где каждый токен обрабатывается всей сетью дважды с использованием одних и тех же весов («посмотреть еще раз»). Каждая модель обучалась на 1.02 трлн токенов при длине контекста 131,072. Вторая половина отчета посвящена ошибкам: настроенный оптимизатор фактически не работал, модуль памяти n-gram научился отключать сам себя, пять решений по тонкой настройке привели к потере возможностей, а нормализация по среднему внутри группы приводила к тому, что награда за длину наказывала «правильные ответы с большим количеством слов»; авторы приводят доказательства и однострочное исправление через усечение.
Лайков 4 · Звезд в репозитории 0
Причины
- Явная ориентация на эффективность: авторы утверждают, что объем обучающих данных составляет примерно одну двенадцатую от медианы среди аналогичных открытых моделей, а количество активных параметров на токен меньше; модель находится на границе Парето по объему данных и вычислительным ресурсам; в математическом рейтинге занимает второе место среди 30 моделей (AIME 2025 67.50%).
- Готовность к использованию: веса Apache-2.0 доступны на Hugging Face, также есть версии FP8, NVFP4, GGUF и MLX 4/8-бит; собственный движок инференса авторов Dromos (Apache-2.0) поддерживает чипы NVIDIA, Apple и CPU, предоставляя интерфейс, совместимый с OpenAI.
- Записи об ошибках имеют ценность: проблема инверсии знака награды за длину при уровне прохождения внутри группы выше 2/3 является проверяемым «подводным камнем» для тех, кто занимается обучением рассуждений с подкреплением.
Использование
- Самый быстрый способ: выполните curl -fsSL https://github.com/lernex/dromos/releases/latest/download/install.sh | sh, затем запустите dromos run logos:fp8 для диалога в терминале или dromos serve logos:fp8 для запуска интерфейса, совместимого с OpenAI (порт 8080); команда dromos doctor покажет, какие форматы поддерживаются на вашем устройстве.
- Выбор формата в зависимости от видеокарты (согласно карточке модели): для 32 ГБ и выше используйте BF16, для 16/24 ГБ — FP8, для 8/12 ГБ — NVFP4 (читается только Dromos), для Mac — MLX, для CPU / ноутбуков — GGUF Q4_K_M (llama.cpp).
- Transformers: AutoModelForCausalLM.from_pretrained("Lernex/Metis-1.6-Logos", trust_remote_code=True), требуется transformers версии 4.57 или выше; для режима размышлений рекомендуется температура 0.8, штраф за повторение 1.05, не ниже 0.6.
Риски
- Авторы сами указывают на слабые стороны в коде, следовании инструкциям и работе с длинным контекстом; средний балл по 40 бенчмаркам занимает седьмое место среди 17 моделей в сравнительной группе, отставая от Qwen3-4B менее чем на один балл.
- Данные об ускорении декодирования Dromos относительно vLLM получены авторами при тестировании на одной карте RTX 5070 Ti; требуется trust_remote_code, а в llama.cpp / Ollama необходимо изменять окно штрафа за повторение согласно карточке модели, иначе режим размышлений может зацикливаться.
- Это личный проект, бенчмарки тестировались авторами в одной и той же оценочной системе, независимого воспроизведения результатов нет.