Базовая модель для агентов от Университета Дьюка, ByteDance, Мэрилендского университета и Университета Буффало, обучение которой состоит всего из трех этапов: два этапа легкого SFT и обучение с подкреплением, без выделенного промежуточного обучения, DPO или онлайн-дистилляции. Первый этап SFT тренирует рассуждения, не зависящие от инструментов: после генерации сложных задач, для тех, которые базовая модель уже решает, сложность повышается за счет комбинирования, параметризации, изменения диапазонов значений и разбора случаев, при этом после каждого изменения проверяется эталонный ответ; на втором этапе используются общедоступные базы данных, такие как каталог экзопланет NASA, OurAirports, OpenAlex, UniProt и Ensembl, где программа сначала отбирает записи и вычисляет единственный эталонный ответ, а затем большая модель генерирует задачи, при этом модель может искать доказательства только с помощью поиска, веб-страниц и Python; на финальном этапе асинхронный GRPO усиливает долгосрочное взаимодействие с инструментами. Помимо весов, опубликованы конструирование данных, генерация, фильтрация, валидация, промпты и код обучения.
Лайки 39 · Звезды в коде 37
Причины
- Результаты из статьи, перечисленные в README: Axion 1.0-122B (на базе Qwen3.5-122B-A10B) показывает 59.0 на полном HLE с ограничением доступа к сайтам, 87.0 на FrontierScience Olympiad и 66.7 на FrontierScience Research; Axion 1.0-35B (на базе Qwen3.6-35B-A3B, активировано 3B) показывает 62.2 на SEAL-0; авторы заявляют, что на некоторых агентных бенчмарках модель сопоставима с ведущими коммерческими моделями.
- Дешевое обучение: в README указано, что первый этап SFT использует 10,819 траекторий, а второй — 7,544 траекторий (примерно 312 млн токенов); два этапа SFT на 32 картах занимают примерно 90 GPU-часов для модели 35B и примерно 240 GPU-часов для модели 122B.
- Воспроизводимость: обучающие данные находятся на Hugging Face Axion1-0/axion-training-data, код под лицензией Apache-2.0 (для SFT используются Swift + Megatron-FSDP, для RL — verl); Axion1-0/Axion-1.0-35B на Hugging Face — это чекпоинт, воспроизведенный по рецептуре (Apache-2.0), в карточке модели указано, что воспроизведенная версия показывает 52.8 на HLE и 60.4 на SEAL-0, что близко к версии из статьи; количество лайков на Hugging Face за день составляет 39, а звезд в коде — 37 (отражает только уровень внимания).
Использование
- Развертывание воспроизведенной версии (в примере из карточки модели используются 8 карты, можно настроить в зависимости от объема видеопамяти): vllm serve Axion1-0/Axion-1.0-35B --served-model-name axion-35b --tensor-parallel-size 8 --dtype bfloat16 --max-model-len 131072 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder, затем вызов через совместимый с OpenAI интерфейс.
- Генерация данных / оценка: git clone https://github.com/bytedance/axion1_0.git，另建, в окружении Python 3.11+ выполните python -m pip install -e ".[data,evaluation]", следуйте README в axion/datagen/stage1 и stage2 для генерации данных двух этапов; axion/evaluation отвечает за подготовку данных и оценку для FrontierScience, HiPhO, HLE-130 и SEAL-0.
- Обучение: следуйте axion/training/README.md для выполнения двух этапов SFT и асинхронного GRPO; обученные чекпоинты необходимо сначала экспортировать в формат Hugging Face, а затем запускать сервис через vLLM.
Риски
- В README чекпоинт 35B назван версией, воспроизведенной сообществом, а не официальным чекпоинтом Axion; веса для версии 122B из статьи, а также для вариантов 4B / 9B, обученных только с SFT, не найдены.
- Для агентной оценки требуется внешняя фреймворк для выполнения вызовов инструментов, скрипты оценки в репозитории выполняют только подготовку данных и подсчет баллов; для RL необходимо распределять rollout, обучение и вспомогательные сервисы по разным пулам GPU, что создает высокий порог для воспроизведения.
- В сравнительной таблице базовые баллы, отмеченные *, измерены командой Axion самостоятельно, остальные взяты из официальных отчетов; все баллы предоставлены авторами.