Axion 1.0-35B: Общественная репродукция модели агента научного рассуждения

Axion 1.0 — это открытый рецепт базовой агентной модели, предложенный командами Университета Дьюка, ByteDance и других: сначала выполняется SFT на сложных научных задачах (обучение рассуждению), затем SFT на верифицируемых задачах, требующих поиска информации и использования инструментов (обучение исследованию), и наконец, обучение с подкреплением на агентных траекториях; объем данных SFT составляет около 1.8 тысяч примеров. Этот репозиторий содержит контрольную точку репродукции 35B, обученную по данному рецепту (общее количество параметров около 350 миллиардов, активных параметров около 30 миллиардов, базовая модель — Qwen3.6-35B-A3B). Авторы сообщают о результатах 52.8 на HLE, 60.4 на SEAL-0 и 85.0 на олимпиадных задачах FrontierScience, что близко к значениям 52.2, 62.2 и 86.0, указанным в статье.

Оригинал: Axion1-0/Axion-1.0-35B

Axion 1.0 — это открытый рецепт базовой агентной модели, предложенный командами Университета Дьюка, ByteDance и других: сначала выполняется SFT на сложных научных задачах (обучение рассуждению), затем SFT на верифицируемых задачах, требующих поиска информации и использования инструментов (обучение исследованию), и наконец, обучение с подкреплением на агентных траекториях; объем данных SFT составляет около 1.8 тысяч примеров. Этот репозиторий содержит контрольную точку репродукции 35B, обученную по данному рецепту (общее количество параметров около 350 миллиардов, активных параметров около 30 миллиардов, базовая модель — Qwen3.6-35B-A3B). Авторы сообщают о результатах 52.8 на HLE, 60.4 на SEAL-0 и 85.0 на олимпиадных задачах FrontierScience, что близко к значениям 52.2, 62.2 и 86.0, указанным в статье.

Почему это важно Обучение использует только два этапа SFT и обучение с подкреплением, данные, код и веса репродукции полностью открыты, что подходит для исследователей, изучающих рецепты обучения агентов

Рост рейтинга 72 · Лайки 73 · Загрузки 1315

Причины

  • Ориентация на научные сценарии: научное рассуждение, поиск информации и решение задач с использованием инструментов; в карточке модели результаты оригинальной версии и репродукции приведены рядом
  • Набор данных для обучения и полный код обучения (генерация и фильтрация данных, двухэтапный SFT, асинхронное обучение с подкреплением, оценка) опубликованы на GitHub bytedance/axion1_0 под лицензией Apache-2.0

Использование

  • vllm serve Axion1-0/Axion-1.0-35B; в примере используются 8 карты с тензорным параллелизмом, контекст 131072, включены флаги --reasoning-parser qwen3 и --tool-call-parser qwen3_coder
  • Для выполнения агентных задач с использованием инструментов требуется дополнительная настройка фреймворка для исполнения вызовов инструментов, см. руководство по инференсу в репозитории GitHub

Риски

  • В описании на GitHub указано, что это общественная репродукция, а не официальная контрольная точка Axion
  • В сравнительной таблице результаты других моделей в основном взяты из их официальных отчетов, условия оценки не полностью идентичны
  • Данный пункт не был выполнен, фактические результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ