Оригинальное название: ByteDance утверждает, что большинство этапов обучения ИИ не нужны, и подтверждает это конкурентоспособной открытой моделью
Согласно The Decoder, исследователи из ByteDance, Университета Дьюка, Мэрилендского университета и Университета Буффало представили базовую агентную модель Axion 1.0. Обучение состоит всего из трёх этапов: два раунда лёгкого контролируемого дообучения (SFT) и один раунд обучения с подкреплением, без специального промежуточного обучения, DPO или онлайн-дистилляции. В техническом отчёте указано, что на первом этапе использовались задачи на рассуждения повышенной сложности, основанные на стратегиях решения базовой модели, а на втором — задачи вызова инструментов, сконструированные из реальных источников данных с автоматически проверяемыми ответами; финальный этап обучения с подкреплением направлен на улучшение способностей к длинному контекстному рассуждению и взаимодействию с инструментами. В статье утверждается, что модель конкурирует с ведущими коммерческими моделями по ряду агентных бенчмарков. В репозитории GitHub опубликованы код для конструирования данных, фильтрации, промпты и скрипты обучения; обучающие данные размещены на Hugging Face. Две версии модели обучены на базе Qwen3.6-35B-A3B и Qwen3.5-122B-A10B.
Почему это важно Процессы обучения агентных моделей становятся всё сложнее и труднее воспроизводимыми; этот случай показывает, что простая рецептура может приблизиться к уровню коммерческих моделей, позволяя открытому сообществу воспроизводить и улучшать её.
Достоверность: Высокая · Источник: GitHub ByteDance (axion1_0) и ещё 3 источников (включая официальные) · Дата события: 11-21 17:17 (пекинское время)
Обоснование
- В репозитории GitHub ByteDance и техническом отчёте на arXiv опубликована полная рецептура обучения
- Репортаж The Decoder
Использование
- В репозитории GitHub bytedance/axion1_0 доступны код обучения и инструкции по воспроизведению; обучающие данные находятся в датасете Hugging Face Axion1-0/axion-training-data
Риски
- В README репозитория указано, что версия Axion 1.0-35B на Hugging Face является общинной реализацией, а не официальными весами
- Результаты некоторых моделей сравнения были оценены командой Axion самостоятельно (в README отмечено звёздочкой); технический отчёт был опубликован на arXiv 2 11, в данном обзоре информация приведена со ссылкой на медиа-освещение
Открыть · GitHub ByteDance (axion1_0) · Технический отчёт на arXiv