Agent-R²: Обучение небольших агентов на задачах офисной работы, синтезированных из реальных веб-файлов

Агентам на базе больших языковых моделей всё ещё сложно выполнять реальную офисную работу: необходимо проходить длинные рабочие процессы, понимать вложения различных форматов и создавать готовые к использованию результаты, при этом данных для постобучения, приближенных к реальным рабочим задачам, очень мало. Agent-R² не полагается на ручное описание процессов или генерацию файлов большими моделями, а исходит из реальных профессиональных задач-затравок, свидетельств рабочих процессов, извлеченных из корпусов текстов, и реальных файлов, найденных в интернете. Из 1 тысяч кандидатов веб-корпуса были отобраны 4 тысяч задач с многоформатными вложениями и критериями оценки результатов. После использования этих данных для SFT (дообучения с учителем) и обучения с подкреплением на основе критериев оценки авторы утверждают, что модель Agent-R²-4B показывает результаты 51.0% на GDPval и 14.8% на OfficeQA, превосходя Qwen3-235B-A22B-Thinking-2507 (с показателями 48.0% и 13.8%), а также снижает склонность к поиску обходных путей.

Оригинальное название: Agent-R^2: Scaling Agents for Realistic Productivity Work via Real-Source Data Synthesis

Агентам на базе больших языковых моделей всё ещё сложно выполнять реальную офисную работу: необходимо проходить длинные рабочие процессы, понимать вложения различных форматов и создавать готовые к использованию результаты, при этом данных для постобучения, приближенных к реальным рабочим задачам, очень мало. Agent-R² не полагается на ручное описание процессов или генерацию файлов большими моделями, а исходит из реальных профессиональных задач-затравок, свидетельств рабочих процессов, извлеченных из корпусов текстов, и реальных файлов, найденных в интернете. Из 1 тысяч кандидатов веб-корпуса были отобраны 4 тысяч задач с многоформатными вложениями и критериями оценки результатов. После использования этих данных для SFT (дообучения с учителем) и обучения с подкреплением на основе критериев оценки авторы утверждают, что модель Agent-R²-4B показывает результаты 51.0% на GDPval и 14.8% на OfficeQA, превосходя Qwen3-235B-A22B-Thinking-2507 (с показателями 48.0% и 13.8%), а также снижает склонность к поиску обходных путей.

Почему это важно Офисным агентам не хватает обучающих данных, приближенных к реальной работе; данный процесс генерирует задачи на основе реальных файлов и рабочих процессов, включая критерии оценки готовых результатов

Лайков: 3 · Звёзд в коде: 7

Причины

  • Код для синтеза данных, SFT (ms-swift), многошагового обучения с подкреплением GRPO (verl) и оценки на GDPval и OfficeQA находится в одном репозитории, конфигурация сосредоточена в settings.yaml
  • Модель Agent-R2-4B уже доступна на Hugging Face, основана на Qwen3-4B-Thinking-2507, лицензия Apache-2.0

Использование

  • Код: https://github.com/ZJU-REAL/Agent-R2;模型:抱脸 teng-pan/Agent-R2-4B, можно загрузить через transformers
  • Для воспроизведения результатов необходимо указать ключи доступа к шлюзу больших моделей, поиску Serper и сервису песочницы в файле Agent-R2/settings/settings.yaml; данные для оценки загружаются из openai/gdpval и databricks/officeqa

Риски

  • Большинство объектов сравнения — модели предыдущего поколения; результаты на GDPval всё ещё значительно уступают таким моделям, как Claude-Opus-4.5 и GLM-4.7
  • В экспериментах авторов использовался внутренний песочный сервис Baidu; для открытой альтернативы требуется замена на AIO Sandbox; конфигурация SFT по умолчанию предполагает обучение всех параметров на 8 GPU; результаты приведены со слов авторов, в данной заметке они не проверялись

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ