Роботизированные агенты работают как программные агенты: модель вызывает 22 базовых возможностей (восприятие, геометрические измерения, движения на уровне обратной кинематики) в песочнице Python для написания кода управления манипулятором, считывает текстовые подтверждения каждого вызова и самостоятельно решает, когда вызвать finish() для завершения. Обучение следует рецепту программирования / веб-агентов: сначала supervised fine-tuning на синтетических траекториях, затем многоэтапное обучение с подкреплением; чтобы распределить успех или неудачу в конце эпизода по десяткам запросов, авторы добавили «физического комментатора», который может читать истинное состояние симулятора (невидимое для политики) и оценивает каждый запрос на основе изменения вероятности успеха.
Лайки 18 · Звёзды в коде 50
Причины
- Авторы сообщают, что Qwen3.5-4B показывает нулевой результат zero-shot 0%, после SFT на удержанном наборе LIBERO достигает 55.4%, а после RL — 73.8%; на LIBERO-PRO результат составляет 78.5%, превосходя несколько передовых агентных моделей; обучение проводилось только на LIBERO, при этом zero-shot результат в SimplerEnv WidowX составил 83.3%, и система была успешно запущена на реальном роботе.
- Во время тестирования не используются крупные передовые модели, не применяются VLA (vision-language-action) модели и не считываются привилегированные состояния — используется только модель размером 4B.
- Всё доступно: веса CaPtain-4B / CaPtain-4B-SFT, данные для SFT, оболочка оценки CaPtain-Harness, код обучения SFT и RL, а также инфраструктура потоковых rollout открыты; код распространяется под лицензией MIT.
Использование
- Выполните git clone --recursive github.com/waltstephen/CaPtain, перейдите в harness/ и запустите scripts/setup_third_party.sh, затем создайте среду LIBERO и песочницу Python 3.11 для агента согласно README (требуется bubblewrap версии 0.5 или выше).
- Загрузите SAM 3, Molmo2-8B и CaPtain-4B с помощью harness/scripts/download_models.sh; запустите сервис восприятия через services/start_perception.sh и политику через services/serve_policy.sh YijiaFan/CaPtain-4B 8600 с использованием vLLM.
- Для запуска эпизода выполните eval/run_episode.sh libero_spatial 0 11 runs/demo; оболочка поддерживает любой интерфейс, совместимый с OpenAI, и может использоваться для тестирования ваших собственных моделей или передовых моделей.
Риски
- Воспроизведение обучения требует значительных ресурсов: в README указано, что SFT использует 16 GPU H100 примерно за 7.6 часов, а RL требует около 1,290 GPU-часов; для оценки также нужны один GPU для политики и один для восприятия и рендеринга.
- Траектории для SFT синтезированы закрытыми моделями; при переносе на RoboTwin, SimplerEnv и другие среды использовались дополнительные входные данные по сравнению с официальными наблюдениями (глубина, калибровка камеры, сила в запястье и т.д.), что подробно перечислено в README.
- Веса SAM 3 распространяются под лицензией SAM License, веса модели следуют лицензии Qwen3.5-4B (Apache-2.0); результаты сообщены авторами.