Faire fonctionner les agents robotiques comme des agents de programmation : le modèle appelle 22 capacités bas niveau (perception, mesure géométrique, mouvement au niveau de la cinématique inverse) dans une session Python en bac à sable pour écrire du code contrôlant un bras robotique, lit les retours textuels de chaque appel et décide lui-même quand appeler finish() pour terminer. L'entraînement suit la recette des agents de programmation / web : d'abord un ajustement supervisé sur des trajectoires synthétiques, puis plusieurs tours d'apprentissage par renforcement ; pour répartir le succès ou l'échec final sur des dizaines de requêtes, les auteurs ont ajouté un « commentateur physique » capable de lire l'état réel du simulateur (invisible pour la politique), qui attribue des points en fonction de la variation de la probabilité de réussite induite par chaque requête.
J'aime 18 · Étoiles GitHub 50
Raisons
- Les auteurs affirment que Qwen3.5-4B obtient 0% en zéro-shot, 55.4% sur l'ensemble de validation LIBERO après SFT, et 73.8% après RL ; 78.5% sur LIBERO-PRO, dépassant plusieurs agents de modèles de pointe ; entraîné uniquement sur LIBERO, il atteint 83.3% en zéro-shot sur SimplerEnv WidowX, et fonctionne également sur un robot réel.
- Au moment du test, aucun grand modèle de pointe n'est utilisé, pas de VLA, pas de lecture d'états privilégiés, ce n'est qu'un modèle de 4B.
- Tout est disponible : les poids CaPtain-4B / CaPtain-4B-SFT, les données SFT, l'enveloppe d'évaluation CaPtain-Harness, le code d'entraînement SFT et RL ainsi que l'infrastructure de rollout en streaming sont tous ouverts, le code est sous licence MIT.
Utilisation
- git clone --recursive github.com/waltstephen/CaPtain, entrez dans harness/ et exécutez scripts/setup_third_party.sh, puis créez l'environnement LIBERO et l'environnement Python 3.11 en bac à sable pour l'agent selon le README (nécessite bubblewrap 0.5 ou supérieur).
- harness/scripts/download_models.sh télécharge SAM 3, Molmo2-8B et CaPtain-4B ; services/start_perception.sh démarre le service de perception, services/serve_policy.sh YijiaFan/CaPtain-4B 8600 démarre la politique avec vLLM.
- Pour lancer un épisode : eval/run_episode.sh libero_spatial 0 11 runs/demo ; l'enveloppe s'interface avec n'importe quelle API compatible OpenAI, et peut également être utilisée pour tester vos propres modèles ou des modèles de pointe.
Risques
- Reproduire l'entraînement est coûteux : le README indique que SFT utilise 16 cartes H100 pendant environ 7.6 heures, et RL environ 1,290 heures GPU ; l'évaluation nécessite également une carte pour la politique et une autre pour la perception et le rendu.
- Les trajectoires SFT sont synthétisées par des modèles fermés ; lors de la migration vers RoboTwin, SimplerEnv, etc., plus d'entrées que les observations officielles ont été utilisées (profondeur, calibration caméra, force au poignet, etc.), ce qui est énuméré point par point dans le README.
- Les poids SAM 3 sont soumis à la licence SAM, les poids du modèle suivent Qwen3.5-4B (Apache-2.0) ; les résultats sont rapportés par les auteurs.
Ouvrir · Code · Page arXiv