Titre original : ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
Travaux du Show Lab de l'Université nationale de Singapour. Les modèles multimodaux de pointe peuvent déjà contrôler des robots en zero-shot à partir d'images, mais de nombreuses opérations dépendent des forces de contact invisibles sur les images. ForceHarness permet aux modèles appelables uniquement via API, sans fine-tuning, d'utiliser le sens tactile : d'abord, calibrer les forces appliquées à la main à l'aide de capteurs de force au poignet ou uniquement des couples articulaires ; les variations de contact étant bien plus rapides que les décisions du modèle, des « primitives de contrôle de force auto-terminantes » (appuyer, glisser, chercher, insérer, visser, soulever, tirer, etc.) régulent la force sous le modèle et retournent dès qu'un événement de contact se produit ; ensuite, une couche de traduction physique convertit les courbes de force en grandeurs physiques assorties d'incertitudes (masse, friction, rigidité, hauteur de contact, etc.) servant de résultats d'outils. Les auteurs ont également créé HiddenPhys, un benchmark MuJoCo de 7 tâches incluant des variables physiques cachées.
Pourquoi c'est important De nombreuses opérations reposent sur des forces de contact invisibles sur les images ; les auteurs affirment qu'en se passant de démonstrations et de fine-tuning, le taux de réussite sur des robots réels dépourvus de capteurs de force au poignet passe de quelques pourcents à 90 %
J'aime 39 · Étoiles du code 32
Raisons
- Les auteurs affirment que sur un Franka FR3 réel dépourvu de capteurs de force au poignet, le taux de réussite zero-shot de GPT-6 Astra passe de 3.3% à 90.0% (README : 54/60)
- En simulation, ForceBench progresse de 17.5 points de pourcentage et HiddenPhys de 34.3 points de pourcentage, dépassant les politiques tactiles entraînées sur démonstrations et égalant les contrôleurs experts écrits à la main sur HiddenPhys
- Les ablations montrent que fournir des grandeurs physiques aux petits modèles conduit à des décisions nettement meilleures que leur fournir les valeurs brutes de force
Utilisation
- Code : installez le cœur et les tests hors ligne avec https://github.com/showlab/ForceHarness(MIT);pip install -e ".[dev]", puis installez ".[sim]" (robosuite 1.5.1, mujoco 3.2.7) pour exécuter HiddenPhys, et vérifiez l'environnement avec python -m forceharness.doctor
- Première étape sans simulateur ni clé API : python scripts/run_episode.py --task weight_sort --agent scripted --backend fake ; pour connecter un modèle, renseignez une clé OpenAI ou Anthropic dans .env
- Le dépôt inclut une compétence d'installation pour agents de codage, skills/forceharness-setup, qui vérifie le matériel étape par étape et demande une confirmation humaine avant de déplacer le bras robotique ; les données de démonstration sont sur Hugging Face Jack97/ForceHarness-Data
Risques
- Nécessite des appels payants aux API de modèles de pointe ; l'implémentation de référence sur robot réel ne couvre que Franka FR3 avec Polymetis, les autres bras robotiques nécessitent un portage du backend par l'utilisateur
- Le README précise que les graines de ForceBench utilisées dans le papier ont servi pendant le développement et ne constituent pas un ensemble de test retenu ; des tests avec de nouvelles graines donnent 62.5% → 82.5% ; tous les résultats sont rapportés par les auteurs et n'ont pas été exécutés par nous