Оригинальное название: ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
Работа лаборатории Show Lab Национального университета Сингапура. Передовые мультимодальные модели уже способны управлять роботами в режиме zero-shot, анализируя изображения, однако многие операции зависят от сил контакта, невидимых на снимках. ForceHarness позволяет моделям, доступным только через вызовы API и не подлежащим дообучению, использовать тактильную чувствительность: сначала силы, действующие на манипулятор, калибруются с помощью датчика силы на запястье или исключительно на основе крутящих моментов в суставах; поскольку изменения при контакте происходят гораздо быстрее, чем модель принимает решения, «самопрерывающиеся примитивы силового управления» (нажатие, скольжение, поиск, вставка, вращение, подъём, тяга и т. д.) самостоятельно регулируют силу на уровне ниже модели и возвращают управление при возникновении событий контакта; затем физический слой перевода преобразует кривые силы в физические величины с оценкой неопределённости (масса, трение, жёсткость, высота контакта и т. д.), которые передаются как результаты работы инструмента. Авторы также создали бенчмарк HiddenPhys на базе MuJoCo, включающий 7 задач с скрытыми физическими переменными.
Почему это важно Многие операции зависят от сил контакта, невидимых на изображениях; авторы утверждают, что без демонстраций и дообучения успешность на реальных роботах без датчика силы на запястье выросла с однозначных процентов до 90%
Лайков: 39 · Звёзд в репозитории: 32
Обоснование
- По утверждению авторов, на реальном роботе Franka FR3 без датчика силы на запястье успешность GPT-6 Astra в режиме zero-shot выросла с 3.3% до 90.0% (README: 54/60)
- В симуляции ForceBench улучшился на 17.5 процентных пунктов, а HiddenPhys — на 34.3 процентных пунктов, превзойдя стратегии тактильного управления, обученные на демонстрациях, и достигнув уровня ручного экспертного контроллера в HiddenPhys
- Абляционные исследования показывают: предоставление малым моделям физических величин приводит к значительно лучшим решениям, чем предоставление сырых значений силы
Использование
- Код: выполните https://github.com/showlab/ForceHarness(MIT);pip install -e ".[dev]" для установки ядра и офлайн-тестов, затем установите ".[sim]" (robosuite 1.5.1, mujoco 3.2.7) для запуска HiddenPhys; проверьте окружение командой python -m forceharness.doctor
- Первый шаг, не требующий симулятора и API-ключей: python scripts/run_episode.py --task weight_sort --agent scripted --backend fake; для подключения модели укажите ключи OpenAI или Anthropic в файле .env
- В репозитории прилагается навык установки для программирующих агентов skills/forceharness-setup, который проверяет оборудование на каждом этапе и требует подтверждения перед перемещением манипулятора; демонстрационные данные находятся в Hugging Face Jack97/ForceHarness-Data
Риски
- Требуется вызов платных API передовых моделей; эталонная реализация для реальных роботов доступна только для Franka FR3 с Polymetis, для других манипуляторов бэкенд необходимо портировать самостоятельно
- В README указано, что сиды для ForceBench, использованные в статье, применялись во время разработки и не считаются тестовой выборкой; при тестировании с новыми сидами получено 62.5% → 82.5%; все результаты предоставлены авторами, в данной заметке они не воспроизводились