PrimeSim — это многовидовая мировая модель с условием по действиям, основанная на Wan2.2-TI2V-5B: на вход подаются первый кадр для каждого ракурса камеры, текстовый запрос и траектория действий, а на выходе генерируются последующие кадры. Авторы сообщают, что модель обучена на данных объемом 30,110 часов, охватывающих 22 типов роботизированных платформ; в пяти тестах симуляционного бенчмарка WorldSimProbe она лидирует в четырех, а по общему баллу в EWMBench показывает лучший результат. Предоставляются базовые веса промежуточного обучения (для дообучения) и веса каузального инференса с малым числом шагов четвертого этапа; при инференсе три ракурса генерируются одновременно при разрешении 192×256, а скорость, по заявлению авторов, превышает 10 FPS.
Почему это важно Генерация видео вместо физического моделирования для предпросмотра роботизированных операций; одновременная генерация с трех ракурсов камеры; веса доступны для коммерческого использования.
Лайки «обнимашки» 2 · Рост рейтинга за лайки «обнимашки» 2 · Загрузки «обнимашек» 201
Лицензия: коммерческое использование разрешено · ComfyUI: пока нет · Видеопамять: 24 ГБ
Причины
- Лицензия Apache-2.0, научная статья, страница проекта, код для инференса и обучения опубликованы в открытом доступе
Использование
- Загрузите текстовый энкодер, VAE и токенизатор из Wan2.2-TI2V-5B, настройте пути согласно репозиторию на GitHub и запустите примеры с помощью primesim_posttrain_g2
Риски
- Рекомендуется видеокарта A100 или H100 80GB, так как основная модель размером 5B и текстовый энкодер объемом 11 ГБ должны одновременно находиться в памяти; на видеокарте с 24 ГБ они не поместятся
- Данные для обучения не публикуются; результаты оценки предоставлены авторами самостоятельно