PrimeSim

PrimeSim — это многовидовая мировая модель с условием по действиям, основанная на Wan2.2-TI2V-5B: на вход подаются первый кадр для каждого ракурса камеры, текстовый запрос и траектория действий, а на выходе генерируются последующие кадры. Авторы сообщают, что модель обучена на данных объемом 30,110 часов, охватывающих 22 типов роботизированных платформ; в пяти тестах симуляционного бенчмарка WorldSimProbe она лидирует в четырех, а по общему баллу в EWMBench показывает лучший результат. Предоставляются базовые веса промежуточного обучения (для дообучения) и веса каузального инференса с малым числом шагов четвертого этапа; при инференсе три ракурса генерируются одновременно при разрешении 192×256, а скорость, по заявлению авторов, превышает 10 FPS.

PrimeSim — это многовидовая мировая модель с условием по действиям, основанная на Wan2.2-TI2V-5B: на вход подаются первый кадр для каждого ракурса камеры, текстовый запрос и траектория действий, а на выходе генерируются последующие кадры. Авторы сообщают, что модель обучена на данных объемом 30,110 часов, охватывающих 22 типов роботизированных платформ; в пяти тестах симуляционного бенчмарка WorldSimProbe она лидирует в четырех, а по общему баллу в EWMBench показывает лучший результат. Предоставляются базовые веса промежуточного обучения (для дообучения) и веса каузального инференса с малым числом шагов четвертого этапа; при инференсе три ракурса генерируются одновременно при разрешении 192×256, а скорость, по заявлению авторов, превышает 10 FPS.

Почему это важно Генерация видео вместо физического моделирования для предпросмотра роботизированных операций; одновременная генерация с трех ракурсов камеры; веса доступны для коммерческого использования.

Лайки «обнимашки» 2 · Рост рейтинга за лайки «обнимашки» 2 · Загрузки «обнимашек» 201

Лицензия: коммерческое использование разрешено · ComfyUI: пока нет · Видеопамять: 24 ГБ

Причины

  • Лицензия Apache-2.0, научная статья, страница проекта, код для инференса и обучения опубликованы в открытом доступе

Использование

  • Загрузите текстовый энкодер, VAE и токенизатор из Wan2.2-TI2V-5B, настройте пути согласно репозиторию на GitHub и запустите примеры с помощью primesim_posttrain_g2

Риски

  • Рекомендуется видеокарта A100 или H100 80GB, так как основная модель размером 5B и текстовый энкодер объемом 11 ГБ должны одновременно находиться в памяти; на видеокарте с 24 ГБ они не поместятся
  • Данные для обучения не публикуются; результаты оценки предоставлены авторами самостоятельно

Открыть

抱脸 world-model 标签

Открыть последние новости ИИ