gta

Это интерактивная модель мира для генерации видео: предоставьте начальное изображение, удерживайте клавиши, и модель будет покадрово генерировать последующие кадры в соответствии с действиями игрока и транслировать их в браузер. Собственная архитектура автора, названная Summaryformer, позволяет каждому кадру одновременно выдавать полное изображение и 96 токенов-резюме. Последние два кадра сохраняются в полном разрешении, более ранние кадры хранятся только в виде резюме, а начальное изображение сохраняется постоянно. По словам автора, при той же продолжительности количество ключей, считываемых механизмом внимания, снижается с 26,208 до 6,528. Модель содержит около 6.3 млн параметров и обучена на созданном автором датасете GTA5 длительностью 800 часов; репозиторий включает веса и полный сервис инференса, но не содержит кода для обучения.

Это интерактивная модель мира для генерации видео: предоставьте начальное изображение, удерживайте клавиши, и модель будет покадрово генерировать последующие кадры в соответствии с действиями игрока и транслировать их в браузер. Собственная архитектура автора, названная Summaryformer, позволяет каждому кадру одновременно выдавать полное изображение и 96 токенов-резюме. Последние два кадра сохраняются в полном разрешении, более ранние кадры хранятся только в виде резюме, а начальное изображение сохраняется постоянно. По словам автора, при той же продолжительности количество ключей, считываемых механизмом внимания, снижается с 26,208 до 6,528. Модель содержит около 6.3 млн параметров и обучена на созданном автором датасете GTA5 длительностью 800 часов; репозиторий включает веса и полный сервис инференса, но не содержит кода для обучения.

Почему это важно Автор обучил модель с нуля на потребительском оборудовании, используя дизайн памяти «сохранение полного обзора для близких кадров и только резюме для дальних», чтобы снизить накладные расходы на механизм внимания. Модель можно протестировать прямо в браузере.

Лайки (объятие лица) 11 · Рост рейтинга (объятие лица) 11 · Загрузки (объятие лица) 0

Лицензия: разрешено коммерческое использование · ComfyUI: пока нет · Видеопамять: не указана

Причины

  • Лицензия Apache-2.0; в карточке модели четко описаны механизм памяти, собственные разработки автора и заимствованные работы.
  • Есть онлайн-страница для тестирования, а также предоставлен протокол взаимодействия с сервером.

Использование

  • Выполните команду hf download lucidml/gta --local-dir gta, затем запустите python summary_server.py (порт по умолчанию 3002). Согласно протоколу, загрузите начальное изображение и отправляйте нажатия клавиш через WebSocket. Требуется видеокарта CUDA и PyTorch.

Риски

  • Обучающие данные получены из игровых сцен GTA5, поэтому генерируемый контент затрагивает авторские права игры; перед коммерческим использованием необходима тщательная оценка.
  • Клиент для браузера отсутствует в репозитории; один процесс на GPU может одновременно обслуживать только одного игрока. В карточке модели не указаны требования к видеопамяти.

Открыть

抱脸 image-to-video 上升榜第 9

Открыть последние новости ИИ