gta

Đây là một mô hình thế giới video có thể tương tác: cung cấp một hình ảnh khởi đầu, giữ phím, mô hình sẽ tạo ra các khung hình tiếp theo từng khung một dựa trên hành động của người chơi và phát trực tiếp đến trình duyệt. Kiến trúc Summaryformer do tác giả tự sáng tạo cho phép mỗi khung hình đồng thời tạo ra hình ảnh đầy đủ và 96 token tóm tắt; hai khung hình gần nhất giữ nguyên độ phân giải đầy đủ, các khung hình cũ hơn chỉ lưu lại bản tóm tắt, còn hình ảnh khởi đầu luôn được giữ lại. Tác giả tuyên bố rằng với cùng một khoảng thời gian, số lượng khóa mà cơ chế chú ý (attention) cần đọc giảm từ 26,208 xuống còn 6,528. Mô hình có khoảng 6.3 tỷ tham số, được huấn luyện bằng bộ dữ liệu GTA5 kéo dài 800 giờ do tác giả tự xây dựng; kho lưu trữ bao gồm trọng số và dịch vụ suy luận đầy đủ, nhưng không chứa mã nguồn huấn luyện.

Đây là một mô hình thế giới video có thể tương tác: cung cấp một hình ảnh khởi đầu, giữ phím, mô hình sẽ tạo ra các khung hình tiếp theo từng khung một dựa trên hành động của người chơi và phát trực tiếp đến trình duyệt. Kiến trúc Summaryformer do tác giả tự sáng tạo cho phép mỗi khung hình đồng thời tạo ra hình ảnh đầy đủ và 96 token tóm tắt; hai khung hình gần nhất giữ nguyên độ phân giải đầy đủ, các khung hình cũ hơn chỉ lưu lại bản tóm tắt, còn hình ảnh khởi đầu luôn được giữ lại. Tác giả tuyên bố rằng với cùng một khoảng thời gian, số lượng khóa mà cơ chế chú ý (attention) cần đọc giảm từ 26,208 xuống còn 6,528. Mô hình có khoảng 6.3 tỷ tham số, được huấn luyện bằng bộ dữ liệu GTA5 kéo dài 800 giờ do tác giả tự xây dựng; kho lưu trữ bao gồm trọng số và dịch vụ suy luận đầy đủ, nhưng không chứa mã nguồn huấn luyện.

Tại sao quan trọng Tác giả đã huấn luyện từ đầu trên phần cứng tiêu dùng, sử dụng thiết kế bộ nhớ "giữ nguyên hình ảnh đầy đủ cho các khung gần, chỉ lưu bản tóm tắt cho các khung xa" để giảm chi phí chú ý (attention), cho phép trải nghiệm trực tiếp ngay trên trình duyệt.

Lượt thích 11 · Điểm tăng hạng 11 · Lượt tải xuống 0

Giấy phép: Được phép thương mại hóa · ComfyUI: Chưa có · VRAM: Không ghi rõ yêu cầu VRAM

Lý do

  • Giấy phép Apache-2.0; thẻ mô hình (model card) đã ghi rõ cơ chế bộ nhớ, những phần nào là thiết kế của tác giả và những công trình nào được tham khảo
  • Có trang trải nghiệm trực tuyến, đồng thời cung cấp giao thức máy chủ

Cách sử dụng

  • Sau khi chạy lệnh hf download lucidml/gta --local-dir gta, hãy chạy python summary_server.py (cổng mặc định 3002), tải lên hình ảnh khởi đầu theo giao thức và gửi tín hiệu phím qua WebSocket; yêu cầu card đồ họa CUDA và PyTorch

Rủi ro

  • Dữ liệu huấn luyện được lấy từ hình ảnh trò chơi GTA5, nội dung tạo ra liên quan đến bản quyền trò chơi, cần thận trọng đánh giá trước khi thương mại hóa
  • Client trình duyệt không nằm trong kho lưu trữ; một tiến trình GPU chỉ có thể phục vụ một người chơi tại một thời điểm, thẻ mô hình không ghi rõ yêu cầu về VRAM

Mở

抱脸 image-to-video 上升榜第 9

Xem tin AI mới nhất