Il s'agit d'un modèle de monde vidéo interactif : en fournissant une image de départ et en maintenant une touche enfoncée, le modèle génère les images suivantes image par image en fonction des actions du joueur et les diffuse en streaming vers le navigateur. L'architecture Summaryformer, créée par l'auteur, permet à chaque image de produire simultanément une image complète et 96 tokens de résumé. Les deux images les plus récentes sont conservées en pleine résolution, tandis que les images plus anciennes ne conservent que les résumés ; l'image de départ est toujours conservée. L'auteur affirme que, pour une durée équivalente, le nombre de clés à lire par le mécanisme d'attention passe de 26,208 à 6,528. Le modèle compte environ 6.3 millions de paramètres et a été entraîné sur un jeu de données GTA5 de 800 heures créé par l'auteur ; le dépôt contient les poids et le service d'inférence complet, mais pas le code d'entraînement.
Pourquoi c'est important L'auteur a entraîné le modèle depuis zéro sur du matériel grand public, en utilisant une conception de mémoire qui « conserve l'intégralité des images récentes et ne garde que les résumés des images plus anciennes » pour réduire la charge d'attention, permettant ainsi de tester directement dans le navigateur.
J'aime 11 · Score de popularité en hausse 11 · Téléchargements 0
Licence : usage commercial autorisé · ComfyUI : non disponible · VRAM : non spécifiée
Raisons
- Licence Apache-2.0 ; la fiche du modèle détaille clairement le mécanisme de mémoire, les éléments issus de la conception propre de l'auteur et les travaux dont il s'est inspiré
- Une page de démonstration en ligne est disponible, et le protocole du serveur est également fourni
Utilisation
- Après avoir exécuté hf download lucidml/gta --local-dir gta, lancez python summary_server.py (port par défaut 3002), téléversez l'image de départ selon le protocole et envoyez les frappes de touches via WebSocket ; une carte graphique CUDA et PyTorch sont nécessaires
Risques
- Les données d'entraînement proviennent des images du jeu GTA5, et le contenu généré implique des droits d'auteur liés au jeu ; une évaluation prudente est nécessaire avant tout usage commercial
- Le client navigateur n'est pas inclus dans le dépôt ; un processus GPU ne peut servir qu'un seul joueur à la fois, et la fiche du modèle ne précise pas les besoins en VRAM