Un plugin d'outil vidéo pour DeepSeek Harness : compresse une vidéo en une seule image de storyboard de 9 à 16 cases, avec numéros de case et horodatages, basée sur les changements de plan. Une barre de volume est ajoutée en bas, et les sous-titres ou transcriptions vocales sont alignés par case. Après analyse, le modèle peut demander des agrandissements de certaines cases spécifiques.
Nombre d'étoiles 40
Raison
- Résout le problème du coût élevé de la « vision » vidéo par les modèles : l'auteur indique qu'une image coûte environ 384 tokens, permettant de visualiser une vidéo de 5 minutes en une seule image, tandis que l'approche image par image nécessiterait 3,072 à 6,144 tokens pour une couverture équivalente.
- Les points de coupe sont détectés via les changements de couleur HSV ; pour chaque case, l'image la plus nette parmi trois est sélectionnée ; les montages rapides sont répartis sur davantage de cases. L'auteur affirme que sur ses vidéos de test, les 9 coupes franches ont toutes été détectées, contre seulement 4 avec le seuil par défaut de ffmpeg scdet.
- Pour les vidéos longues, les paramètres from / to permettent de visualiser des segments de 2 à 5 minutes, évitant de révéler prématurément la suite de l'intrigue ; la pagination textOnly permet de lire les transcriptions sans générer d'images.
- Aucune dépendance d'exécution autre que ffmpeg, aucun poids de modèle inclus ; le dépôt contient 154 tests.
Utilisation
- Nécessite Node 20+, avec ffmpeg / ffprobe dans le PATH ; pour le profil standard, utilisez dsh plugin --profile web add dsh-video-storyboard, et pour le profil desktop, utilisez node scripts/install-dev.mjs depuis le dépôt, puis redémarrez DSH.
- Appelez video_storyboard({ input: "chemin local de la vidéo" }) dans la conversation ; utilisez video_zoom pour un examen détaillé. En ligne de commande, exécutez d'abord node bin/storyboard.mjs your-video.mp4 --cells 9 --text pour voir ce que le modèle recevra.
- Si la vidéo ne contient pas de sous-titres, configurez un service de transcription vocale compatible OpenAI /audio/transcriptions (définissez DSH_ASR_KEY) ; sinon, seules les images et la barre de volume seront générées.
Risques
- Le modèle utilisé doit prendre en charge l'entrée d'images ; même avec plus de cases, il n'est pas garanti que chaque plan soit vu, et l'auteur précise que les mouvements de caméra rapides peuvent être interprétés à tort comme des coupes.
- Pour les liens web tels que Bilibili, il faut installer yt-dlp et fournir un fichier cookies.txt, ce qui implique vos identifiants de connexion et les conditions d'utilisation de la plateforme ; les chiffres de vitesse sont issus des tests de l'auteur.