dsh-video-storyboard(视频转分镜图的 DSH 插件)

给 DeepSeek Harness 的视频工具插件:按镜头切换把一段视频压成一张 9–16 格、带格号和时间戳的分镜图,底部附音量条,并把字幕或语音转写按格对齐,模型看完可以指定某几格再要放大帧。

给 DeepSeek Harness 的视频工具插件:按镜头切换把一段视频压成一张 9–16 格、带格号和时间戳的分镜图,底部附音量条,并把字幕或语音转写按格对齐,模型看完可以指定某几格再要放大帧。

星数 40

理由

  • 解决让模型“看视频”太贵的问题:作者称一张图约 384 token,5 分钟视频一张图就能看完全程,而一帧一图的做法同样覆盖要 3,072–6,144 token。
  • 切点按 HSV 颜色变化检测、每格挑三帧里最清晰的一帧,快剪段落分到更多格;作者称在自制测试片上 9 个硬切全部找到,ffmpeg scdet 默认阈值只找到 4 个。
  • 长片可以用 from / to 一次看 2–5 分钟,避免提前看到后面的剧情;textOnly 分页读转写不再出图。
  • 除 ffmpeg 外无运行时依赖、不带模型权重;仓库有 154 个测试。

用法

  • 需要 Node 20+,ffmpeg / ffprobe 在 PATH 里;普通 profile 用 dsh plugin --profile web add dsh-video-storyboard,桌面版 profile 用仓库里的 node scripts/install-dev.mjs,装完重启 DSH。
  • 在对话里调用 video_storyboard({ input: "本地视频路径" }),需要细看时用 video_zoom;命令行可先跑 node bin/storyboard.mjs your-video.mp4 --cells 9 --text 看模型会拿到什么。
  • 视频没字幕时要另配一个 OpenAI 兼容的 /audio/transcriptions 语音转写服务(设 DSH_ASR_KEY),没有则只出画面和音量条。

风险

  • 所用模型要支持图片输入;格子再多也不保证每个镜头都被看到,作者也说明快速摇镜会被误当成切点。
  • 传 B 站等网页链接需要自装 yt-dlp 并提供 cookies.txt,涉及自己的登录凭据和平台条款;速度数字为作者自测。

打开

GitHub

浏览最新 AI 动态