Плагин DeepSeek Harness: сжимает видео в единую сетку кадров с нумерацией, дополняя её текстовым списком с таймкодами, репликами и количеством монтажных склеек, чтобы модель могла ответить на вопрос «Что происходит на 3-й минуте»; версия 0.4.5, выпущенная 10-30, в основном посвящена исправлению ошибок.
Количество звёзд: 195
Причины
- 10-28 уже включён; он снова упоминается здесь, потому что в 0.4.5 исправлена проблема с инструментом video_zoom, который с версии 0.4.4 не мог находить кадры при увеличении по номеру ячейки (карта кадров раскадровки не сохранялась на диск). Теперь удалённые ссылки и локальные пути после загрузки корректно распознаются.
- В этой же версии исправлены проблемы с неслиянием аудио и видео в формате DASH на Bilibili, двойным открытием одного и того же видео при холодном старте и неверным выбором индекса при вычислении локальной медианы для монтажных склеек; добавлен локальный чат chat.js (позволяет вставлять сообщения даже когда инструменты заблокированы), параметр attachOnly (запрещает плагину запускать браузер), приоритет нейронных голосов edge-tts с откатом на системный SAPI в случае ошибки.
- Четыре инструмента: video_probe читает только заголовок файла, не расходуя токены на изображения; video_storyboard генерирует изображение и список; video_zoom увеличивает определённый фрагмент; video_locate выполняет обратный поиск таймкода по одной реплике.
Использование
- winget install Gyan.FFmpeg (обязательно); для вставки ссылок на Bilibili / YouTube выполните pip install --user -U yt-dlp; после установки плагина командой node scripts/install-dev.mjs перезапустите DSH.
- Сначала выполните video_probe, затем video_storyboard({ input: "локальный путь или ссылка" }); если какой-то фрагмент важен, используйте video_zoom({ from, to, cells }) для его увеличения; при наличии субтитров можно использовать параметр transcriptFile, чтобы пропустить распознавание речи (ASR).
Риски
- Автор утверждает, что одно изображение требует 384 токенов, один вызов — примерно 1,900 токенов, а обработка видео длительностью 90 секунд занимает около 10 секунд; все эти данные получены в ходе самостоятельного тестирования автором; для получения реплик требуется настройка отдельного сервиса ASR или использование готовых субтитров.
- Для загрузки HD-видео или видео для подписчиков с Bilibili необходимо экспортировать cookies, где параметр SESSDATA эквивалентен учётным данным для входа; чтение прогресса воспроизведения в режиме «Смотреть вместе» зависит от системных медиа-контролов Windows.