DeepSeek Harness プラグイン:動画をグリッド番号付きのストーリーボード画像に圧縮し、タイムコード、セリフ、カット数を含むテキストリストを添付して、モデルが「3 分目に何が起きたか」に回答できるようにします。10-30 で公開された 0.4.5 はバグ修正が中心です。
スター数 195
理由
- 10-28 はすでに収録済みですが、今回改めて記載するのは、0.4.5 で video_zoom のグリッド番号による拡大機能が修正され、0.4.4 以降ずっと格子が見つからなかった問題(ストーリーボードのグリッドマッピングがディスクに書き込まれていなかった)が解決したためです。リモートリンクとダウンロード後のローカルパスの両方で、現在では正しく参照できます。
- 同バージョンでは、Bilibili の DASH 音声・映像の結合問題、コールドスタート時に同一動画が2回開かれる問題、カット点の局所中央値で誤ったインデックスを取得する問題なども修正されました。また、ローカルチャットボックス chat.js(ツールがブロックして待機している間も割り込み発言が可能)、attachOnly(プラグインがブラウザを起動しないようにする設定)、edge-tts のニューラルボイス優先(失敗時はシステムの SAPI にフォールバック)が新規追加されました。
- 4つのツール:video_probe はファイルヘッダーのみを読み取り、画像トークンを消費しません。video_storyboard は画像とリストを出力します。video_zoom は特定のセグメントを拡大します。video_locate はセリフの一文からタイムコードを逆引きします。
使い方
- winget install Gyan.FFmpeg(必須)。Bilibili / YouTube のリンクを貼り付ける場合は、pip install --user -U yt-dlp を実行してください。node scripts/install-dev.mjs でプラグインをインストールした後、DSH を再起動します。
- まず video_probe を実行し、次に video_storyboard({ input: "ローカルパスまたはリンク" }) を実行します。重要なセグメントがある場合は video_zoom({ from, to, cells }) で拡大します。既存の字幕がある場合は transcriptFile を使用して ASR をスキップできます。
リスク
- 作者によれば、1枚の画像あたり 384 トークン、1回の呼び出しで約 1,900 トークン、90 秒の動画で結果が出るまで約 10 秒かかるとされていますが、これらはすべて作者自身のテスト結果です。セリフが必要な場合は、別途 ASR サービスを設定するか、既存の字幕を用意する必要があります。
- Bilibili の高画質動画や会員限定動画では cookies のエクスポートが必要で、その中の SESSDATA はログイン認証情報と同等です。「一緒に映画を見る」機能における再生進捗の読み取りは、Windows のシステムメディアコントロールに依存しています。