Plugin công cụ video cho DeepSeek Harness: nén một đoạn video thành một bảng phân cảnh gồm 9–16 ô, có đánh số ô và mốc thời gian dựa trên các điểm chuyển cảnh, kèm thanh âm lượng ở phía dưới, đồng thời căn chỉnh phụ đề hoặc bản ghi âm theo từng ô; sau khi xem, mô hình có thể chỉ định một số ô cụ thể để yêu cầu khung hình phóng to.
Số sao 40
Lý do
- Giải quyết vấn đề chi phí cao khi để mô hình "xem video": tác giả cho biết một hình ảnh tốn khoảng 384 token, một đoạn video dài 5 phút có thể được xem toàn bộ chỉ bằng một hình ảnh, trong khi phương pháp mỗi khung hình một ảnh để phủ sóng tương tự sẽ tốn 3,072–6,144 token.
- Các điểm cắt được phát hiện dựa trên sự thay đổi màu HSV, mỗi ô chọn khung hình rõ nét nhất trong ba khung hình được chọn, các đoạn cắt nhanh được phân bổ nhiều ô hơn; tác giả cho biết trên video thử nghiệm tự tạo, 9 điểm cắt cứng đều được tìm thấy, trong khi ngưỡng mặc định của ffmpeg scdet chỉ tìm thấy 4 điểm.
- Với các video dài, có thể sử dụng from / to để xem 2–5 phút mỗi lần, tránh việc xem trước nội dung phía sau; chế độ textOnly cho phép đọc bản ghi âm theo trang mà không xuất hình ảnh.
- Không có phụ thuộc runtime ngoài ffmpeg, không kèm theo trọng số mô hình; kho lưu trữ có 154 bài kiểm thử.
Cách sử dụng
- Yêu cầu Node 20+, ffmpeg / ffprobe phải có trong PATH; với profile thông thường, dùng lệnh dsh plugin --profile web add dsh-video-storyboard, với profile phiên bản desktop, dùng node scripts/install-dev.mjs trong kho lưu trữ, sau khi cài đặt xong hãy khởi động lại DSH.
- Trong cuộc hội thoại, gọi video_storyboard({ input: "đường dẫn video cục bộ" }), khi cần xem chi tiết thì dùng video_zoom; từ dòng lệnh, có thể chạy trước node bin/storyboard.mjs your-video.mp4 --cells 9 --text để xem mô hình sẽ nhận được những gì.
- Nếu video không có phụ đề, cần cấu hình thêm một dịch vụ chuyển giọng nói sang văn bản tương thích OpenAI /audio/transcriptions (đặt DSH_ASR_KEY), nếu không thì chỉ xuất hình ảnh và thanh âm lượng.
Rủi ro
- Mô hình sử dụng phải hỗ trợ đầu vào hình ảnh; dù có nhiều ô cũng không đảm bảo mọi cảnh quay đều được nhìn thấy, tác giả cũng lưu ý rằng các cú lia máy nhanh có thể bị nhầm lẫn thành điểm cắt.
- Việc truyền các liên kết web như Bilibili yêu cầu tự cài đặt yt-dlp và cung cấp cookies.txt, liên quan đến thông tin đăng nhập của bạn và các điều khoản của nền tảng; các con số về tốc độ là do tác giả tự kiểm tra.