Google과 UC Santa Barbara, Stanford, Oxford 등 기관의 연구자들이 10월 26일 arXiv에 StreamVibe를 발표했습니다. 목표는 사용자가 요리하거나 가구를 조립하거나 소프트웨어를 조작하는 모습을 지켜보며, '막히면 도와줘'와 같이 명확한 트리거 조건이 없는 요청을 이해하고, 사용자가 도중에 마음을 바꿀 때 이에 맞춰 조정할 수 있는 비디오 어시스턴트를 만드는 것입니다. 논문은 세 부분으로 구성됩니다: 명시적, 암시적, 동적 의도를 구분하는 벤치마크 StreamVibe-Bench; 매초 침묵할지 말지를 판단하는 스트리밍 모델 StreamVibe-VL(강화 학습을 통해 불필요한 중단을 줄임); 그리고 계층적 메모리를 사용하여 대기 중인 요청과 작업 진행 상황을 추적하는 StreamVibe-Harness입니다.
신뢰도: 높음(95) · 이벤트 시간 2026-10-26
이유
- 기존 비디오 어시스턴트는 대부분 '물이 끓으면 알려줘'와 같은 명확한 지시를 위해 설계되어, 논문은 이러한 시스템들이 언제 능동적으로 도움을 주어야 할지 판단하기 어렵고 이미 완료된 단계를 기억하지 못해 중복되거나 outdated한 제안을 하기 쉽다고 지적합니다.
- The Decoder의 논문 결과 전언에 따르면, 테스트된 모든 모델은 긴 비디오를 연속 실행할 때 오류 누적 때문에 성능이 현저히 저하되며, 5분을 초과하는 비디오에서는 말하기 타이밍을 정확히 잡는 경우가 드뭅니다. 이는 '상주형 AI 어시스턴트'가 신뢰성 있는 수준까지 아직 거리가 있음을 시사합니다.
- The Decoder에 따르면, StreamVibe-VL은 Qwen3.5-9B 기반인 것으로 보이지만, 여러 테스트에서 Google의 자체 폐쇄형 모델인 Gemini 3.8 Flash보다 여전히 뒤처집니다.
사용법
- 논문은 arxiv.org/abs/2610.34662에 있으며, 프로젝트 페이지 stream-vibe.github.io에는 데모 비디오와 예제가 있습니다. 코드와 호기심 가중치(hugging face weights)는 '내부 승인 중, 7일 내 공개'라고 명시되어 있습니다.
리스크
- 논문은 StreamVibe-VL이 응답 타이밍과 답변 품질을 베이스라인 대비 10.7% 향상시켰고, Harness가 능동적 상호작용 성능을 추가로 12.3% 향상시켰다고 주장하지만, 이는 모두 저자들이 자체 구축한 벤치마크에서의 결과로 동료 심사를 거치지 않았습니다. 벤치마크 샘플은 Gemini 2.5 Flash가 생성한 제안을 바탕으로 4명의 인간 평가자가 만장일치로 통과시킨 경우에만 포함되었습니다(The Decoder 전언).
- 코드와 가중치는 아직 공개되지 않았으며, '7일 내'라는 표현은 프로젝트 페이지의 설명입니다. 저자들도 실제 시나리오가 테스트 설정보다 복잡하다는 점을 인정합니다.