Google と UC Santa Barbara、Stanford、Oxford などの研究機関の研究者が 10 月 26 日、arXiv に StreamVibe を発表しました。その目標は、ユーザーが料理をしたり、家具を組み立てたり、ソフトウェアを操作したりする様子を見守るビデオアシスタントであり、「詰まったら助けて」といった明確なトリガー条件のないリクエストを理解し、ユーザーが途中で方針を変えた際にも適応できることです。論文には3つの部分が含まれています：明示的・暗示的・動的な意図を区別するベンチマーク StreamVibe-Bench；毎秒、沈黙すべきか発言すべきかを判断するストリーミングモデル StreamVibe-VL（さらに強化学習を用いて、人の邪魔をしないように調整）；そして階層型メモリを使用して未処理のリクエストやタスクの進捗を追跡する StreamVibe-Harness。
信頼度：高（95） · イベント日時 2026-10-26
理由
- 既存のビデオアシスタントは多くが「お湯が沸いたら教えて」といった明確な指示向けに設計されていますが、論文では、これらのシステムがいつ能動的に支援すべきかを判断するのが難しく、すでに完了したステップを記憶できず、繰り返しの提案や古いアドバイスをしてしまう傾向があると指摘されています。
- The Decoder による論文結果の要約によると、テストされたすべてのモデルは長い動画で連続実行するとエラーの蓄積により性能が著しく低下し、5分を超える動画では発言タイミングを正確に捉えるケースはほとんどありませんでした。これは「常駐型 AI アシスタント」が信頼性を確保するにはまだ遠いことを示しています。
- The Decoder によると、StreamVibe-VL は Qwen3.5-9B ベースであるように見えますが、複数のテストにおいて Google の自社クローズドソースモデル Gemini 3.8 Flash に依然として劣っています。
使い方
- 論文は arxiv.org/abs/2610.34662 で公開されており、プロジェクトページ stream-vibe.github.io にはデモ動画やサンプルがあります。コードと Hugging Face の重みについては「社内承認中、7 日以内に公開予定」と記載されています。
リスク
- 論文では、StreamVibe-VL により応答タイミングと回答品質がベースライン比で 10.7% 向上し、Harness により能動的なインタラクションのパフォーマンスがさらに 12.3% 向上したとされていますが、これらは著者らが独自に構築したベンチマーク上の結果であり、査読を経ていません。ベンチマークのサンプルは Gemini 2.5 Flash によって生成された提案を基に、4名の人間レビュアーによる一致承認を得て選出されました（The Decoder による）。
- コードと重みはまだ公開されておらず、「7 日以内」というのはプロジェクトページの記述です。また、著者らは実際のシナリオがテスト環境よりも複雑であることを認めています。