Исследователи из Google, Калифорнийского университета в Санта-Барбаре, Стэнфордского университета, Оксфордского университета и других организаций 10 26 опубликовали StreamVibe на arXiv. Целью является создание видеопомощника, который наблюдает за тем, как пользователь готовит еду, собирает мебель или работает с программным обеспечением, понимает запросы без явных триггеров, такие как «помоги мне, если я застряну», и адаптируется, если пользователь меняет решение на ходу. Статья состоит из трех частей: бенчмарк StreamVibe-Bench, различающий явные, неявные и динамические намерения; потоковая модель StreamVibe-VL, которая каждую секунду решает, молчать или говорить (с использованием обучения с подкреплением для уменьшения перебиваний); и StreamVibe-Harness, использующий иерархическую память для отслеживания ожидающих запросов и прогресса задач.
Уверенность: высокая (95) · Время события 2026-10-26
Обоснование
- Существующие видеопомощники в основном разработаны для четких инструкций типа «напомни мне, когда закипит вода»; в статье отмечается, что им трудно определить, когда нужно вмешаться, они не запоминают выполненные шаги и склонны повторяться или давать устаревшие советы.
- Согласно пересказу результатов статьи изданием The Decoder, все протестированные модели значительно ухудшают работу при непрерывном анализе длинных видео из-за накопления ошибок; в видео длительностью более пяти минут они редко правильно выбирают момент для вмешательства. Это указывает на то, что до надежных «постоянных ИИ-помощников» еще далеко.
- Согласно данным The Decoder, StreamVibe-VL, по-видимому, основан на Qwen3.5-9B, но во многих тестах все еще уступает закрытой модели Gemini 3.8 Flash от самой Google.
Использование
- Статья доступна по адресу arxiv.org/abs/2610.34662, на странице проекта stream-vibe.github.io есть демонстрационные видео и примеры; код и веса модели отмечены как «в процессе внутреннего согласования, будут опубликованы в течение 7 дней».
Риски
- В статье утверждается, что StreamVibe-VL улучшает своевременность ответов и их качество на 10.7% по сравнению с базовыми моделями, а Harness дополнительно повышает эффективность активного взаимодействия на 12.3%; все эти результаты получены на собственном бенчмарке авторов и не прошли рецензирование; примеры для бенчмарка были сгенерированы моделью Gemini 2.5 Flash и отобраны после единогласного одобрения четырьмя человеческими экспертами (согласно данным The Decoder).
- Код и веса еще не опубликованы, фраза «в течение 7 дней» взята со страницы проекта; авторы также признают, что реальные сценарии сложнее тестовых условий.
Открыть · Статья на arXiv 2610.34662 · Страница проекта StreamVibe