Un equipo de investigación liderado por Google ha introducido StreamVibe, un agente de video diseñado para decidir por sí mismo cuándo hablar. Las pruebas muestran, sobre todo, cuán difícil sigue siendo para los modelos de IA actuales.
Investigadores de Google, Stanford, Oxford y varias universidades estadounidenses están trabajando en un asistente que vigila cuando cocinas o ensamblas muebles y habla solo cuando es necesario. Con StreamVibe, han creado un agente de video diseñado para entender incluso solicitudes vagas como “Por favor, ayúdame si me encuentro con alguna dificultad”.
Según el artículo, los asistentes de video existentes están diseñados para comandos claros como “Avísenme cuando el agua comience a hervir”, por lo que rara vez perciben intenciones no expresadas. También les resulta difícil rastrear lo que ya se ha hecho, lo que hace que repitan los consejos o respondan demasiado tarde. Cuando los usuarios cambian sus peticiones en medio del proceso, los asistentes a menudo siguen las instrucciones originales.
Tres bloques de construcción para un asistente más atento
Para medir el problema, el equipo compiló un benchmark de aproximadamente 4,100 ejemplos provenientes de más de 183 horas de vida cotidiana y grabaciones de software. Gemini 2.5 Flash sugirió cuándo ofrecer ayuda y qué decir, mientras que cuatro evaluadores humanos tuvieron que aprobar unánimemente cada ejemplo. La prueba abarca tres etapas, incluyendo instrucciones claras, objetivos vagos y solicitudes que cambian con el tiempo. En un ejemplo, un usuario que desmonta un juguete de excavadora pide actualizaciones de progreso y luego cambia a solicitar una comprobación de calidad después de tres minutos.
Desde allí, los investigadores entrenaron StreamVibe-VL, un modelo aparentemente basado en el Qwen3.5-9B de Alibaba, que decide cada segundo si permanecerá en silencio o hablará. Una segunda etapa de entrenamiento utiliza el aprendizaje por refuerzo para hacer que el modelo sea más reservado, de modo que no interrumpa constantemente. Un sistema de memoria separado rastrea qué solicitudes están pendientes y qué pasos están completados, aunque es el modelo en sí quien decide si hablar y qué decir.
Todos los modelos probados pierden el seguimiento de la conversación en operación continua
Según los investigadores, StreamVibe-VL mejora el tiempo y la calidad de la respuesta en un 10.7 por ciento en comparación con otros modelos, mientras que el sistema de memoria está diseñado para aumentar la interacción proactiva en otro 12.3 por ciento y reducir las interrupciones innecesarias, entre otras cosas.
StreamVibe-VL generalmente supera su modelo básico y otros modelos de código abierto por un margen amplio, aunque el modelo propietario de Google, Gemini 3.8 Flash, obtiene mejores resultados en varios tests. Según el artículo, la capacitación especializada no afecta la comprensión general del video.
Los modelos a menudo toman la decisión correcta cuando solo tienen que decidir en momentos específicos si un prompt es adecuado. Pero cuando procesan todo un video y tienen que construir sobre sus propias respuestas anteriores, el rendimiento en todos los sistemas probados disminuye drásticamente a medida que los errores se acumulan, y una métrica de contenido clave para las respuestas drops hasta un 61.5 por ciento, basándose en el propio historial del sistema. En los videos de más de cinco minutos, las modelos rara vez eligen el momento adecuado y les resulta especialmente difícil seguir una instrucción que ha cambiado durante un largo período.
En un tutorial de GIMP sobre la conversión de una foto a blanco y negro documentado en el artículo y en la página del proyecto, el modelo de comparación JoyAI indica que la imagen final ya se ha guardado, aunque el usuario aún no la haya abierto. En cambio, StreamVibe-VL indica el siguiente paso en el momento adecuado, como “Colores” y luego “Desaturar”. En una guía paso a paso para hacer tostadas enrolladas con mermelada, otros modelos solo describen lo que ocurre en la pantalla, como el aplanamiento del pan, mientras que StreamVibe-VL aconseja cortar primero la corteza.
Los investigadores reconocen que las situaciones del mundo real son probablemente más complejas que su entorno de prueba, y el trabajo futuro examinará cómo las preferencias de los usuarios y el entorno se influyen mutuamente a lo largo del tiempo.
Google ha estado trabajando en sistemas de IA que analizan activamente los videos desde hace algún tiempo. En septiembre, Google introdujo análisis de videos basado en agentes para Gemini, donde el modelo mismo decide qué escenas deben ser examinadas con más detalle. Con Gemini 4 Argon, Google también mostró recientemente cómo la IA puede rastrear secuencias de acción más largas en videos de robots y detectar errores. El asistente de StreamVibe está diseñado para entender lo que está sucediendo en cualquier momento y reconocer cuándo realmente se necesita su ayuda.
En el benchmark ProactiveBench, los modelos de IA a menudo adivinan o se niegan a responder en lugar de hacer preguntas específicas cuando falta información visual. Un benchmark separado de la comprensión de videos reveló debilidades significativas en el razonamiento espacial y temporal. Y para los agentes de IA autónomos, la conversación en sí puede perjudicar el rendimiento, como han demostrado los investigadores de Microsoft.