Google StreamVibe 视频智能体 4100 样本训练时机判断

2026 年 11 月 1 日消息,据 The Decoder 报道,谷歌研究团队发布 StreamVibe 项目,让视频 AI 在用户观看过程中主动判断该在什么时刻提供帮助,而非被动等待提问。该系统基于 Qwen3.5-9B 基座构建。

4,100 个样本与 20,546 个帮助点

训练集由 4,100 个样本组成,覆盖 183.4 小时视频,累计标注出 20,546 个帮助点。标注按意图分为三类,分别给出 600、2,000 与 1,500 个样本额度。评估环节采用 Gemini 2.5 Flash 生成提议加 4 位人工评审全通过的机制。

结果显示,接入时机质量提升 10.7%,额外加入记忆系统后指标再提升 12.3%。但代价同样明显,长视频的 Content F1 最多下降 61.5%,5 分钟以上的片段几乎抓不准时机。这套方法在短内容上有效,在长内容上仍不实用。

基准分数与基座模型对比

在 EgoProactive 宏指标上,系统从 46.2 提升到 59.5;IPIBench 理解维度从 9.8 提升到 20.4。不过评测也显示,Gemini 3.8 Flash 在同一任务上仍然更强,Qwen3.5-9B 只是提供了可行性基线,并未在绝对能力上超越闭源模型。数据配比上,团队使用 7 万条 SFT 与 1.5 万条强化学习数据,构成 StreamVibe-85K,并混入 76.8 万条通用流式样本,论文发布在 arXiv 2610.34662。

让模型学会在正确时刻开口,是长视频助手绕不开的一环。谷歌给出的答案目前只在分钟级内容上成立,更长的内容则需要另一套记忆与索引机制。世界模型方向的其他进展,可参考Genie 4 原生音频与视频生成拆解。