Google StreamVibe 主动视频智能体：4100 样本与 10.7% 提升

一句话结论：Google 联合多所高校发布的 StreamVibe 把视频智能体从「等提问」推到「主动开口」，4100 条评测样本显示它能同时管住该说的和不该说的，但隐式意图仍是当前模型最难啃的部分。

过去两年多模态模型的进步集中在看得准。给定一段视频，问什么答什么。但真实使用场景里，用户往往不会提问。有人在网页上停顿了一下，助手能不能知道他正卡在哪一步？有人做菜做到一半改口少放点盐，之前的提醒还算不算数？StreamVibe 这篇论文直面的就是这一类问题，把主动式视频交互从模糊的产品设想变成可测量的能力。

这套工作由 Google 主导，联合加州大学圣塔芭芭拉分校、斯坦福大学、哥伦比亚大学、牛津大学等机构完成，2026 年 10 月 26 日提交论文，次日更新修订版。论文同时给出三样东西：一个覆盖显式、隐式、动态三类意图的评测基准 StreamVibe-Bench，一个流式主动模型 StreamVibe-VL，以及一套负责维护意图状态的外挂框架 StreamVibe-Harness。

主动式交互到底难在哪：三类意图的分层

论文把主动协助定义成一个因果式的流式决策过程。智能体持续观察视频流，用户可能在任何时刻表达一个或多个意图，每个意图在某个时间点才进入可见范围。智能体在每个时间步只能看到当前已激活的意图和已观测到的画面，不允许访问未来视频或用户后续输入，这一点和「把整段视频喂给模型、最后问发生了什么」的回顾式 VideoQA 有本质区别。

难点被拆成三个层级。Level 1 显式意图最简单，用户直接指定触发条件，比如水开了告诉我，需要的是事件识别与响应对齐。Level 2 隐式意图只给一个总目标，比如帮我把菜做好，助手必须从过程里推断什么时候值得开口，覆盖指导、学习、监测和工具使用四类场景。Level 3 动态意图最难，用户会在任务中途改要求，分成修订、叠加、打断三种形式，而且这些变化可能在一次交互里反复出现并组合。

这类问题此前被拆散在不同基准里。论文给出了一张横向对比表，把主流主动交互基准放在同一维度下比较：

只有 StreamVibe-Bench 同时覆盖三种意图、物理与数字两种环境，并且提供逐点与完整轨迹两套评测。数字场景部分尤其值得注意，用户意图往往不写在话语里，而是藏在导航、编辑、工具调用的操作轨迹中，当前 GUI 智能体的能力缺口恰好落在这里，与，腾讯 WeVisOne-VL 统一七类视觉任务那类工作解决的是看懂，而 StreamVibe 要解决的是看懂之后该不该出声。

基准怎么造：4100 条样本背后的标注成本

基准的主体是 4100 条评测样本，包含 20546 个帮助点和 183.4 小时视频，平均单条时长 8.3 分钟。样本按意图类型分配：显式 600 条，细分为单次事件、状态转变、重复事件三型；隐式 2000 条，分成指导、学习、监测、工具四型；动态 1500 条，分成修订、叠加、打断三型。每一类内部的子类型尽量均衡分配，避免某一种任务压倒其他类型。

每个子类型背后都有具体的证据点和时长口径：

标注流程是这类基准真正的成本所在。候选帮助点先由 Gemini-3.8-Flash 批量产出，包含响应时间窗、推荐时刻和参考回答，再由四位评审独立核验，只有全部通过的样本才被保留。动态意图还额外构造了带时间戳的多轮交互序列，模拟用户中途改口、扩项或插话。

这套标注的可信度有量化依据。审计子集上，人对人之间的 Fleiss kappa 在显式意图上达到 0.87，隐式 0.84，动态 0.82，全部候选 0.84。Gemini-3.8-Flash 与人类评审之间的 Cohen kappa 均值是 0.76，隐式意图区间落在 0.72 到 0.78。也就是说，模型参与标注并没有把主观性无限放大，但动态意图仍然是四方一致度最低的一类。

模型怎么学：先学什么时候闭嘴，再学说什么

训练分成两个阶段。第一个阶段是自适应流式监督微调，核心是平衡沉默与回应两种决策，如果模型总在沉默就会错失帮助机会，如果总在回应则会造成打扰，所以这条损失里给沉默动作单独加权，同时监督回答内容，避免模型只学会时机却不知道说什么。第二个阶段是局部轨迹强化学习，用 GRPO 在帮助点附近构造短时间的因果 rollout，联合优化回应时机、内容质量和连续交互的一致性。

训练数据合成 StreamVibe-85K，包括 7 万条任务相关的监督样本和 1.5 万个强化学习种子任务。监督阶段另外混入 76.3 万条通用流式视频样本，用来保住通用视频理解能力。各部分来源与用途如下：

论文给出的总账有两项。响应时机与答案质量相对已有基线提升 10.7%，加上 Harness 之后，互动一致性再提升 12.3%。这个 10.7% 的构成在主结果表里能看到，完整轨迹评测下 StreamVibe-VL 的强化学习版本在三类意图上的内容 F1 分别为 10.83、19.13、8.91，均高于论文列出的开源流式基线，与 MMDuet2 的差距分别是 4.95、2.62、1.44。

逐点好看，轨迹难看：完整交互下的真实差距

论文设置了两套互补协议，这套区分是整篇文章最有价值的部分。逐点评测在标注帮助点附近采样正负时间戳，独立判断该不该回应，可使用标准历史，目的是隔离局部决策能力。完整轨迹评测让模型在整段视频流上连续运行，每一步都依赖自己此前的输出，捕捉误差传播、意图跟踪和重复漏答。

两套协议给出的画面差距极大。逐点评测下，Gemini-3.8-Flash 在隐式意图上 F1 达到 81.00、内容 F1 达 66.93，StreamVibe-VL 强化学习版本的隐式 F1 是 72.01、内容 F1 61.28，闭源与开源差距在可接受范围。但换成完整轨迹评测，闭源模型的时机 F1 仍能维持在七成上下，开源流式模型普遍掉到两成以下，StreamVibe-VL 强化学习版本的显式意图 F1 是 26.51、隐式 26.26、动态 19.96。

更刺眼的是误触发率。逐点评测下，Gemini-3.8-Flash 在隐式意图上的误触发率是 27.09，Qwen3-VL-8B 是 83.71，StreamVibe-VL 强化学习版本是 67.91，纸面上并不占优。但到了完整轨迹，StreamVibe-VL 强化学习版本的误触发率降到 2.02，同类开源流式模型 MMDuet2 是 7.90，VideoLLM-Online 只有 1.44 却几乎没有有效回答。这正是论文归纳的第二个发现：召回率高往往伴随误触发多，当前方法还无法在覆盖度和多余打扰之间取得平衡。

第三点发现来自交互长度。时机 F1 随交互时长稳定下滑，修订类意图在后半段的召回掉得更狠，叠加类意图的内容质量更弱。也就是说，单次判断正确并不等于长时间互动稳定，这和Anthropic 用自动化红队检验模型失配时强调的持续状态视角，在交互侧是同一个问题。

Harness 把意图当状态来管

StreamVibe-Harness 是套在模型外面的管理框架，负责维护交互状态、意图生命周期和分层记忆。意图被视为有生命周期的持久状态，每条意图可以独立新增、修订或结束，无需把历史指令全部留在一份越来越长的待办清单里。

实现参数相当具体。记忆模型用 Qwen3-VL-4B-Instruct，单独进程推理，每次调用最多 64 帧，每帧最多 262144 像素。分块与提交调度步长为 32 步，提交前瞻 8 步，保留 5 份中期摘要和 8 个长期块。检索证据最多取 3 条事实和 3 条有序转移，紧凑状态证据只保留首行渲染文本并截断在 180 字符，技能库固定 10 条且每次上下文构建最多选 1 条，程序性记忆保留最多 8 个已完成步骤和 12 个时间锚点。

这组设计把「策略」和「状态跟踪」分开了。论文的判断是策略学习主要改善局部主动决策，状态跟踪负责在长程交互里保住有效意图和任务进度，从而压掉过时、重复和状态不一致的输出。消融结果支持这个分工，加上 Harness 之后在动态意图上的增益最明显。论文同时报告模型在通用视频理解基准上全面超过自身基座，说明学主动没有牺牲基础感知能力，这与Google Genie 4 世界模拟那类把生成能力往前推的工作是互补关系。

论文给出的三个结论

第一，StreamVibe-VL 在保持通用视频理解能力的同时，把响应时机与答案质量相对基线提升了 10.7%。第二，现有主动式模型在理解用户意图和判断何时开口上依旧受限，尤其在隐式与动态意图下。第三，StreamVibe-Harness 通过持久状态与分层记忆，把持续互动性能再推高 12.3%。论文也坦承当前的意图演化设定还比较理想化，真实场景里用户需求与环境状态会互相影响、共同演化，这部分留给后续工作。

常见问题

StreamVibe 是什么，和普通视频问答模型的区别在哪

普通视频问答是用户提问、模型回答，属于被动响应。StreamVibe 把任务定义成流式决策，模型每个时间步都要判断此刻该不该开口、说什么，并且不能看未来的画面。它把该沉默也当成一种要被训练和评测的能力。

隐式意图的 Content F1 为什么明显低于显式意图

因为隐式意图下用户没有给触发条件，助手必须自己从画面和任务进度里推断该不该介入、什么时候介入。主表里 StreamVibe-VL 强化学习版本在逐点评测下隐式意图内容 F1 是 61.28，完整轨迹评测下只有 19.13，落差来自误差在自生成历史里持续累积。

这套方法能直接用在产品里吗

论文提供的是研究系统而非可直接上线的助手，代码和项目主页已公开，模型权重未发布。真正的门槛在 Harness 的工程实现，意图生命周期管理和分层记忆需要按业务场景定制，这也是它最可能先在特定垂直场景落地的原因。

小结

StreamVibe 值得关注的点不在某个跑分，而在它把主动式交互拆成了可测量的三层意图，并且诚实地暴露了逐点评测与完整轨迹评测之间的巨大落差。10.7% 和 12.3% 两个提升数字背后，是 20546 个帮助点、183.4 小时视频和四位评审逐条核验出来的标注成本。对关注个人助理、GUI 智能体、具身交互的团队来说，这篇论文提供的是一套共通语言和一套现成的评测靶子。

相关阅读

• Gemini 4 Carbon 发布：AA 指数 59 分登顶与安全基准全优
• 清华代数世界模型 AWM：ARC-AGI-3 183 关全通
• 腾讯 WeVisOne-VL 开源：4B 模型统一七类视觉任务
• Google Genie 4 发布：2 分钟世界模拟与原生音频