Box 接入英伟达 Nemotron,查询快 4 倍省 90% Token

11 月 5 日,Box 在开发者大会上展示了一项新功能,把英伟达 Nemotron 嵌入系统装进产品核心。这套面向智能体的检索系统叫 Box Content Retrieval,让智能体靠 Nemotron 生成的嵌入元数据回答问题,而不是把每份文档通读一遍。

四个数字

英伟达生成式 AI 软件副总裁 Kari Briski 表示,她预计查询应答速度会快 4 倍,错误减少 20%,Token 消耗减少 90%。Box CEO Aaron Levie 说,用户得到的是更快、更准也更便宜的查询。这套系统将面向所有 Box Enterprise Advance 客户开放,明年年初开始逐步推送。

底层是开放权重模型

该功能是英伟达 Nemotron Embed 项目的实现,提供开放权重的嵌入模型,用于改进自动化检索系统。这类模型用大模型预处理数据,使其更适合被智能体调用,也正是英伟达开源模型项目投入较多的方向,其 7 月发布的 Nemotron 版本曾登顶衡量检索质量的 RTEB 基准。Levie 提到,公司大概把五项不同技术打包进了一个简单 API。

元数据与权限仍是门槛

Nemotron 模型本身可以免费获取,但系统大量依赖 Box 既有的元数据与权限控制,外部要复现并不容易。Box 举的例子是律师,可以更容易找到相关条款和判例。由于 Nemotron 的嵌入不止于关键词,而是映射底层概念,搜索工具在措辞或语言不同的情况下也能把相关的法律主题带出来。同一模型线此前的发布见 英伟达 Nemotron 3.5 Super VL。