腾讯开源 EVIE-Preview-4.5B:不用 OCR 的文档检索,4.5B 参数拿了 ViDoRe 第一

做个盲测。

给你 1000 份乱糟糟的文档,有扫描件、有 PDF、有表格、有图表,有中文有英文有日文。现在你问一句「这份合同里违约金是怎么算的」,模型要找出最相关的那一页。

传统做法是什么?先跑 OCR 把图片转成文字,切块,向量化,进向量库。

问题来了。OCR 一跑,表格的行列结构没了,图表的标题位置跑了,扫描件歪着的文字识别率直接打折。你折腾半天建好的索引,搜「违约金」还行,搜「这个数怎么来的」就抓瞎,因为关键信息可能在一个歪着扫描的截图里。

腾讯的答案很干脆:别 OCR 了,直接拿图片检索。

把文档当图片扔进去

EVIE-Preview-4.5B 是腾讯 8 月 17 日在 Hugging Face 开源的多语言视觉文档检索模型,4.54B 参数,Apache 2.0 协议。

它的思路很简单:不做文字提取,直接把文档页面和用户查询都变成向量,在向量空间里比相似度。

具体来说,模型用 Qwen3.5-4B 做 backbone,采用 ColPali 风格的晚期交互机制(Late Interaction)。查询和文档各自编码成大量 token 级的小向量(每 token 128 维),而不是压成一个大向量。「晚期」的意思是两边向量先独立生成,到最后比对阶段才做交叉注意力,保留了更细粒度的匹配能力。

这样做有个直接好处:表格、图表、扫描件的布局信息全部保留,不需要 OCR 识别文字,不需要知道图表画的是什么。

跑分党狂喜

ViDoRe V3 是一个看文档检索能力的基准,EVIE-Preview-4.5B 目前的成绩是 65.36 分,排名第一。

这里有个有意思的点:排第二的 webAI-ColVec1.1-8B 有 8.4B 参数,比 EVIE 大了将近一倍,分是 65.32,差 0.04,几乎一样。

也就是说,EVIE 用更小的参数跑出了和更大模型相当的检索效果。

背后原因可能是晚期交互机制本身对细粒度匹配更友好,以及训练数据质量(80 万组高质量图文对,多语言覆盖)。模型用了硬负例挖掘,负例还要经过大多模态模型的裁判判断才进损失函数,训练策略上下了功夫。

索引体积很友好

128 维的 token 向量是个折中:比 640 维的竞品小了不少,但维度又不是太低,保持了匹配精度。

官方给的数据:100 万页文档的索引体积约 180GB。

对于想在本地跑文档检索的个人开发者或中小企业来说,这个体积可以接受。

不过需要注意:EVIE 是个检索模型,不是阅读理解模型。它只负责找到最相关的那一页,后面的答案提取要另接一个阅读模型完成。检索 + 阅读才是完整 pipeline。

多语言覆盖意外地全

英语、法语、德语、意大利语、西班牙语、葡萄牙语、中文都支持,还包括日文页面。

这对在中国市场做跨境文档检索的场景很有用,比如一份中日双语的技术文档,或者日文发票扫描件,直接用中文查询就能召回。

快速上手

Hugging Face 页面有 Chat Template,直接在页面右上角体验。也可以用 transformers 加载本地跑,BF16 checkpoint 约 8.5GB。

训练细节没有完全公开,但论文引用格式已经挂出来了,估计正式论文快了。

核心就一句话:以后文档检索不用折腾 OCR 了,直接把图片扔进去,模型帮你找。