一句话结论:SoMark 团队开源的 OXR 用 1.3B 参数拿下文档解析三大榜单第一,单张 RTX PRO 6000 解析 100 页只要 101 秒,靠的是后训练阶段的递归自我改进循环,跟更大的模型没关系。
文档解析是生成式 AI 基础设施里最不起眼也最卡人的一环。一份 PDF 双栏排版、公式密集、表格跨页,交给 OCR 工具往往得到一段顺序错乱的字符垃圾,这份垃圾再进 RAG 管道,下游大模型给出的答案看着合理,其实建立在错误上下文上。11 月 1 日前后开源的 OXR 把这件事往前推了一步,它的成绩单相当直接。
OXR 全称 Optical Everything Recognition,出自 SoMark 团队。模型规模 1.3B 参数,从零预训练,权重、代码以及整套基准复现流程已全部公开,在 OmniDocBench、olmOCR-Bench、DocParsingBench 三个基准上同时排名第一。速度上,单张 RTX PRO 6000 完成 100 页端到端解析耗时 101.0 秒。
三个榜单第一,具体是什么分数
三个基准覆盖的难度并不相同。OmniDocBench 由上海人工智能实验室开源,覆盖十类复杂文档,OXR 拿到 97.18 分。olmOCR-Bench 来自海外的 Ai2 团队,题目量超过 7000 道,粒度接近单元测试级别,OXR 是 87.84 分。DocParsingBench 覆盖五大行业十四个真实业务场景,OXR 是 87.76 分。官方仓库同时放出了速度与分数的对照图,在解析速度这一栏上,OXR 在开源文档解析模型中排名第一。
把 OXR 放进文档解析这条赛道里横向看,会更清楚它的位置。近两周站内已经出现过两个同类开源模型:
| 模型 | 参数 | 主要基准 | 得分 | 效率指标 |
|---|---|---|---|---|
| 小米 Xiaomi-OCR-0 | 0.8B | Real5-OmniDocBench | 95.24 | 三能力合一模型 |
| 百度 Unlimited OCR 2 | 3.34B | MarathonDocBench | 77.06 | 显存 47GB 压到 1.77GB |
| OXR | 1.3B | OmniDocBench / olmOCR-Bench / DocParsingBench | 97.18 / 87.84 / 87.76 | 100 页 101 秒 |
三个基准分数不可直接横比,各家评测口径不同,但有两个趋势值得注意。一是参数规模与解析精度不再正相关,OXR 用 1.3B 拿到了三个榜单的顶端位置。二是速度成为新的竞争维度,上表里小米 Xiaomi-OCR-0 走的是能力合一路线,百度 Unlimited OCR 2 主打长文档显存优化,OXR 选择把端到端速度拉满。
递归自我改进循环的三个阶段
传统高精度模型的路径是堆参数加人工标注,文档解析领域这条路特别难走。排版千奇百怪,专业公式、代码、图表交织,纯人工标注成本极高,标注员本身的错误率也不低,长尾情况根本穷尽不了。
OXR 的切入点在于文档解析有一个被忽视的性质,每一份输入都有客观确定的标准答案。文字对不对、表格跨行跨列有没有错、公式符号有没有漏,都能被精确测量。既然对错能客观判断,后训练阶段就不必完全依赖人工标注来喂模型。
递归自我改进循环分三步。第一步是预测与分类,OXR 先解析海量无标签真实文档,再由通用多模态模型结合原始图像、解析结果和评判标准,把样本切成完全正确、明确错误和不确定三类。保留不确定这一档是个反直觉的设计,如果只给对与错两个非黑即白的选项,评判模型的犹豫会被强行包装成确定标签,误差会直接喂给下一轮训练。
第二步除了分类还有多次 rollout 采样。同一份文档跑几次结果差异大,说明模型底气不足,哪怕碰巧蒙对一次也会被丢进不确定集合。接着在语义不变的条件下对高分歧样本做轻微图像扰动,比如小幅缩放、压缩、模糊或平移。扰动后分歧进一步扩大,就说明模型对这类无害的视觉变化过度敏感,这个扰动动作会被记成一条病因,直接指导下一轮补强。
第三步是归因与训练规划加上数据生成。通用多模态模型逐个样本诊断失败原因,比如跨列单元格对齐失败还是手写连笔识别错误。诊断出的自然语言原因会输入到 SigLIP2 提取特征向量,再由独立的聚类模型归成原因簇。一张财务报表和一张化学实验记录表看起来毫无关系,但如果归因发现它们都死在同一种罕见的跨行跨列结构上,这就被提炼成一个共同的数据构造方向。
生成阶段的做法是原因簇提供结构难点,真实样本池提供版式与视觉风格锚点,每次生成新数据都从真实样本里抓取排版风格作为底,把要攻克的结构难点融进去。前面扰动测试发现的视觉脆弱点也会被编入合成管线,强制模型在练习中反复脱敏。生成的数据经过规范校验后回流训练下一代模型,一轮补齐短板,下一轮真实文档再暴露新短板,循环由此成型。
架构上最容易被忽略的一步
文档解析的技术演进走过几个阶段。最早是流水线方案,检测、识别、排序各用一个独立专有模型,拼起来臃肿且维护成本高。VLM 流行后大家试图端到端一锅端,让大模型直接全页往外蹦字,方案优雅但速度慢,自回归生成长序列太吃算力。PaddleOCR-VL 走出漂亮的一步,把版面分析与阅读顺序合并成一个小模型,后面接识别模型,两个模型两个阶段,把版面检测速度拉回毫秒级,这成了近两年的行业标准解法。
OXR 给了另一个任务级重构方案。独立的轻量模型负责版面分析,OXR 主模型同时负责内容识别与阅读顺序判断,即版面分析指向识别加阅读顺序的单模型合并。这个拆分带来两个质变。
一是阅读顺序带来的性能损耗被抹平。判断阅读顺序的耗时原本远小于文本识别,并入主模型后没有额外时间开销,反而因为主模型具备语义理解能力,阅读顺序判断准确率大幅提升。同时版面分析模块卸下排序包袱后任务变得纯粹,可以直接用更轻量的检测模型,整体吞吐量原地起飞。
二是版面分析模块独立且完全可插拔。不同业务对版面需求天然打架,图文混排区域,内容团队想当整图提取,知识库团队想抠文字当正文,四格漫画各家想裁法不同。OXR 把版面分析做成可替换模块,业务方可以换成自己训练的私有版面模型,后端继续用 OXR 的内容识别与阅读顺序能力。这一设计在古籍、医疗单据这类特殊版面场景下价值最大,分子之心 MMDesign 这类结构化科研数据管线同样吃这一套。
能解析哪些东西,部署门槛在哪
OXR 能识别 13 类文档元素,输出时带版面坐标:
| 元素 | 输出格式 | 元素 | 输出格式 |
|---|---|---|---|
| 正文 | 纯文本 | 表格 | HTML / Markdown |
| 标题 | 纯文本 | 公式 | LaTeX |
| 图注 | 纯文本 | 化学方程式 | LaTeX(mhchem 语法) |
| 脚注 | 纯文本 | 化学结构 | SMILES / 图片 |
| 页眉 | 纯文本,默认过滤 | 代码块 | Markdown 代码块 |
| 页脚 | 纯文本,默认过滤 | 印章 | 纯文本 / 图片 |
| 图片 | 图片 |
官方给的解析样例覆盖 A3 试卷、中文手写、代码块、化学方程式、化学结构、复杂公式、复杂表格、学术论文、报纸这类版式。杂志排版会输出保留完整语义结构和阅读顺序的结构化 Markdown,数理公式转成标准 LaTeX,双列文献不会因为排版降低质量,数学试卷也能解析。
部署门槛方面,本地运行要求 Linux 加支持 BF16 的 NVIDIA 显卡,驱动兼容 CUDA 13.0,Python 3.12。官方给出的显存口径是单卡 24GB 可以起步,用于低并发测试,长文档或更高并发建议单卡 48GB 以上。项目提供 Docker 一键部署,官方 vLLM 发行版暂不支持 OXR 推理,团队提供了 out-of-tree 插件,不需要重新编译 vLLM。官方还提供一个免注册免申请 Key 的免费 API,但明确说明不推荐用于生产环境,原因是服务稳定性不保证且请求排队。
值不值得现在上生产
从工程角度看,OXR 的三个数字组合在同类里少见,1.3B 参数、三个榜单第一、100 页 101 秒,参数量小意味着 RTX 3060 这类消费级卡也能跑起来,这和LEANN 这类本地检索方案是同一条本地化路线上的不同环节。
风险点也很清楚。榜单成绩与耗时数据来自项目方自身与媒体报道,尚无独立第三方验证,实际精度和速度会随文档类型、硬件与推理框架变化。递归自我改进循环依赖一个通用多模态模型做评判,自动生成数据在专业公式、复杂表格和长尾版式上可能放大评判模型的偏差,人工抽检仍然绕不开。加上榜单第一的差距本身不大,在表格解析上领先幅度较宽,其他任务上的领先幅度需要第三方复现才能确认。
常见问题
OXR 是什么,跟传统 OCR 有什么区别
OXR 是文档解析模型,目标是产出可供 Agent 直接使用的结构化资产,而不只是把图片变成文字。它输出带阅读顺序的结构化 Markdown、LaTeX 公式、HTML 表格和版面坐标,覆盖 13 类文档元素,公式和化学方程式直接给可渲染代码。
递归自我改进具体解决了什么问题
它解决的是文档解析标注数据成本高、长尾 case 穷尽不了的困境。利用文档解析答案客观可测的特点,让模型自己找错、自己分析原因、自己生成针对性训练数据,不依赖新增人工标注,一轮补齐短板后进入下一轮迭代。
1.3B 参数的模型能替代多模态大模型做文档解析吗
不能等量替代。OXR 定位是专注解决文档内容识别与结构恢复,不承担通用问答。官方也提供了商业级引擎 SoMark 处理 Word、PPT、Excel 等更多格式与后处理定制。如果你的场景是单纯把 PDF 变成干净 Markdown 并喂进 RAG,OXR 这类垂直小模型的性价比明显优于通用大模型。
小结
OXR 值得关注的地方有两个。一个是递归自我改进第一次被完整用在文档解析这个有客观标准答案的领域,把数据构造闭环跑通了,这个方法论比模型本身更容易迁移到别的垂直任务。另一个是版面分析可插拔这个架构决定,它承认了版面需求天然长尾这件事,把最需要定制的那部分单独拆出来,让业务方能低成本替换。1.3B 参数加 100 页 101 秒,让本地部署从设想变成了可选项。
相关阅读
- 小米开源 Xiaomi-OCR-0:0.8B 参数 95.24 分文档解析登顶
- 百度 Unlimited OCR 2 开源:3.34B 模型百页文档 77.06 分
- LEANN 向量索引深度:188GB 压到 4GB 与 2.48 秒代价
- 分子之心 MMDesign 深度:19 项目 94.7% 成功率
延伸阅读
- Nanbeige4.3-33B 开源 Terminal-Bench 80.9 分1 周前
- Carbon-X:DNA 基准 66.7 分,成本仅 GPT-6.1 的 1/18001 周前
- Mistral Large 4 预览版发布:万亿参数、漏洞复现 82 分超越 GPT-64 周前
- Mistral Large 4 开放权重:Terminal-Bench 冲 41%3 天前
继续读
同一批更新里这几篇值得一看:
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
