小米开源 Xiaomi-OCR-0：0.8B 参数 95.24 分文档解析登顶

1 hours ago AI笔记

小米把文档 OCR 模型的门槛压到了 8 亿参数：Xiaomi-OCR-0 在真实拍摄干扰基准 Real5-OmniDocBench 上拿到 95.24 分排名第一，在综合基准 OmniDocBench v1.6 拿到 96.83 分排名第二，距榜首 TeleOCR 只差 0.04 分。这是把文档解析、关键信息抽取、OCR 视觉问答三类能力装进同一个模型的尝试，也是 2026 年 10 月 30 日开源项目里最值得单独拆开看的一个。

0.8B 到底做了什么：三类能力一个模型

传统 OCR 输出的是字符序列，遇到跨行合并的财报表格、密布公式的学术论文、字段错乱的票据卡证就断了。通用多模态大模型能读懂结构，但几十亿上百亿参数的体量意味着它跑不进手机。

Xiaomi-OCR-0 想走中间路线。基于 Qwen3.5-0.8B-Base 基座构建，它把三件事合到一个模型里做：

  • 文档解析：还原正文、复杂表格与数学公式，严格按人类自然阅读顺序输出，原生支持 Markdown 与 LaTeX 格式，表格转 HTML、公式转 LaTeX，直接可用于知识库构建与检索增强。
  • 关键信息抽取（KIE）：面对发票、收据、身份证、银行卡、业务表单，按指定字段定位并输出 JSON 等结构化数据。
  • OCR 视觉问答：围绕文档与图表内容做跨区域检索、数值计算与语义推理，而不是把文字转写完就结束。

这三个能力合在一起的实际意义是：一条流水线里不再需要「先 OCR 切图，再喂给一个视觉大模型做理解」两步走，一个 8 亿参数的模型端到端输出能直接进业务流。小米给出的官方下载量在发稿时超过 1.5 万次，许可证是 Apache 2.0，社区转出的 Ollama 包约 1.8GB，一台笔记本装得下。

基准分数：小参数压过 8B 通用多模态

下面是小米官方公布的对比数据，分数均为各基准自身指标，越高越好。

模型 参数量 类型 五项 OCR 问答基准均值
Xiaomi-OCR-0 0.8B 专用文档理解 83.2
HunyuanOCR-1.5 1B 专用 OCR 76.5
TokenVL-2B 2B 专用 OCR 78.1
TextHawk2 7B 专用 OCR 78.5
Qwen3.5-2B 2B 通用多模态 80.9
MiniCPM-V-4.5 8B 通用多模态 82.6
Qwen3.5-4B 4B 通用多模态 84.9

DocVQA、InfoVQA、ChartQA、OCRBench、TextVQA 这五项基准上的平均分，0.8B 的 Xiaomi-OCR-0 拿到 83.2，跨量级压过 8B 的 MiniCPM-V-4.5（82.6）和 2B 的 Qwen3.5-2B（80.9）。真正超过它的只有 5 倍参数量的 Qwen3.5-4B（84.9），差距 1.7 分。

文档解析侧的分数更能说明它在真实世界采集条件下的稳定性。Real5-OmniDocBench 基于 OmniDocBench v1.5 的 1355 页文档，用扫描、纸张弯曲、屏幕翻拍、光照变化、倾斜拍摄五种真实物理采集方式构造了 6775 张测试图像，Xiaomi-OCR-0 得 95.24 分，在小米对比的全部模型里排第一。Wild-OmniDocBench 聚焦打印形变、阴影、反光与复杂透视，得 87.94 分。

综合基准 OmniDocBench v1.6 上它得 96.83，总榜第二，1B 以下第一。同一张表里还列着 OvisOCR2（0.8B，96.58）、PaddleOCR-VL-1.6（0.9B，96.33）、GLM-OCR（0.9B，95.22），榜首是 TeleOCR，1.2B 参数。专项基准上，数学公式识别 UniMER-Test 得 97.84，表格结构识别 PubTabNet 得 92.27。古籍与书法评测集 Chronicles-OCR（Mature Scripts）得 73 分，与闭源模型 Seed 2.0 Pro 的 72 分处于同一水准。

训练方法：1.7 亿样本与三阶段课程

0.8B 参数想要在这些基准上站住，训练数据量并不小。小米称累计使用了约 1.7 亿条高质量 OCR 与文档理解样本，来源是一套闭环演进的数据引擎。

数据侧有三条机制。异构专家共识把正文、表格、公式拆开，分别交给多个异构 OCR 专家模型交叉校验，基于 1-NED、TEDS、CDM 等专项指标做三元组共识投票，从源头滤掉单模型偏见。渲染引导校验针对复杂表格和高难度公式走「预测—重渲染—视觉比对」闭环，把候选解析代码重新渲染成图像，跟原始文档区域做像素级和结构级比对，定位行列错位或符号缺失后再定向修正。困难样本挖掘按版面复杂度、字体形态和物理退化因素持续找短板，定向合成多语种、古籍手写、屏幕摩尔纹、扭曲光照等长尾样本。

训练阶段分三步。Q-Mask 文本锚定在特征对齐初期强化视觉局部区域与文字 Token 之间的空间对应关系，把密集文本识别和版面感知的底子打牢；OCR 持续预训练（CPT）用百亿级 Token 的多任务混合数据赋予模型全页解析、细粒度区域识别与视觉问答的综合基座能力；混合任务强化学习（Mix-RL）在困难样本上引入结构编辑距离、表格匹配度、问答准确率这类可验证奖励信号。

第三阶段还带出一个有普遍价值的训练规律：模型早期还没建立稳固解析基础时，过早混入高层理解任务会轻微分散底层识别注意力；而一旦解析根基立住，再引入 OCR 视觉理解监督信号不仅拉高问答与抽取能力，还会反过来对纯解析基准产生正向作用，在 OmniDocBench v1.6 上带来最高 +0.64 分的额外增益。解析筑基、理解反哺，这套课程设计比具体分数更值得别的团队借鉴。

落地场景与开源工具链

小米称相关技术已用在手机端「超级小爱」上，具体到几个高频动作。短按 AI 键、三指上滑或语音说一句「记一下」，系统就能从屏幕里认出外卖取餐码、驿站快递取件码、退货码、景区寄存柜号、餐厅排队号，把这类有时效的信息主动提取出来置顶。浏览微信、支付宝账单详情时，识屏能抽出交易金额、商户名称、支付时间、消费类别直接用于智能记账；纸质发票、身份证、银行卡拍一张就完成结构化字段提取。群聊里的会议通知、活动海报上的时间地点被识别后能一键生成日程卡片，看到「我的航班号是国航 CA824」这类消息，提问后还能联动查询实时起降动态。

开源部分包含模型权重与推理代码、浏览器交互式 Demo、MCP 服务以及 Agent Skill 工具包。开发者可以直接把文档解析、字段抽取、视觉问答接进自己的业务流或智能体系统，不必自己拼装 MCP 层。

放到整个赛道看，通用多模态模型还在比体量，OCR 这条细分线卷的是另一头：参数小、能本地跑、输出直接进工作流。相关的路线对比可以看腾讯开源 EVIE-Preview-4.5B 走的另一条路，它干脆不用 OCR 直接做文档检索；同类专用模型还有百度 Unlimited OCR 2 的 3.34B 路线，以及腾讯 WeVisOne-VL 的 4B 通用视觉方案。

常见问题

Xiaomi-OCR-0 到底有多大，能在本地跑吗？

模型参数规模 0.8B，权重与推理代码已上架 Hugging Face 与 GitHub，许可证 Apache 2.0。社区转出的 Ollama 包约 1.8GB，官方 README 标注的验证范围是 Apple Silicon 加 Ollama 0.35.0，7 个样例的 token 数全部对齐，其中 5 个原始输出逐字一致。普通笔记本装得下，属于真正能本地跑的量级。

它和通用多模态大模型该怎么选？

如果任务是读发票、读合同、读研报表格并抽出结构化字段，专用文档理解模型在同等精度下体积小一个量级，更适合塞进手机或边缘设备。如果任务需要的是看图后做开放式的推理和多轮对话，通用多模态模型的能力覆盖面仍然更宽。两者并非替代关系，实际工程里常是专用模型负责解析、通用模型负责后续推理的组合。

0.8B 模型在真实拍摄的文档上可靠吗？

Real5-OmniDocBench 就是为回答这个问题设计的基准，用扫描、弯曲、翻拍、光照、倾斜五种真实采集方式构造 6775 张测试图像，Xiaomi-OCR-0 得 95.24 分排第一，Wild-OmniDocBench 得 87.94 分。分数说明它在非受控成像环境下表现稳定。不过分数来自官方对比表，独立复现情况尚未见到，商用前建议用自己的真实文档样本测一轮。

小结

把文档理解做成 8 亿参数，让解析、抽取、问答三条链路收敛到一个模型里，Xiaomi-OCR-0 在 2026 年 10 月末给出了一个参数效率相当高的答案。1.7 亿样本的闭环数据引擎与「解析筑基、理解反哺」的课程设计，是这份成绩背后比数字更可复用的部分。OCR 这条赛道接下来比的不是谁的模型更大，而是谁能把小模型塞进用户真正会打开的那个 App 里。

相关阅读

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

Related News