小米开源 Xiaomi-OCR-0:0.8B 参数打通文档解析与视觉问答

一个 0.8B 模型覆盖三类文档任务

10 月 30 日,小米官方宣布开源轻量级文档理解模型 Xiaomi-OCR-0,模型权重与推理代码同步上线 Hugging Face 和 GitHub,官方给出的参数规模是 0.8B。

它用单一模型同时覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务。文档解析能识别正文、表格与数学公式,按阅读顺序输出结构化结果,原生支持 Markdown 与 LaTeX 格式;关键信息抽取面向发票、收据、卡证和业务表单,按指定字段定位并输出 JSON,可直接接入自动化流程;视觉问答则允许围绕文档与图表做跨区域检索、数值计算和语义推理。

1.7 亿样本与异构专家共识机制

据小米披露,Xiaomi-OCR-0 基于 Qwen3.5-0.8B-Base 基座构建,训练累计使用约 1.7 亿条 OCR 与文档理解样本。

数据侧采用异构专家共识机制,正文、表格、公式等不同区域由多个 OCR 专家模型交叉校验并投票筛选高置信标注,把最容易出错的部分交给多模型互查,从而摆脱对单一模型一致性的依赖。

预测再渲染再比对的闭环校验

针对复杂表格与公式,团队引入预测、重渲染、视觉比对的闭环校验流程:把候选解析结果重新渲染为图像,与原始文档区域做像素和结构级比对,定位行列错位或符号缺失后定向修正。

训练数据还按版面复杂度、字体形态与物理退化因素合成困难样本,补充多语种、古籍手写、屏幕摩尔纹与扭曲光照等长尾场景,这类脏数据在真实票据里占比不高,却直接决定抽取能否在产线上跑通。对端侧与私有化部署感兴趣的人,可以对照百度 Unlimited OCR 2 的 3.34B 参数方案看两条路线在体积与精度上的取舍。