智谱 GLM-Omni 深度：图像生成 54% 对文字问答 14.57% 的断层

一句话结论：智谱与清华大学的一项研究证明，统一多模态模型通过图像生成学到的知识大部分说不出口，GLM-Omni 图像生成正确率 54.00%，纯文字问答准确率仅 14.57%，而把生成与回答接进同一条训练序列后平均准确率升至 26.86%，推理时允许模型先画再答则达到 41.14%。

论文标题是 Can Visual Generation Expand What Unified Multimodal Models Know?，作者为清华大学的李文凯、洪文逸、杨卓一与通讯作者唐杰，机构署名 Tsinghua University 与 Z.AI。这篇论文在 2026 年 10 月 15 日发布于 arXiv，编号 2610.21459，代码与数据集同步挂在 GitHub 的 kevinlllee/Knowledge-Transfer-Probing 仓库。

论文带出了智谱此前从未公开过的内部模型 GLM-Omni。社交平台一度把它和 GLM-5.5 联系起来，但论文本身并未披露版本对应关系，这一点需要说清楚。GLM-Omni 以 GLM-4.1V-Thinking 的预训练基座为起点，参数规模约 9B，接入基于 X-Omni 的离散图像 Tokenizer，让同一个模型同时处理图像理解与图像生成。

球衣号码：72% 画得对，2% 说得出

研究要回答的问题很具体。一个模型在图像生成训练里记住了某些视觉事实，这些知识能不能被它用语言说出来。为了绕开模型可能早就从文字资料里读过答案的干扰，研究团队构造了一个虚构世界 MagicWorld，里面有根本不存在的球队、人物、旗帜与书籍。

虚构球衣叫 Arvenbrock，号码设为 10。训练时的文字提示只要求生成这件球衣，数字 10 仅出现在目标图像里，不在任何一句提示文本中。训练结束后，研究者直接问模型 Arvenbrock 的球衣号码是多少，全程不提供图片。

结果是：经过图像生成训练，GLM-Omni 把指定号码正确画在球衣上的比例达到 72%，研究者拿走图片改用文字询问，答案正确率只有 2%。模型能在画面里复现的知识，换成一句问话几乎答不上来。

论文的整体数字是图像生成正确率 54.00%，文字问答仅 14.57%。参与测试的三款模型采用了不同的视觉生成架构：字节跳动的 BAGEL 用 Mixture-of-Transformer-Experts 架构，把理解与生成放在相对独立的专家分支中；商汤的 SenseNova-U1 采用 NEO-unify 架构，直接建模图像像素，不使用独立的预训练视觉编码器与 VAE；智谱的 GLM-Omni 从 GLM-4.1V-Thinking 预训练模型出发，接入离散图像 Tokenizer。三者的架构差异，正是这项研究要横向比较的对象。

KTP 协议：350 条知识与 8552 组图像

整套实验依托研究团队提出的 Knowledge Transfer Probing 协议，也就是知识迁移探测。它要区分两件事，模型在图像生成时是否学到了某项知识，以及它能不能通过语言把这项知识表达出来。

数据集的设计围绕三条原则展开。第一是信息隔离，用语言模型审查描述文本，确保提示词与实体名都不会直接暴露或间接暗示目标属性值。第二是无先验实体，全部使用虚构名字，避免苹果是红这类预训练关联干扰判断。第三是属性分布平衡，尽量抵消隐式分布偏差。

任务覆盖颜色、数量、形状、空间排列、相对大小、数字、文字 7 类，每类 50 条知识共 350 条。每个实体制作不同背景与视角的图像，筛选后保留 8552 组训练样本，平均每个单元约 25 个文生图样例。为降低回答格式不匹配带来的干扰，研究还额外构造了 10000 条与目标知识完全无关的文字问答样本，让模型熟悉回答形式却拿不到任何答案。

评估走两条路径。一条是让模型重新生成目标图片，再由视觉语言模型判断图中属性是否正确，这衡量视觉可达性。另一条不提供图片，只用文字提问，这衡量文字可达性。两者之差被定义为可达性差距，即视觉正确率减去文字正确率。正值意味着模型在画的时候更准，说的时候更差。

三模型对照：视觉可达率全面碾压文字可达率

论文 Table 1 给出的直接迁移条件下的完整对照，是这份研究最有信息量的部分。

三款模型的平均可达性差距分别是 BAGEL 22.57 个百分点、GLM-Omni 39.43 个百分点、SenseNova-U1 41.14 个百分点，差距全面为正。SenseNova-U1 在数字任务上的对比最刺眼，视觉可达率 88%，文字可达率 0%，一个能画出来，一个一个字都答不出。

空间排列任务则呈现出另一种形态。BAGEL 与 SenseNova-U1 在空间任务的视觉可达率均为 0%，说明它们连生成路径都没学稳，这类知识缺失属于学习不足，跟读取困难是两回事。研究团队在设计后续训练方案时特意区分了这两种情况。

文字对齐失败，图文交错对齐奏效

第一种补救方案是文字对齐。研究给每类 50 个实体中的 25 个各补 10 条文字问答示例，剩余 25 个完全不提供文字答案留作测试。模型需要把在前一组学到的方式迁移到后一组身上，而不是直接记住测试答案。

结果分化明显。BAGEL 平均文字正确率从 8.86% 升到 15.43%，SenseNova-U1 从 20.00% 升到 28.00%，其中形状任务从 20% 增至 68%，相对大小达到 100%。GLM-Omni 却从 14.57% 降到 12.57%。更关键的是，三款模型在测试实体的数字与书籍标题任务上正确率全部为 0%，而对齐实体在同样任务上分别是 72% 与 76% 到 96%。会背答案不等于会读图。

第二种方案是图文交错对齐。图像生成与文字回答不再拆成两类独立样本，而是放进同一条训练序列。模型面对球衣号码问题时，先生成对应球衣，再根据画面里的号码组织文字答案。评估条件不变，测试时仍然只允许文字回答，不能临时生成图片。

GLM-Omni 从 12.57% 提升到 26.86%，其中形状任务从 12% 升到 64%，空间排列从 0% 升到 40%，是三款模型中进步幅度最大的一款。不过颜色与数量任务出现回落，交错训练还做不到所有视觉属性一起受益。

那提升究竟来自图像监督，还是仅仅因为模型多看了几段文字？研究在 GLM-Omni 上做了消融实验：保留同样的交错响应与文字监督，只屏蔽交错样本中图像部分的损失信号。平均文字正确率随即从 26.86% 跌到 13.71%，跌幅集中在颜色、形状与空间任务。图像重建的训练信号确实在影响语言调用能力。

视觉思维链：先画再答，41.14%

即便联合训练之后，号码与书名这类知识仍说不出来。研究换了个思路，既然模型更擅长把答案画出来，那答题之前能不能先画一遍。视觉思维链这个做法，允许模型在推理过程中生成目标图像，再从图像中识别属性，最后组织文字答案。

GLM-Omni 从 26.86% 提高到 41.14%，增加 14.28 个百分点，数字任务从 0% 跳到 36%。BAGEL 与 SenseNova-U1 的数字任务也从 0% 分别升到 4% 与 20%。论文里有个案例，SenseNova-U1 直接回答球衣号码时给出了错误的 69，生成球衣图像再读取后答出了正确的 31。

代价同样明显。生成图像作为知识检索的中间载体需要额外计算，图像内容出错时答案还可能被带偏。书籍标题任务在视觉思维链下依然没有改善，复杂字符的生成与读取仍是难点。另外实验知识全部来自受控的虚构世界，这条路线在真实动态场景中的效果还有待验证。

视觉与文字的关联度：从负数翻正

研究还测量了视觉可达与文字可达之间的关联，指标是 Pr(T|I) 减去 Pr(T|¬I)，也就是生成正确时的文字准确率减去生成错误时的文字准确率。

这个表解释了一件反直觉的事。GLM-Omni 在文字对齐阶段生成得越准，文字回答反而越差，差距是负的 11.28 个百分点。换成交错对齐后这个符号翻转，变成正的 8.09 个百分点。生成得出来却说不出来，与生成出来就能说出来，取决于训练时两种能力是否被接在一起。

即便在最好的配置下，所有模型的 Pr(T|I) 都低于 50%，画得出来的知识里仍有相当一部分说不出口。这既支撑了视觉生成作为知识供给渠道的价值，也说明统一架构要解决的问题比把图画好、把问题答对更多一层。

统一多模态的成本账与行业取舍

既然让模型边画边答能提升推理能力，为什么头部厂商没有全面采用统一架构。现实考量是成本与效率。让旗舰模型包揽所有任务，不如让专业模型针对画质、速度和成本单独优化。OpenAI 在 2025 年 3 月曾把原生图像生成整合进 GPT-4o，强调图像生成应成为语言模型的核心能力，后续产品中又转向由 GPT Image 等专业模型承担图像生成。谷歌也在通用 Gemini 与图像模型之间形成了产品分工。

智谱目前同样如此，GLM-5.3-Flash 负责多模态理解，GLM-Image 专攻图像生成。唐杰早在 2025 年 12 月就表示，文本、多模态理解与多模态生成分开发展可能仍是更有效的方式，但三者结合值得探索，前提是资本投入足够。

论文的结论落在这个张力上。视觉生成不只是多一项输出功能，它可能让模型学到语言训练中没有的信息，并在训练与推理两个阶段转化为其他能力。但研究并未证明这种收益足以抵消统一架构的额外成本。同一份公告里提到，智谱要提升基础模型的有效规模、原生上下文长度以及原生多模态统一建模能力，GLM-6.0 将探索自我评估与持续改进能力。从 GLM-5.3-Flash 的原生多模态理解，到 GLM-Omni 探索视觉生成与语言推理的知识共享，能看出一条方向，但还看不出下一代 GLM 的最终形态。

三个常见问题

GLM-Omni 是不是 GLM-5.5？

论文没有给出任何版本对应关系，社交平台上的关联属于推测。可以确认的只有它的技术底座：以 GLM-4.1V-Thinking 的预训练基座起步，规模约 9B，接入基于 X-Omni 的离散图像 Tokenizer，定位是智谱用于研究的内部模型。

会画不会说的能力缺口，在实际产品里会显现吗？

论文给出的答案是肯定的，并给出了解法方向。关键不是让模型更会画，而是训练时把生成与回答接进同一条响应，让图像重建的损失信号真正作用于语言路径。消融实验显示屏蔽图像损失后平均正确率从 26.86% 掉到 13.71%，这条因果链是明确的。

让模型答题前先画一张图，成本划算吗？

在空间排列、数量、形状这类问题上划算，数字任务从 0% 到 36% 的提升说明这里有真实收益。在书籍标题这类需要精确字符序列的任务上则不划算，因为复杂字符的生成与读取本身就是瓶颈，先画再答解决不了。实际部署还需要把额外生成的计算开销算进去。

小结

这项研究把统一多模态模型里一个长期被生成效果掩盖的问题摆到了台面上。模型能在画面里复现的知识，并不自动变成它能说出口的答案。GLM-Omni 的 54.00% 对 14.57%、球衣号码的 72% 对 2%，都是这个断层的量化刻度。图文交错对齐与视觉思维链给出了两条可行的缓解路径，但 41.14% 距离可靠还有距离，且这套结论建立在受控的虚构世界之上。生成能力正在从一种输出形式，变成模型组织与调用知识的手段，这个转向比任何单一模型的发布都更值得留意。

相关阅读

• Qwen-Image-2.1 深度：7B 参数实现文生图与编辑大一统
• Qwen VLo 多模态模型解析：逐行渐进式生成
• Elorian Glimpse 深度：视觉草稿空间为什么是 AI 看见的关键一步
• 可灵 AI 4.0 深度：8000 Token 提示词容量与多语言唇音同步
• Cloudflare GLM-5.3 泄露拆解：155 个响应混入他人 KV Cache
• VAST 开源 EdenLive：单卡 RTX 5090 跑出实时世界模型