Adobe EditAgent 图像编辑智能体:42.7% 失败率与验证记录

一句话结论:Adobe Research 与 UC San Diego 团队在 10 月 29 日提交的论文 EditAgent 给出了图像编辑智能体的一个硬数字:通用编辑器在 600 组专业盲评里有 42.7% 交不出任何可用结果。解法也不在多试几次上,而在同时扩两个空间,让智能体换工具,让评判者看到证据。

真实用户的编辑请求很少只包含一个动作。把人往画面左边挪、再拉宽镜头、再把路人去掉,智能体必须拆成多步,每步都可能失败。现有做法是同一步失败了就用同一套工具再抽几张,让一个评分模型肉眼挑一张好。这个流程在工程上顺手,在效果上却有一个被长期掩盖的缺口。

EditAgent 这篇论文给不出一个更强的编辑模型,它做的是把缺口量了出来,并且证明这个缺口来自两个可以分别诊断、分别扩大的空间:智能体可以做什么,以及评判者能看见什么。相关背景可以先看 Qwen-Image-2.1 的编辑能力拆解 与 FLUX.2 klein 9B 的 KV Cache 优化,这两条线正是论文里被用作底座的开源编辑器。

42.7% 的失败率:从 600 组盲评里挖出来的两个瓶颈

论文的第一步是造一个诊断基准。团队请专业 Photoshop 编辑师对 600 组候选结果做盲标,覆盖 30 种编辑类型,分成内容、风格与效果、场景、照片质感、几何、增强六组。每一组都同时包含通用编辑器的产物和专用方法的产物,编辑师不知道哪张来自哪条路径。

结果拆开看是这样的:

候选集合构成 组数 占比
只有通用编辑器候选可用 254 42.3%
只有专用方法候选可用 175 29.2%
两类候选都可用 90 15.0%
没有任何候选可用 81 13.5%

因为每一组都至少含一张通用编辑器的图,通用编辑器实际失败 256 组,也就是 42.7%。专用方法救回了其中 175 组。剩下的事实更关键:把通用编辑器多采样几次,这些失败并不会自己消失。失败集中在几何、影调与增强编辑这三类;风格与效果类反而有 73.8% 的集合只能靠通用编辑器。

通用编辑器不够强所以多试几次,这个解释站不住。失败的原因是任务类型不匹配,采样次数再多也补不上。论文把这两个瓶颈正式命名为动作空间(智能体可以调用的手段)和观察空间(评判者能看到的证据),而现有 agentic 编辑流程两处都窄。

动作空间:把专用工具和通用编辑器并列摆在桌上

EditAgent 的路由规则不复杂,甚至有点朴素。论文列了一张操作映射表:删除目标走通用编辑器加专用删除器,重绘颜色走通用编辑器加蒙版重着色,复用风格走通用编辑器加神经风格迁移,旋转和翻转则直接交给精确旋转与翻转工具。每一步尝试最多产出 3 个候选,每步最多尝试 3 次,每轮最多重规划 2 次。

关键在于这些专用工具与通用编辑器是从同一张源图并行生成。一个失败了在另一个的结果上继续改会累积误差,并行生成不会。论文给出的专业编辑师偏好数据是 78.5% 的非平局对比更偏向并行变体,而评判调用次数最多只用掉顺序打磨的一半。

这也解释了为什么它能把动作空间扩出去之后收益立刻兑现:路由不需要提前知道哪种编辑会失败,只需要同时把可能对路的工具都叫上来,让后面的比较环节去决定。

观察空间:一份验证记录让现成 VLM 反超微调奖励模型

观察空间是这篇论文更反直觉的一半。传统流程里,评判模型只看得到源图、结果图和指令三个东西,然后凭感觉给分。EditAgent 给每个候选附上一份验证记录,里面有三样东西:编辑区域的放大图、被改动区域的变化图、以及亮度和色彩的实测统计。

效果是量级上的:

评判模型 逐点评分 一次性列表比较 提升
EditScore-7B 65.9 不适用 不适用
EditScore-32B 68.0 不适用 不适用
EditScore-72B 70.3 不适用 不适用
EditScore-72B Ensemble@4 76.3 不适用 不适用
Qwen3.5-27B 71.7 85.2 13.5
Qwen3.8-27B 72.1 85.9 13.8
Gemma-4-31B 73.8 86.1 12.3

没有验证记录时,七个语言模型没有一个追平按人类评分微调过的 EditScore-72B(74.8%)。补上记录之后,七个全部越过了所有微调奖励模型,最高的 Qwen3.8-Flash-Next 拿到 82.8%,比最强微调评判器高 8.0 分。

验证记录带来的增益在不同编辑类别上分布也不均,只有光靠证据不够:

配置 内容 风格 场景 几何 增强 总分
只有列表比较 84.4 81.7 67.5 54.2 66.4 71.6
列表比较加内容记录 87.1 87.1 72.0 47.2 78.6 73.6
列表比较加全部记录 87.6 86.4 81.9 64.4 81.4 81.3

几何类在只加内容记录时反而掉到 47.2,补齐证据才回到 64.4。证据不是可有可无的装饰,它是几何类任务能被正确评判的前提。

三个基准上的实际提升,以及推理成本账单

论文用 Qwen-Image-Edit-2511 和 FLUX.2-klein-9B 两个开源编辑器做底座,在 EdiVal、Complex-Edit、ComplexBench-Edit 三个多轮基准上跑完整流程:

底座模型 EdiVal-O 第 1 轮 第 2 轮 第 3 轮
Qwen-Image-Edit-2511 75.97 58.58 47.64
加 EditAgent 80.64 67.02 55.46
FLUX.2-klein-9B 81.37 66.30 53.20
加 EditAgent 84.46 71.10 59.45

提升最大的一轮往往是第三轮,也就是多轮累积之后。FLUX.2-klein-9B 在第三轮从 53.20 涨到 59.45,Qwen-Image-Edit-2511 从 47.64 涨到 55.46。首轮差距不大,说明 EditAgent 的价值不在把第一步做得更好,而在让后面的步骤不塌方。

和多智能体类基线比,位置是这样的(EdiVal-O,FLUX.2-klein-9B 底座):

方法 第 1 轮 第 2 轮 第 3 轮 推理成本
IMAGAgent 82.63 68.00 55.21 4.6
GenArtist 82.94 67.48 54.74 5.2
RISE-Agent 83.95 70.30 58.42 7.2
EditAgent 84.46 71.10 59.45 6.3
独立编辑器 81.37 66.30 53.20 0.5

优势明显,但账单同样明显。EditAgent 的推理成本 6.3,是独立编辑器的十余倍。跟商用编辑器的对照更刺眼,同期 FLUX 3 Image 与 Nano Banana 系列在单图成本上的位置可以看 FLUX 3 Image 的 API 定价 与 Nano Banana 2.1 的价格变化,一条要能力一条要成本,这是两条不同的账。

从编辑智能体到数据引擎:2.57 万条被验证过的会话

EditAgent 只接受通过了验证的编辑结果,这些被验收的会话天然构成一批带标签的训练数据。论文累计产出约 2.57 万条,用它们微调编辑器,效果超过直接用底座 FLUX.2-klein-9B 生成的训练数据:

基线模型 训练数据来源 EdiVal-O 第 3 轮 ComplexBench-Edit 均分
FLUX.2-klein-base-9B 无微调 54.53 57.84
FLUX.2-klein-9B FLUX.2-klein-9B 直接生成 52.83 57.47
FLUX.2-klein-9B EditAgent 56.53 59.98

这行对比的解释很直接。拿底座模型自己生成的数据去训练自己,效果比不训练还差一点;换成 EditAgent 验收过的数据,同样的底座反而涨了 1.7 分左右。数据质量这条规律在图像编辑上和在语言模型上是同一件事。

值得一提的是,这个方向和微软 MAI-Image-2.7 的评测取向是同一路:微软 MAI-Image-2.7 把可验证的编辑质量放在能力宣传前面,两者都没有把榜单 Elo 当作唯一的成功指标。

常见问题

EditAgent 是什么,是新的图像编辑模型吗

它是一套跑在编辑模型外面的智能体框架,不含任何新权重。论文里它做三件事:把每一步路由到通用编辑器和专用方法、从同一张源图并行生成候选、给每个候选附一份验证记录再让 VLM 一次性比较。底座是 Qwen-Image-Edit-2511 或 FLUX.2-klein-9B 这类现成的开源编辑器。

验证记录里到底放了什么,值得单独讲吗

放三样:编辑区域放大图、被改动区域的变化图、亮度和色彩的实测统计。这三样让评判者从凭感觉描述差异变成读证据,实测效果是 7 个语言模型在有记录后全部越过了微调奖励模型,最高的比 EditScore-72B 高 8.0 分。几何类任务尤其依赖证据。

这套方法现在能用吗,代价有多大

论文没有放代码,方法本身需要自己复现。代价写在论文的表里:FLUX.2-klein-9B 底座推理成本 6.3,独立编辑器只有 0.5,多智能体基线里最便宜的 IMAGAgent 是 4.6。也就是说效果提升是真的,但要用十倍出头的推理量去换,在按张计费的商业 API 上不一定划算。

小结

这篇论文的价值是给出了一个此前靠直觉工作的判断的可测版本。42.7% 这个数字把矛头从模型能力挪到了流程设计:工具和证据都被限死了。扩动作空间让 256 组失败里的 175 组被救回,扩观察空间让评判准确率从微调模型的 74.8% 拉到现成 VLM 的 82.8%,两件事相加才让多轮编辑在第三轮还能站住。

如果只记住一件事,就记住并行优于迭代这个判断。78.5% 的专业编辑师在有得选时更愿意要并行变体,反复改到位那张图排在后面。这条结论不只适用于图像编辑,它对所有生成、评价、再生成的循环都是提醒。

相关阅读