VISTA框架：让AI拥有「视觉记忆」，ARC-AGI-3全部25关满分通关

1 hours ago AI笔记

# VISTA框架：让AI拥有「视觉记忆」，ARC-AGI-3全部25关满分通关

一句话结论：何恺明团队提出VISTA框架，让多模态AI模型直接保存并主动回看原始画面，无需额外训练即可在ARC-AGI-3基准中让Claude Opus 5.0和GPT-5.6 Sol均达成接近满分通关，标志着视觉经验可被结构化保留并复用的重大突破。

2026年10月11日，何恺明及其MIT研究团队联合发布论文《VISTA: A Visual Harness for Reasoning in an Interactive World》，提出了一套视觉原生的Harness框架——VISTA。与此前Anthropic以文字和代码保存任务状态的Harness方案不同，VISTA的核心创新在于完整保存原始视觉帧，让模型在推理过程中随时回看、放大和检查历史画面，无需从头训练新模型即可显著提升视觉推理能力。

现有Harness的局限：文字记忆不够用

2025年，Anthropic率先展示了Harness如何帮助模型跨越多个上下文窗口持续推进任务。其核心思路是通过任务清单（待办事项）、进度文件（已完成工作）和代码片段（可复用模块）来保存中间状态，使模型在新上下文窗口中仍能了解「此前做了什么、下一步该做什么」。

这一方案推动了Agent能力的快速爆发，但仅适用于环境信息可被完整编码为文字或代码的场景。何恺明团队指出了其根本局限：在真实视觉环境中，模型不仅要记住物体的位置和朝向，还要理解每次动作前后环境发生了哪些变化，且这些视觉信息很难提前用文字完整记录。

此外，模型首次看到一张图时，往往无法预知哪个细节后续会变得关键。已有研究尝试将画面转成数字网格（文本化抽象），但环境越复杂，物体外观、空间关系和动态变化就越难被完整转换，早期画面还会被逐渐移出上下文或被文字摘要替代。

VISTA的核心：原帧保存 + 主动检查

VISTA的研究问题清晰：如何在不额外训练基础模型的情况下，让智能体在推理需要时，重新检查过去看到的视觉信息？

答案分为三个核心组件：

视觉观测（Visual Observation）：在ARC-AGI-3实验中，VISTA将官方提供的64×64像素画面放大为512×512 PNG图像，保留物体颜色、外观和空间关系，让模型直接观察环境，而非依赖文字描述。

无损视觉记忆（Lossless Visual Memory）：每次执行动作后，VISTA完整保存环境返回的所有画面，包括动作过程中的动画中间帧，按回合号和帧号建立索引。模型不必提前判断哪些信息值得记住，可先将视觉经验完整保存，留待后续使用。

主动视觉检查（Active Visual Inspection）：通过inspect工具，模型可指定某个历史回合调出对应画面，也可裁剪、放大局部区域、检查具体像素信息。若需对比动作前后的变化，还可一次调出多帧进行对照。

整个过程中，文字笔记（GUIDE.md跨关卡复用规则、WORKING.md当前关卡状态）负责记录模型当前理解，原始画面则保留供重新判断的证据。每次执行动作后，框架默认只展示最后一帧，中间画面统一存入视觉档案，等模型需要时再主动调取。

ARC-AGI-3实验结果：两套模型均接近满分

VISTA在ARC-AGI-3基准（不预先提供游戏规则的交互式视觉推理，共25个公开游戏）上的实验结果：

| 模型 | 通关数/总关卡 | 动作效率得分 | 相比人类基线 |
|——|————-|————|————|
| Claude Opus 5.0 + VISTA | 25/25（满分） | 100 | 动作数少57.4% |
| GPT-5.6 Sol + VISTA | 25/25 | 99 | — |

满分100代表动作效率与首次游玩的人类基线相当或更优，VISTA使两套顶级多模态模型均达成接近满分的通关表现。

更多基准验证：GameWorld、BabyVision

研究团队还在GameWorld（170项浏览器任务）、AI GameStore（10个游戏）和BabyVision（39道迷宫与连线题）三个基准上验证了VISTA的泛化能力：

| 基准 | 基础模型 | 基础得分 | VISTA得分 | 提升幅度 |
|——|———|———|———-|———|
| GameWorld（成功率） | GPT-5.6 Sol | 40.0% | 63.3% | +23.3pp |
| AI GameStore（综合得分，人类中位数=100） | GPT-5.6 Sol | 47.3 | 140.3 | +3.0× |
| BabyVision（准确率） | GPT-5.6 Sol | 41.0% | 63.2% | +22.2pp |

BabyVision这组测试仅有静态图片，模型通过放大局部、检查像素即可改善判断——验证了VISTA的视觉回看能力对纯静态视觉任务同样有效。值得注意的是，同一套VISTA框架只需少量适配，即可用于不同类型的游戏与谜题。

何恺明团队：ResNet之父再推视觉推理新范式

VISTA是继ResNet、Mask R-CNN和MAE之后，何恺明在视觉感知领域的最新工作。本篇论文的三位共同一作是Qiushi Han（MIT运筹研究中心博士）、胡珂雅（MIT EECS博士，由何恺明与Jacob Andreas联合指导）和Linlu Qiu（MIT CSAIL博士），另有Cathy Wu（MIT土木与环境工程副教授）参与。

论文核心作者何恺明本科毕业于清华大学、博士毕业于香港中文大学，曾任职微软亚洲研究院和Meta FAIR，现为MIT EECS终身副教授。

## 相关阅读

FAQ

VISTA需要额外训练模型吗？
不需要。VISTA未对基础模型进行任何微调或额外训练，视觉理解、行动规划和推理仍由现成的多模态模型（如Claude Opus 5.0、GPT-5.6 Sol）完成，Harness层只负责工具调用和视觉档案管理。这意味着VISTA可与任何具备工具调用能力的多模态模型结合使用。

视觉记忆与文字记忆有何本质区别？
文字记忆是对视觉信息的摘要和抽象，存在不可逆的信息损失；视觉记忆保留了完整的像素级原始数据，模型可根据后续问题重新决定哪些细节值得关注。两者的本质差异在于：文字记忆是「我决定记住什么」，视觉记忆是「我先全部记住，需要时再判断」。

VISTA的错误传播风险如何控制？
研究团队坦承，当同一模型既解题又核查时，存在将错误固化为「正确答案」的风险。尤其在需要昂贵外部验证的前沿研究领域（如单项等离子体研究需超1.2亿CPU小时），这一风险尤为突出。论文将物理世界的具身任务验证列为后续研究方向。

小结

VISTA的核心贡献在于证明了「视觉经验的结构化保留与主动回看」是一条可行的多模态推理增强路径，且无需训练新模型即可生效。在ARC-AGI-3、GameWorld和BabyVision等多个视觉基准上，VISTA均带来了20个百分点以上的提升。随着多模态模型工具调用能力的成熟，这一框架有望将视觉记忆从被动存储升级为主动推理资源，推动具身智能的进一步突破。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

Related News