10 月 31 日，Vercel Labs 开源了 agent-desktop，这是一个让智能体在 macOS、Windows 与 Linux 上操作桌面应用的命令行工具。它不靠截图理解界面，而是读取操作系统的无障碍树，为每个可操作元素分配一个带快照标识的引用，例如 s8f3k2p9 冒号 e8 这样的形式，智能体拿到的是一份 JSON 快照。版本 1.0.2 于 10 月 30 日发布，采用 Apache 2.0 许可。这个工具本身不内置任何模型，只是一个供智能体调用的工具，观察、动作、验证的闭环仍由智能体自己掌控。
骨架快照把 token 消耗压到零头
密集型应用可能暴露上千个无障碍节点，agent-desktop 的骨架快照只读取 3 层深度，被裁剪的容器会报告子节点数量并给出一个下钻引用。在 Slack、VS Code 与 Notion 上，开发者报告相比整棵树导出节省 78% 到 96% 的 token，在 Apple Maps 中每次查看的消耗从 3811 个 token 降到 273 个，一个模拟的 52 步任务从 19.8 万 token 降到 3.1 万 token。这些均为自报数据而非独立基准测试。对比像素方案，Claude 官方文档称每张截图约消耗 1000 到 1800 个输入 token，工具集定义每次请求再增加约 4500 个输入 token。
默认无头执行 失败即失败
引用动作通过无障碍 API 完成，不移动指针也不夺取焦点，因此智能体工作时用户可以继续使用电脑，需要物理输入时可通过全局开关切换。每个引用动作会自动等待最多 5000 毫秒，直到目标可见、可用且稳定。引用解析是严格的，界面变化时动作会返回过期引用或目标歧义的错误，智能体需要重新取快照，而裸引用会被直接拒绝。跨平台命令共 60 个，其中 56 个可用，需要 macOS 13 以上、Windows 10 1809 以上或 Ubuntu 24.04 以上，以及 x64 与 ARM64 双架构，纯 CPU 即可运行。编码智能体框架层面的工程取舍可参考站内 编码智能体框架的耐久性设计。
局限也很明确，没有无障碍树的原生应用仍然无法触及，视觉与无障碍混合方案则是另一条路线。
延伸阅读
- Vercel 开源 5 个编码框架适配器：崩溃后智能体任务不丢1 周前
- Nous Research融资15亿美元：开源Agent如何撑起15亿估值3 周前
- Vercel 开源 durable-harness：5 个编码智能体框架崩溃续跑机制拆解1 周前
- 星动纪元VPP2登顶RoboDojo，真机58.5%超越GPT-6-Astra3 周前
继续读
同一批更新里这几篇值得一看：
- Vercel 开源 5 个编码框架适配器：崩溃后智能体任务不丢2026-10-22
- Vercel 开源 durable-harness：5 个编码智能体框架崩溃续跑机制拆解2026-10-22
- 星动纪元VPP2登顶RoboDojo，真机58.5%超越GPT-6-Astra2026-10-09
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记