prefix="og: https://ogp.me/ns#"> 索尼 AI 帧预测专利:GPU 渲染完成前预测下一帧|AI自学笔记

索尼新专利:AI 预测游戏下一帧,绕过帧生成延迟

10 月 18 日,索尼向美国专利局提交的一项新专利浮出水面:让 AI 在 GPU 完成渲染前就预测下一帧画面,从而在帧生成技术之外另辟蹊径解决游戏卡顿问题。

技术原理:无需等两帧

传统帧生成需要等待 GPU 渲染完当前帧和前一帧之后,才能在两帧之间插入计算出的中间帧,导致延迟增加。索尼的方案则不同:利用一个联合训练的编解码器,将已完成的渲染帧转换为紧凑的嵌入表示,解码器以此为提示直接生成预测帧。游戏运行时,AI 与图形渲染管线并行工作——硬件渲染下一帧时,AI 处理上一帧并将预测结果送入显示缓冲区,这意味着在正式帧完成之前,预测画面就可能先行显示。

运动矢量 + 手柄操作作为预测根基

该系统还整合了运动矢量与玩家近期的手柄输入数据,让玩家操作角色的历史轨迹成为下一帧动作预测的依据。训练阶段,神经网络以随机初始化权重起步,输入一帧画面后尝试预测下一帧,再将预测结果与真实后续帧对比,计算预测误差并反向更新权重。

局限:速度决定效果

索尼也在专利中承认,这项技术的实际效果取决于 AI 能否足够快速地生成准确预测帧——只有当预测速度赶上甚至超过渲染速度下降的缺口时,才能真正填补帧输出间隙。