英伟达 CUDA Toolkit 13.5 发布:正式支持 Vera Rubin 平台

英伟达于当地时间 11 月 4 日正式发布 CUDA Toolkit 13.5,为下一代 AI 计算平台 Vera Rubin 提供正式可用支持,标志着该架构从早期开发者预览阶段进入面向企业生产环境的部署阶段。此次更新针对 GPU 资源调度、多 GPU 通信、数学计算库以及性能分析工具做了多项升级。

低精度矩阵运算与调度机制双线升级

在计算性能方面,CUDA 13.5 更新了 cuBLAS 的矩阵乘法启发式策略和内核调优机制,针对 Vera Rubin 架构上的 NVFP4、MXFP8 低精度矩阵运算进行了优化,覆盖混合专家模型等训练场景。英伟达表示,这些改进能够在无需针对每种计算形状单独进行自动调优的情况下,提高训练和推理吞吐量。

在 GPU 调度方面,CUDA 13.5 升级了 NVIDIA 多进程服务 v3,新增加权时间片机制,管理员可以为重负载服务器设置更长的基础计算时间片,并独立调整 GPU 在任务间的切换频率。新版本还加入流式多处理器分区负载均衡,任务可在资源充足时借用其他分区闲置资源;并新增基于 Linux cgroup 的资源路由与命名空间级分区配置,开发者可通过 API 查询各分区实际获得的处理器数量。

CUDA Tile 打通跨卡显存访问

多 GPU 通信是此次更新的另一项重点。CUDA Tile 现在支持在计算内核内部直接访问其他 GPU 的显存,依托 NVLink 高速互连实现。借助多播指针和专用多 GPU 内存操作,开发者还可以在支持 NVLink SHARP 的 NVSwitch 网络中执行跨 GPU 数据归约和写入。这意味着 GPU 之间的通信与计算可融合在同一内核中执行,减少多卡协同时因内核边界和数据传递产生的额外开销。

开发工具方面,CUDA 13.5 首次以公开预览形式推出 NVIDIA Nsight Perf SDK for AI,为长时间运行的训练和推理任务提供常开式性能分析能力。CUDA Python 1.2 增加批量内存复制、程序化依赖启动以及更灵活的 CUDA Graph 更新能力,CCCL 3.5 则加入面向 CUB 的公开调优接口、批量 Top-K 选择和可重复浮点扫描等功能。

英伟达同步发布 R620 系列数据中心 GPU 驱动,Linux 版 620.70.06,Windows 版 621.14,发布日期均为 11 月 4 日。值得注意的是,CUDA Toolkit 与数据中心驱动改为分别发布,驱动不再作为 Toolkit 内置组件提供。此前英伟达在 DSX POD 上把 AI 工厂部署周期从 6 个月压缩到 14 天,Run:ai 的 KAI Scheduler 也把 GPU 调度加速 3 至 6 倍,这套调度与通信栈的成熟正是 Rubin 进入生产环境的前提。