Databricks AI Runtime 正式可用,训练周期压到48小时

10 月 21 日,Databricks 宣布 AI Runtime 正式全面可用,把全托管的 GPU 基础设施直接放进自家平台,让团队可以在企业数据所在的位置直接训练模型。官方给出的卖点是秒级启动、灵活环境和内置可观测性,同时用 Unity Catalog 的权限与工作负载隔离来兜住训练数据安全。

把 GPU 运维成本交出去

Databricks 的判断是,AI 团队花在抢 GPU 容量、处理故障、等实验启动上的时间往往比改模型本身还多。AI Runtime 把 GPU 采购、集群配置和网络维护都接管过去,调度前会对 GPU 和网络做数十项健康检查,运行中持续监控,还会定期测试空闲 GPU 以剔除故障节点。内置数据加载器支持流式读取与缓存,减少等待 I/O 的时间,配合 UCVolumeDataset 提升数据吞吐。

七十二小时到四十八小时

效果上,Superhuman 的应用研究团队把大规模训练从单节点 8 张 A100 换成多节点 16 张 H100,训练时间从大约七天压到 48 小时,速度提升 3.5 倍。Databricks 自己团队透露,基于 AIR 把 Qwen 的训练时间缩短了 6 倍。FactSet 则表示,原本需要数天的训练与部署被压缩到数小时。启动方式上,用 CLI 或在 Notebook、IDE 里直接调都行,从 Kubernetes 或 SLURM 集群迁移过来只需一句自然语言提示配合一份 YAML 文件,命令是 databricks air run –file workload.yaml。

Agent 时代的新变量

驱动这次产品节奏的一个背景是编码智能体正在批量发起训练实验,实验数量膨胀让基础设施瓶颈和治理缺口同时放大。Databricks 引用了 OpenAI 关于 Hugging Face 事件的说明作为风险佐证。AIR 在隔离上不暴露宿主内核,而是提供虚拟机级隔离,支持 PrivateLink 与 serverless 出口控制。已在使用的企业包括 Robinhood、PicPay、默克、Flo Health、TinyFish 和 FactSet,覆盖医疗、制造与面向消费者的智能体场景,异构建力调度也在国内走出另一条路线。