prefix="og: https://ogp.me/ns#"> 英伟达开源 Run:ai:Apache 2.0 授权的 GPU 调度栈|AI自学笔记

英伟达开源 Run:ai:Apache 2.0 授权,模型加载快 3 至 6 倍

10 月 18 日,英伟达将完整的 Run:ai 平台以 Apache 2.0 协议开源,源码托管在 GitHub 的 dsx-ai-factory/run-ai 仓库,Run:ai 由此成为 NVIDIA DSX AI Factory 平台的一部分。平台团队可以检查、fork 并自托管整个栈,不再需要付费订阅。

拆成四个可独立采用的模块

这次发布被刻意拆成四块:KAI Scheduler 是 Kubernetes 原生调度引擎,本身也是 Apache 2.0 协议,并已进入 CNCF Sandbox,涵盖成组调度、按时间公平共享、拓扑感知、装箱与 DRA 支持;GPU Fractioning Operator 把 CUDA 13.4 原生的 GPU 分数带进 Kubernetes,由驱动层为每个负载强制硬性内存上限;KAI Resource Management 提供项目、部门、配额与节点池管理,官方示例保证研究团队可获得集群 50% 的资源;Workload Map 则是一个 Go 库,用于描述 PyTorchJob、RayCluster、KServe 这类负载类型,本身不做调度。

本地开发与加载速度

开发者本地跑这套栈只需一个 local-dev.sh 脚本,它会在容器里编译约 50 个 Go 服务,再拉起一个固定在 Kubernetes v1.32.5 的 5 节点 Kind 集群,用模拟的 8 个 Tesla-A10 GPU 顶替真实硬件,无需采购 GPU。Linux 主机需要 4 核 CPU、16 GB 内存与 100 GB 空闲磁盘,macOS 上的 Podman 虚拟机至少要 12 GB 内存,一次完整构建会留下约 44 GB 缓存。

社区版没有企业支持

随附发布的 Model Streamer 可以把模型权重直接送进显存,微软在 8 台 H100 虚拟机上的公开基准显示,加载速度比默认加载器快 3 到 6 倍,吞吐维持在 80 Gbps 而非默认路径的约 40 Gbps,vLLM 与 SGLang 都可通过 load-format runai_streamer 接入。代价是社区版不含英伟达企业级支持,另有 Crusoe、Mirantis、Nebius 等 8 家 DSX 生态伙伴提供商业发行版。这种把 GPU 调度层开源的做法,与 llm-d 1.0 的分布式推理调度 属于同一条开源路线。