10 月 18 日,英伟达将完整的 Run:ai 平台以 Apache 2.0 协议开源,源码托管在 GitHub 的 dsx-ai-factory/run-ai 仓库,Run:ai 由此成为 NVIDIA DSX AI Factory 平台的一部分。平台团队可以检查、fork 并自托管整个栈,不再需要付费订阅。
拆成四个可独立采用的模块
这次发布被刻意拆成四块:KAI Scheduler 是 Kubernetes 原生调度引擎,本身也是 Apache 2.0 协议,并已进入 CNCF Sandbox,涵盖成组调度、按时间公平共享、拓扑感知、装箱与 DRA 支持;GPU Fractioning Operator 把 CUDA 13.4 原生的 GPU 分数带进 Kubernetes,由驱动层为每个负载强制硬性内存上限;KAI Resource Management 提供项目、部门、配额与节点池管理,官方示例保证研究团队可获得集群 50% 的资源;Workload Map 则是一个 Go 库,用于描述 PyTorchJob、RayCluster、KServe 这类负载类型,本身不做调度。
本地开发与加载速度
开发者本地跑这套栈只需一个 local-dev.sh 脚本,它会在容器里编译约 50 个 Go 服务,再拉起一个固定在 Kubernetes v1.32.5 的 5 节点 Kind 集群,用模拟的 8 个 Tesla-A10 GPU 顶替真实硬件,无需采购 GPU。Linux 主机需要 4 核 CPU、16 GB 内存与 100 GB 空闲磁盘,macOS 上的 Podman 虚拟机至少要 12 GB 内存,一次完整构建会留下约 44 GB 缓存。
社区版没有企业支持
随附发布的 Model Streamer 可以把模型权重直接送进显存,微软在 8 台 H100 虚拟机上的公开基准显示,加载速度比默认加载器快 3 到 6 倍,吞吐维持在 80 Gbps 而非默认路径的约 40 Gbps,vLLM 与 SGLang 都可通过 load-format runai_streamer 接入。代价是社区版不含英伟达企业级支持,另有 Crusoe、Mirantis、Nebius 等 8 家 DSX 生态伙伴提供商业发行版。这种把 GPU 调度层开源的做法,与 llm-d 1.0 的分布式推理调度 属于同一条开源路线。
延伸阅读
- 有道宝库开放公测:50+ 来源导入、零幻觉溯源问答,中国版 NotebookLM 怎么选1 月前
- SkyClaw-v1.0 发布:1M 上下文 Agent 模型,输入 0.5 元/百万 tokens,兼容 OpenAI API1 月前
- Meta 推无摄像头 AI 眼镜:349 美元起,43 克,续航 12 小时4 周前
- 宇树宣布完全开源 UnifoLM-WLA-1.0:6B 参数、2500 小时真机数据,一个模型统筹 64 项任务1 月前
继续读
同一批更新里这几篇值得一看:
- Mistral 联手英伟达做物理 AI:Large 4 约一万亿参数接入仿真2026-10-22
- 英伟达 DGX Spark 支持 8 台集群:统一内存最高 1TB2026-10-22
- 英伟达发布 DSX POD 预制工厂:部署周期 6 个月缩至 14 天2026-10-22
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
