OpenAI 推出 Pando Git 后端 中位推送延迟降 80%

11 月 3 日,OpenAI 工程团队公开了内部自研的 Git 兼容后端 Pando,用它承载自有单体仓库的日常代码协作。这套后端把一次推送的中位延迟压低了近 80%,目前每天向内部交付接近 1 PB 的 Git 数据。

为什么需要自建 Git 后端

代码规模涨到一定体量,现成的 Git 服务就会成为瓶颈,Pando 解决的正是这一环。它的做法是把每个分支独立处理,并在多次 fetch 之间复用已经存好的 packfile,而不是每次拉取都重新计算对象差异。这样一来,推一条提交不必把整条历史重新打包传输,中位推送延迟因此下降接近 80%。

按公开的数字,这套后端目前每天要交付接近 1 PB 的 Git 数据。这个量级在普通团队里并不常见,但它暴露出的瓶颈位置很具体,落在代码存储与传输本身,而不是模型训练或推理集群。

值得对照的是思路而非规模

分支独立处理和 packfile 复用这两条做法,并不依赖任何专用硬件或云厂商能力,任何自建代码托管、并且已经在用 monorepo 的团队都可以拿自己的仓库规模算一遍收益。这大概是这条消息里最可以搬走的部分。

它和近期把编码环节压进编排层的做法,例如 GitHub Copilot Fusion 的三档编排,处在完全不同的层次。一个改的是模型写代码的调度,另一个改的是代码怎么存怎么传,两件事都在同一家公司的工程叙事里出现,恰好说明大模型公司的瓶颈已经不止模型本身。