高通AI Hub开放中国开发者 预置230个优化模型

11 月 3 日消息,Qualcomm(高通)今日宣布,其高通 AI Hub 现已面向中国开发者开放,合作伙伴与开发者可借助该平台加速打造终端侧生成式 AI 和智能体 AI。中国版的开放同时覆盖官网、高通终端云中国设备农场与开发者论坛等资源通道。

四个组件构成一套工具链

AI Hub 由 Models、Workbench、Apps 以及 GenieX 端侧推理框架四部分组成。Models 提供超过 230 个并持续扩展的预优化模型库;Workbench 允许开发者在真实的云托管设备上进行模型调优;Apps 提供示例应用与参考代码,帮助开发者理解如何把模型集成到自己的应用中;GenieX 则是面向终端侧的推理框架。四个组件连成一条从选模型到落地的完整链路。

为什么是终端侧

这条路径的落点是设备本身。在手机与各类 IoT 终端上运行生成式模型,延迟不依赖网络往返,敏感数据也不必出端。预优化模型库的意义在于把量化、算子适配、性能调优这些环节预先做完,开发者拿到的是可以直接跑起来的产物,省去自行折腾原始权重的过程。

设备农场补齐调优环节

Workbench 的调优能力依赖真实硬件环境。这也是中国设备农场被纳入官方支持通道的原因,开发者可以在真实机型上验证调优结果,不必用模拟器猜测最终表现。对于要同时覆盖多档位芯片的团队,这一步会明显影响交付节奏。

与高通既有算力路线的联系

高通在移动侧算力的积累可以对照 高通 HBC 验证与 AI250 内存带宽,那篇文章记录了 133 TB/s 的内存带宽指标。内存带宽决定了终端侧大模型能跑多大的上下文和多大的批量,工具链的完善与硬件指标的提升属于同一条路径上的两个环节。

AI Hub 开放中国的实际效果,取决于本土设备农场的机型覆盖范围与模型库对中国主流芯片平台的适配进度,后续还会有新的模型与示例应用陆续进入。