高通 AI Hub 中国版正式开放,这套面向中国开发者的端侧 AI 工具链把 230 多个预优化模型、真实设备调优环境和一个开源推理运行时打包到了一起。它的核心变化在于中国开发者不必再自己折腾量化和算子适配,可以直接从模型库挑一个已经针对骁龙平台编译好的版本,接进自己的应用。
高通技术公司 2026 年 11 月 2 日在北京宣布,高通 AI Hub 面向中国开发者开放,支持渠道包括官网、高通终端云中国(QDC China)设备农场以及技术和开发者论坛。
四个模块构成的完整链路
AI Hub 覆盖的是一条完整流水线,从选模型到设备落地一共由四块拼成。
Models 是模型库,提供超过 230 个并且在持续扩充的预优化模型,其中也包含专门针对中国市场准备的模型。开发者可以浏览、比较模型在不同设备和不同运行时上的性能指标,然后下载模型集成进自己的应用。这批模型会调用高通 AI 引擎里的 CPU、GPU 和 NPU 三种加速能力,从运行性能、内存占用和能耗三个维度同时做优化。
Workbench 是模型工作台,允许开发者导入自研模型,在云端托管的真实物理设备上完成优化、量化、编译、性能分析和验证。开发者可以按需选取骁龙平台以及高通跃龙平台和对应的运行时,评估完性能之后直接输出优化好的工程文件。这条路线同时兼容 Qualcomm AI Engine Direct SDK 的部署流程,也就是文档里常说的 QAIRT。
Apps 提供示例应用和参考代码,用途很实在:让开发者看清一个已经优化好的模型是怎么被集成的,运行时该怎么配置,端侧性能怎么调。GenieX 则是负责最后一公里执行的部分,一个面向终端侧的生成式 AI 推理运行时,通过命令行、Python 和 Java 接口让模型在 NPU、GPU 或 CPU 上本地跑起来。
四个模块可以单独用,也可以串起来用。选完模型,调完优,再照着示例集成,最后交给运行时执行,这条路径对刚起步的团队最省事。
230 这个数字怎么来的
把时间拉长看,AI Hub 的模型规模是逐级放大的。首发是在 2024 年 2 月 26 日巴塞罗那的世界移动通信大会上,当时高通带来超过 75 个 AI 及生成式 AI 模型,包括 Whisper、ControlNet、Stable Diffusion 和 Baichuan-7B,那批模型的卖点是全部针对 NPU、CPU、GPU 三个核心做过硬件感知优化,官方给的推理提速是 4 倍。两年多之后,中国版一步跨到 230 多个模型。
| 时间 | 节点 | 模型规模 | 关键信息 |
|---|---|---|---|
| 2024-02-26 | MWC 巴塞罗那发布 AI Hub | 超 75 个 | 首批含 Whisper、ControlNet、Stable Diffusion、Baichuan-7B |
| 2026-10-21 | 亚马逊云科技宣布中国版开放 | 近 230 个 | 中国区云服务由亚马逊云科技中国(宁夏)区域承载 |
| 2026-11-02 | 高通官宣面向中国开发者全面开放 | 超 230 个且持续扩充 | 新增中国市场模型 |
| 当前全球站 | Qualcomm AI Hub Models 页面 | 300+ 个 | 含 ML 与生成式 AI 模型,跨移动、计算、汽车、IoT 四类终端 |
中国版与全球站之间存在一个有意思的差距。中国版对外口径是 230 多个,全球站 Models 页面的表述是 300 多个。这个差距大概率来自两站的模型同步节奏,能力本身并无缺失。另外中国版的云端承载方是亚马逊云科技中国(宁夏)区域,该区域由宁夏西云数据科技有限公司运营,设备农场则是高通终端云中国的真实设备集群,开发者可以远程验证模型部署情况并分析端侧运行性能,不用靠模拟器猜最终表现。
GenieX 是一套端侧推理运行时
GenieX 容易被误解成某种模型压缩方案,实际上它是 Qualcomm GENIE 的社区版,一个完整的端侧推理运行时。目前仍处于开发者预览阶段,以 BSD 3-Clause 许可证发布,GitHub 上的星标数在 8.4K 量级。
它的技术要点是在同一套 SDK 之下挂了两条底层执行路径,各自解决不同的问题。
| 维度 | llama.cpp 运行环境 | Qualcomm AI Engine Direct(QAIRT) |
|---|---|---|
| 模型格式 | 社区 GGUF 模型,Hugging Face 上几乎任意 | AI Hub 按芯片预编译的模型包 |
| 计算单元 | NPU、GPU、CPU | 仅 NPU |
| 量化选择 | 开发者自选 Q4_0、Q8_0、F16 等 | 编译期预置 w4a16、w4 |
| 上下文与 KV cache | 通过 ModelConfig.nCtx 配置 | 编译时固定,不应覆盖 |
| VLM 支持 | 需要同目录放置 mmproj 开头的投影文件 | 以 AI Hub 上可用模型为准 |
| 适用目标 | 自带模型快速跑通 | AI Hub 预优化模型追求峰值性能 |
选择逻辑很直白。想把 Hugging Face 上刚出的模型先跑起来看看,用 llama.cpp 路径,量化精度自己挑。想榨干某个特定骁龙芯片上的峰值性能,就用 AI Hub 发布的预编译包,走 QAIRT 路径落到 NPU 上。两条路共用一个 SDK,不需要开发者维护两套接口。
入口一共五个:命令行工具、Python SDK、面向 Android 的 Java 与 Kotlin SDK、Docker 镜像,以及一个兼容 OpenAI 协议的本地服务器。最后这个设计挺讨喜,现有 OpenAI 客户端不用改就能直接指向本机服务。运行平台覆盖 Windows ARM64、Android 和 Linux ARM64,硬件层面覆盖骁龙 X、骁龙 8 至尊版以及跃龙系列 IoT 芯片。
量化规格与 NPU 兼容边界
端侧部署最常踩的坑是量化格式和 NPU 内核覆盖对不上。GenieX 文档把这件事说得很细,两个运行环境的量化支持完全不对等。
| 运行环境 | 量化规格 | 可用计算单元 | 说明 |
|---|---|---|---|
| llama.cpp | Q4_0 | NPU、GPU、CPU | Hexagon NPU 内核覆盖最广,推荐用于 NPU 执行 |
| llama.cpp | Q8_0 | GPU、CPU | 精度高于 Q4_0,不支持 NPU |
| llama.cpp | F16 | GPU、CPU | 全精度,不支持 NPU |
| llama.cpp | Q4_K_M、Q5_K_M | GPU、CPU | 混合精度 K 量,不支持 NPU |
| QAIRT | w4a16 | NPU | 权重 int4、激活 int16,AI Hub 模型包最常见类型 |
| QAIRT | w4 | NPU | 权重 int4、激活浮点 |
这张表的意义在于,如果开发者想真正用上 NPU 而非退到 GPU 上跑,量化格式基本被限定在 Q4_0 这个选项以内。选了 Q8_0 或者 F16,性能看起来更准,但 NPU 那一栏是空的。这正是预编译模型包存在的理由:量化策略、上下文长度和 KV cache 布局都在编译期确定好了,运行时不用再猜。
Workbench 解决了适配环节的真实痛点
模型调优这件事,真正卡人的是环境。同一个模型在实验室的旗舰机上跑得好好的,落到一款中端芯片的量产机型上就掉帧,因为温度墙、内存带宽、驱动版本都不一样。
Workbench 的做法是把真实设备搬到云上。全球站的能力说明写得很具体:可以把 PyTorch 或 ONNX 训练好的模型转换成 LiteRT、ONNX Runtime 或 Qualcomm AI Runtime 任意一种端侧运行时,支持量化与精度微调,并在云端托管的 50 多种高通设备上做性能剖析和推理验证。中国版把这条链路接到了 QDC China 设备农场,本土机型覆盖度是它相对全球版最实际的一项补强。
模型库页面上最新一批模型可以看出这条工具链的取向。Qwen3-4B、Qwen3-8B、Qwen3-VL-4B-Instruct、Qwen3-VL-8B-Instruct、Qwen2.5-VL-7B-Instruct、Qwen3-4B-Instruct-2507 都标注为硬件优化版本,Liquid AI 的 LFM3-1.7B 与 LFM3-VL-2B 是预览版社区 GGUF,GPT-OSS-20B 和 Gemma-4-E2B-it 也是社区 GGUF。规模上以 4B 以下的模型为主,这个分布本身就说明了端侧当前的算力边界在哪里。
已经跑起来的真实案例
Clairvoyance AI 是文档里被反复引用的案例。这家公司的智能体工作台要在本地笔记本上跑多个模型,还要根据任务难度匹配模型大小和计算核心。他们的做法是引入 GenieX,接上 Hexagon NPU,让工作台可以在 CPU、GPU、NPU 之间调度任务。Clairvoyance 创始人 Brad Wardell 提到 GenieX 是开源的,他们直接按需做了定制,从阅读文档到在骁龙 X2 Elite Extreme 上让 NPU 跑起来只花了一天。
骁龙 X2 Elite Extreme 的硬件指标是 228 GB/s 内存带宽和 80 以上 TOPS 算力。这个数字值得和 高通 HBC 验证完成:AI250 内存带宽 133 TB/s 那篇放在一起看,内存带宽决定了端侧能塞下多大的上下文和多大的并发,工具链的成熟度与硬件指标的提升是同一条路径上的两个环节。
生态侧的进展也在持续。2026 年 10 月 26 日 GenieX 增加了对 Liquid LFM3 模型的支持,10 月 27 日 Workbench 上线了组织与团队协作项目功能,9 月 14 日 AnythingLLM 完成了与 GenieX 的集成。另外一个容易被忽略的事实是,像 OpenMobile-2 开源手机智能体 和 小米开源 AI 硬件 HachimoDock 这类端侧项目,解决的都是同一个问题:把模型塞进真实设备里跑起来,光停在演示阶段没有意义。
需要留意的边界
有几件事需要在评估前想清楚。GenieX 明确标注为开发者预览阶段,官方文档也写明接口在后续版本中可能变化,依赖它的产品需要预留适配余量。
中国版的 230 多个模型与全球站的 300 多个之间存在同步差距,海外新模型的落地时间会有延迟,这对中国团队做竞品跟随时是个实际约束。
端侧路径的收益高度依赖设备型号。旗舰骁龙平台能跑的模型规模和中端机型差别很大,用 Workbench 在真实机型上验证这一步不能省。同一套工具链在小米的旗舰机上跑通,并不代表能塞进一台入门机。
另外端侧部署换来的是隐私、时延和成本,换掉的是灵活性。复杂推理任务、大上下文和需要持续调用的智能体,仍然要放回云端,这也是混合推理成为行业共识的原因。华为自家的 华为云 openPangu-2.0 停售下线 这类调整,同样说明纯端侧与纯云端之间存在明显的边界划分。
常见问题
高通 AI Hub 中国版和全球版有什么区别
核心能力一致,都是 Models、Workbench、Apps、GenieX 四件套加端侧部署流程。实际差异集中在两处:中国版模型数对外口径是 230 多个,全球站页面显示 300 多个;中国版接入了 QDC China 设备农场和亚马逊云科技中国(宁夏)区域,对国产机型的覆盖是它独有的资源。
GenieX 怎么选量化格式
想用上 NPU 就选 Q4_0,llama.cpp 路径下只有它同时支持 NPU、GPU、CPU 三种单元。若走 AI Hub 预编译的 QAIRT 路径,量化已在编译期定好,常见是 w4a16,不能自行更改。Q8_0 和 F16 精度更好,但只落在 GPU 和 CPU 上。
不写代码能不能用上这些模型
可以。Workbench 提供图形化的模型转换、量化与性能剖析界面,Apps 里的示例应用是打包好的 Android 与桌面应用,可直接下载安装做体验。GenieX 也额外提供兼容 OpenAI 协议的本地服务器,配合现成客户端即可调用本地模型,无需自行开发界面。
小结
AI Hub 中国版真正的价值在于把端侧 AI 开发里最耗人力的三个环节打包了:模型不用自己量化、设备不用自己搭、运行时不用自己写。230 多个预优化模型加上 Workbench 的真实设备调优环境,把原本需要硬件工程师介入的流程压成了网页上的几次点击。
需要留意的是 GenieX 仍处开发者预览阶段,中国版与全球站存在模型同步差,端侧能跑多大模型取决于具体芯片。这些限制不改变方向判断,只影响落地节奏。端侧这条路线在隐私、时延和成本三方面的收益是真实的,工具链已经就位。
相关阅读
- 高通 HBC 验证完成:AI250 内存带宽 133 TB/s 与 18 倍对比
- 谷歌 EmbeddingGemma2 开源:740M 参数塞进手机,端侧多模态检索首次轻量落地
- Gradium Phonon 开源:3100 万参数端侧 TTS,词错率 1.70%
- OpenMobile-2 开源手机智能体:110 个应用,79.9 分
- 小米开源 AI 硬件 HachimoDock:150 元复刻桌面智能体
延伸阅读
- 英伟达称 AI 重塑芯片工厂 仿真提速最高 35 倍2 小时前
- FuriosaAI 融资 6.2 亿美元:估值 29 亿美元接近 4 倍6 天前
- 英伟达 RTX 5090 官方商城下架:Blackwell 旗舰疑似停产让路 AI 算力3 周前
- 台积电AI芯片需求强劲:分析师预计第六个季度盈利新高,净利润同比增65%3 周前
继续读
同一批更新里这几篇值得一看:
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
