OVH Olala mini 7A1B 怎么跑:8GB 显存 160 TPS

一句话结论:OVHcloud 用 700 万欧元的公共算力训出了 Olala mini 7A1B,总参数 70 亿、激活 10 亿、每层 256 个专家,8GB 显存的显卡就能跑、RTX A4500 上 160 TPS、纯 CPU 也有 50 TPS,Apache 2.0 许可把权重、基座模型、技术报告和 AI Act 合规文档一起放出来。

11 月 17 日,欧洲云服务商 OVHcloud 在 Roubaix 宣布自研模型家族 Olala,首个成员 Olala mini 7A1B 同日开源。对普通开发者来说,这是一只罕见的从云厂商手里流出来的开源小模型,架构、参数、吞吐、许可全部公开。

Olala mini 7A1B 的规格与实测吞吐

模型的基本面直接抄在官方公告里,下面这张表是全部可核对的数字。

项目 数值
总参数 / 激活参数 70 亿 / 10 亿
专家数 每层 256 个
注意力机制 Differential-TPA 与 Mamba-3 混合
数据格式 BF16
上下文长度 32000 token
RTX A4500 吞吐 160 token/秒
纯 CPU 吞吐 50 token/秒
最低显存 8GB 显卡
许可 Apache 2.0
训练算力开销 700 万欧元等值

激活参数只有总参数的七分之一,加上每层 256 个专家的稀疏结构,意味着每次请求只调用模型的一小部分,显存占用和速度同时受益。8GB 显存这条门槛值得单独说,市面上多数 7B 级别稠密模型在 BF16 下要吃 14GB 以上显存,量化后能压进 8GB 但速度要打折,而 Olala mini 靠稀疏结构直接就把门槛降下来了。

纯 CPU 能跑到 50 token/秒,这个数字比很多人在笔记本上跑量化 7B 的实际体感还要好。显存怎么估可以看本地大模型显存怎么算里的算法,稀疏激活会让传统按总参数算的公式高估实际占用。

训练成本:700 万欧元和欧洲超算

OVH 说这套支持相当于 700 万欧元的算力小时,来自三台欧洲公共超算:Jupiter、MeluXina 和 Jean Zay,硬件是 NVIDIA 的 GH200、A100 和 H100。

这个数字背后是一条更重要的产业判断。OVHcloud 首席执行官 Octave Klaba 的说法是,模型训练这项能力已经广泛可得,三年里训练成本被除以了 20,现在造一个大模型这件事本身是可以赚钱的。

700 万欧元训练一个 7B 激活 10 亿的模型,放在两年前的语境里是不可想象的。彼时训练成本每降一次,都是头部实验室用算力堆出来的壁垒。Olala 把这条曲线摆到了明面上:欧洲公共超算加公有研究团队的组合,700 万欧元能产出一个可商用的稀疏模型。

OVHcloud 集团有 46 个数据中心、170 万客户、覆盖 140 多个国家,模型在这个体量的云业务内部有天然消化路径。OVH 的 Agentic Lab 也由此组建,OVHai LLM 这个团队就是 Olala 的产出主体。

和同级别开源模型比:Olala mini 的位置

开源 7B 模型赛道已经相当拥挤,光看参数量已经分不出高下。Olala mini 的差异点在于稀疏激活加混合注意力这两项同时用在消费级硬件上。

模型 总参 / 激活 最低硬件 许可
Olala mini 7A1B 70 亿 / 10 亿 8GB 显卡,或纯 CPU Apache 2.0
Qwen3 8B(稠密参考) 80 亿 / 80 亿 BF16 约 16GB,量化后可更低 Apache 2.0
Llama 3.1 8B(稠密参考) 80 亿 / 80 亿 BF16 约 16GB Llama 社区许可

激活参数的差距是这一栏最关键的一行。稠密 8B 模型每 token 都要过全部 80 亿参数,Olala mini 只过 10 亿,推理阶段的算力开销差出近 8 倍。这解释了为什么一张 8GB 的 A4500 能给出 160 token/秒的读起来偏高的数字。

另一个容易被忽略的差异是许可。美团 LongCat-2.5 用的是 MIT,Llama 3.1 是带附加条款的社区许可,Olala mini 给的是 Apache 2.0,明确包含专利授权条款。商用场景里这一点比参数表更容易卡住项目进度。

本地部署这一层的具体门槛可以参考Edge0-145B 笔记本部署实测和Kimi K3 纯 CPU 运行方案,两篇分别覆盖了显存受限和完全没有独显的场景。下载环节国内走魔搭更顺,相关实测见hf-mirror 与魔搭速度对比。

真实落地:Qwant 已经换成它

Olala mini 不是纸面发布。法国搜索引擎 Qwant 已经把它接到 flash answer 功能上,官方给出的效果是答案快了 20%,运行成本降到原来的三分之一。

这个落地场景很能说明问题。搜索的 flash answer 属于短问答、低延迟、高并发,对模型的绝对能力要求不高,但对单位成本极其敏感。三分之一的成本下降对搜索业务是能直接写进毛利表里的数字,而 20% 的响应速度提升会体现在用户等待时长这个关键指标上。

OVH 还说这次公共支持计划不止成功在算力这一项,它把一支完整的 AI 团队聚了起来,这才是 Olala 后续路线图能走起来的原因。

发布内容与合规:Apache 2.0 之外的 AI Act 文档

这次开源的包里有四样东西:模型权重、预训练基座模型、技术报告、AI Act 合规文档。

把 AI Act 合规文档和权重一起发出来在欧洲是重要信号。欧盟的 AI 法案对模型用途、透明度、数据来源都有要求,一份公开的合规说明能让采用方省掉自行梳理的环节。对想在自己环境里跑模型的企业采购方来说,这是比 Apache 2.0 协议更实际的一层保障。

另外,OVH 给出的完整采用链路是三条:从 Hugging Face 获取权重和基座模型,跑通自己的部署,再通过 OVH 自家云平台承接生产负载。模型和算力出自同一家公司,这在采购和合规上都是省事的结构。

路线图:1.1 扩上下文,2.0 冲千亿

Olala mini 当前的上下文长度是 32000 token。

版本 时间 参数规模 上下文 重点
Olala mini 7A1B 2026-11-17 70 亿 / 10 亿激活 32000 token 首版开源,消费级硬件可跑
Olala 1.1 2026 年底前 未公布 扩到 128000 token 强化数学类任务
Olala 2.0 2027 年及以后 超过 1000 亿 未公布 三个专用方向

2.0 的三个方向分别是企业智能体、云端 DevOps 和网络安全。OVH 特别提到企业智能体这条线要落到 OVHai Workspace 上,团队未来会要求模型能直接跑在员工本机上,处理加密数据,这等于把 Olala mini 这条低硬件门槛的路线继续押注下去。

11 月 19 日的 OVHcloud AI Summit 会给出更完整的技术细节,技术报告的完整内容也会在那时公开。对想第一时间读架构细节的人,这是个明确的时间点。

谁该现在就用 Olala mini

三类场景比较契合。一是需要模型在本地工作站跑、数据不能出内网的流程,8GB 显存和 Apache 2.0 两条同时成立的选择不多。二是做批量离线处理的地方,50 token/秒的纯 CPU 吞吐意味着不占显卡的机器也能排队跑数据。三是需要做主权 AI 落地的欧洲团队,全链路算力与模型都在欧洲公共超算上训练的叙事,在合规审查里是加分项。

不合适的地方也要说清楚。上下文只有 32000 token,长文档分析类任务要等 1.1 版本;数学能力在首版被官方自己列为待强化项;官方没有公布基准跑分,所以短视和多语言这类硬指标暂时无从判断,要等 11 月 19 日技术报告。

常见问题

Olala mini 7A1B 需要多大显存?官方口径是 8GB 显存的显卡即可运行,也可以完全不用显卡,在普通 CPU 处理器上跑到 50 token/秒。RTX A4500 上可达 160 token/秒。

Olala mini 可以商用吗?可以。以 Apache 2.0 许可在 Hugging Face 发布,Apache 2.0 明确包含专利授权,商用与二次分发都没有额外限制,同时附带了 AI Act 合规文档。

Olala mini 和 Qwen3 8B 这类稠密模型怎么选?Olala mini 靠 10 亿激活参数和稀疏结构把硬件门槛和推理成本都压下来,Qwen3 8B 这类稠密模型在通用能力覆盖上更稳。中文任务需求大且上下文要超过 3.2 万 token 的场景,等 Olala 1.1 更合理。

小结

Olala mini 7A1B 的意义不在于刷榜,而在于把开源小模型的硬件门槛又往下压了一层。8GB 显卡、50 token/秒纯 CPU、Apache 2.0 加 AI Act 合规文档,这几项凑在一起,让本地部署模型这件事从「需要一台工作站」变成「大部分人都有的一台机器就能试」。

700 万欧元训练成本和三年降 20 倍的产业曲线,是这次发布里比参数表更值得记的数字。云厂商亲自下场开源模型,本身就是对头部实验室开源节奏的一次回应。

相关阅读

全部文章归档与模型专题