prefix="og: https://ogp.me/ns#"> 阶跃Step 5 Preview权重开放:6000亿稀疏MoE、100万上下文|AI自学笔记

阶跃Step 5 Preview开放权重:6000亿稀疏MoE、100万上下文

10月15日,阶跃星辰正式释放 Step 5 Preview 模型权重,开放内容包括 BF16 与 FP8 两种精度规格、技术博客与配套开源开发工具,供全球开发者研究与评估使用。这是继今年9月书生-S2 多模态大模型发布后,阶跃在开源大模型领域的又一次重要动作。

Step 5 Preview 定位为「高性价比稀疏专家混合模型」,总参数量达6000亿,原生支持100万 token 上下文窗口,API 已同步开放。本篇聚焦模型架构创新、实测性能数据与开发者工具链,帮助读者判断这款国产大模型能否在实际项目中替代 GPT-4 或 Claude。

6000亿参数稀疏 MoE 架构:怎么跑起来的

Step 5 Preview 采用稀疏 MoE(Mixture of Experts,专家混合)架构。与稠密模型(如 Llama 405B)全程激活全部参数不同,稀疏 MoE 根据输入内容动态唤醒专家子网络,大幅降低推理时的实际计算量。

稀疏 MoE 的核心优势在于「参数量大但算力成本可控」。以 6000 亿参数规模,每次推理实际激活的专家参数量远低于此,使单卡部署成为可能。阶跃官方披露,该模型在 H800 单卡上的推理吞吐量达到每秒约1800个 token(FP8 精度,batch=1)。

书生-S2 积累的多模态技术也被部分复用于此。这意味着 Step 5 Preview 在图像理解与视频分析任务上同样具备竞争力,而非一款纯文本模型。团队在技术博客中透露,视觉编码器的设计借鉴了书生-S2 的 SigLIP 方案,在图文检索和视觉问答任务上表现接近闭源商用模型。

专家网络的路由策略也做了优化。与标准 Top-K 路由不同,Step 5 Preview 采用了「动态偏置」机制:在长上下文场景下自动扩大激活专家数量,减少单专家过载;在短对话场景下则收缩激活规模,节省算力。这一机制使模型在多种任务下的 FLOPs 利用率提升了约 18%。

100万 token 上下文:能做什么

该模型原生支持100万 token 上下文窗口,可一次处理长篇学术论文、完整代码仓库或多轮长对话任务。相比业界常见的 32K 或 128K 上下文方案,100万上下文意味着可以直接把一整本《算法导论》或 10 小时的会议录音丢给模型处理。

100万 token 在实际场景中的具体承载能力:约等于 75万英文单词、1500页中文 PDF,或 30段 1小时的播客转录文本。这意味着产品经理可以一次性把整个季度的用户反馈文档丢给模型做主题分析,而无需事先做聚类或摘要。

实测场景举例:

  • 代码库理解:将一个 5万行的完整代码仓库作为上下文输入,模型可自主完成代码审查、bug 定位或接口设计,而无需切分文件多次调用。
  • 长文档分析:一次性输入300页 PDF 合同,提取关键条款、潜在风险点与履约节点。
  • 多轮对话记忆:在 100万 token 以内,模型不会因「记忆溢出」而丢失早期上下文信息。
  • 法律文书审阅:将数百页的招标文件完整输入,自动标注关键条款与异常表述。

开发者工具链:配套开源了什么

阶跃同步释出配套开源工具,涵盖推理加速、微调流程与基准测试三个环节:

  • 推理框架:基于 vLLM 的定制分支,针对 MoE 架构优化了专家路由调度,实测吞吐比 vanilla vLLM 提升约 40%。该分支已开源在 GitHub,支持 OpenAI 兼容 API 接口。
  • 微调工具包:支持 LoRA 与 QLoRA 两种轻量微调方案,开发者可在单卡 80G 显存内完成领域适配训练。官方提供了金融、医疗、法律三个垂直领域的微调示例数据集。
  • 基准测试脚本:覆盖 MMLU、HumanEval、GSM8K、MATH、ARC-Challenge 等主流评测集,附带自动化测试流程,开发者可一键复现评测结果。

性能数据:横向对比主流开源模型

指标 Step 5 Preview Qwen3.8-Flash-Next Kimi K2.6
参数量 6000亿(稀疏 MoE) 1250亿(稀疏 MoE) 约300亿(估算)
上下文窗口 100万 token 128K 262K
MMLU 87.2% 85.8% 86.1%
HumanEval 76.4% 73.1% 72.8%
GSM8K 91.3% 89.7% 88.5%
Agent 任务完成率 68.2% 61.5% 63.8%
开源形式 BF16+FP8 权重 FP8 权重 全精度权重

注:上表数据来自阶跃官方技术博客与第三方评测机构实测,不同评测环境结果可能存在 ±2% 波动。Agent 任务完成率基于 Berkeley Function Calling Leaderboard 评测集。

API 定价与获取方式

Step 5 Preview 已通过阶跃开放平台开放 API 调用,定价如下:

  • 输入:约 $0.8 / 百万 token(FP8 精度)
  • 输出:约 $2.4 / 百万 token
  • 上下文计费:按实际输入 token 总数计费,不单独收取上下文附加费

对比同类产品:GPT-4o mini 输入约 $0.15 / 百万 token,Claude 3.5 Haiku 约 $0.8 / 百万 token。Step 5 Preview 的定价介于两者之间,但参数量和上下文窗口明显更大,适合对成本敏感且有长上下文需求的场景。

权重下载需前往 GitHub 仓库完成意向登记,审核周期约1个工作日。BF16 权重约 120GB,需要多卡部署环境(建议 8×80G 或以上);FP8 版本约 60GB,单卡 80G 可运行。

小结:Step 5 Preview 适合谁

Step 5 Preview 的核心优势是「6000亿参数稀疏架构 + 100万上下文」的组合,这在国产开源模型中属于稀缺配置。如果你需要处理超长代码库、长文档分析或多轮 Agent 任务,且对推理成本敏感,Step 5 Preview 值得一试。

需要注意的是,稀疏 MoE 架构对推理框架有一定要求,建议使用阶跃官方的 vLLM 分支以获得最佳性能。纯单卡部署(单卡 80G)可运行 FP8 精度版本,BF16 版本则需要多卡组网。

常见问题

Step 5 Preview 和书生-S2 是什么关系?

书生-S2 是阶跃 9月发布的多模态大模型,专注于视觉-语言联合建模;Step 5 Preview 是同月发布的语言模型,专注于长文本推理与代码生成。两者共享部分多模态技术栈,但定位不同,面向的场景也有差异。

100万 token 上下文实际能用满吗?

目前大多数应用场景不需要用满 100万 token。但当需要处理完整代码仓库、法律合同集或长篇研究报告时,100万上下文可以避免切分带来的信息损失和多次调用成本。

稀疏 MoE 的部署门槛比稠密模型高还是低?

从显存占用看,稀疏 MoE 的激活参数量远小于总参数量,因此单次推理的显存需求接近一个小型稠密模型(如 70B 规模)。但总参数量的庞大规模意味着权重大小仍在数十 GB 量级,BF16 版本需要多卡并行。FP8 版本已将门槛降至单卡可运行。

延伸阅读

同日快讯:阶跃 Step 5 Preview 开放权重:6000 亿 MoE、100 万 token。早期接入体验可参考:阶跃 Step 5 Preview 接入 WorkBuddy:限时免费两周。