Nanbeige4.3-33B 开源 Terminal-Bench 80.9 分

10 月 25 日,Nanbeige LLM Lab 在 Hugging Face 上发布开源模型 Nanbeige4.3-33B,采用 Apache 2.0 许可,定位在智能体编程与办公协作任务,同时放出了 Nanbeige4.3-33B-Base,供使用者做后训练定制。该实验室设在 BOSS 直聘内部。发布方同时放出了 Nanbeige4.3-33B-Base,供使用者做后训练定制。该实验室设在 BOSS 直聘内部。

规格与运行门槛

模型是标准 LlamaForCausalLM 架构,不含专家路由,33B 参数在每个 token 上全部参与计算。config.json 显示 52 层、隐藏维度 7168、56 个查询头配 8 个键值头、头维度 128、FFN 中间层 22016、词表 166912、RoPE theta 为 120000000,最大位置 524288,即 512K 上下文。权重为 BF16,体积约 66 GB,官方给出的 SGLang 与 vLLM 配方采用 4 路张量并行,需要多 GPU 服务器承载。对话模板暴露三个开关,enable_thinking 默认开启,preserve_thinking 建议在多轮工具使用与代码智能体场景下打开,工具调用推荐 XML 格式。

官方自评领先 17 项,最低分也摆在表里

实验室把 Nanbeige4.3-33B 与 Qwen3.8-27B、Muse-Glimmer-30B、Gemma4-31B 三个接近 30B 的开放模型放在一起对比,全部在最高思考档位、共享超参数与同一 harness 下运行。智能体编程方面 Terminal-Bench 2.1 拿到 80.9,Qwen3.8-27B 为 73.0;DeepSWE 差距最大,65.5 对 42.5;Terminal-Bench 4.0 上为 23.8,Gemma4-31B 为 0.0;SWE-Bench Pro 则是 60.3 对 61.7,落后一档。办公协作类基准 Automation Bench 为 54.2 对 38.3,JobBench 为 44.8 对 34.5。这些分数全部为发布方自报,与 KRAFTON 开源 Raon-1 mini 的 30B-A4B 基准对照 属于不同测试口径,跨模型比较需要谨慎。

先做教师模型,再蒸馏小尺寸

实验室公布的路线是先做强教师模型,然后把智能体能力蒸馏进更小的模型,第一步是 Nanbeige4.3-3B。33B 稠密结构配合 512K 上下文与 4 路张量并行配方,目标是把长链路工具调用和办公协作这类复合任务做成可复用能力,再向下收缩到可以在单机或小集群运行的尺寸。

先做强教师模型再蒸馏小尺寸是一条被反复验证的路线,JOLT 师生同模训练把 MATH 提到 72.14%是同一思路的另一种实现:先让强模型把解题路径拆解出来,再把这份路径压缩进更小、更便宜的执行体里。