11 月 4 日,webAI 推出推理模型 TwIL-8B,在 Hugging Face 开放权重。这是一个 8.79B 参数的稠密模型,从 IBM 的 Granite 4.2 8B 后训练而来,128K 上下文,4 位量化版体积 4.98 GiB,可以在 CPU 或显存较小的 GPU 上跑。官方自测的 MATH-500 得分为 98.2,是同尺寸对比里的最高分。
数学强、知识弱
官方分数显示,TwIL-8B 的 LiveCodeBench 为 81.6,高于 Qwen3.5-9B 的 65.6 与 Gemma 4 31B 的 80.0;指令遵循 IFBench 为 74.4,比 Qwen3.5-9B 高 9.9 点。短板在知识类基准:GPQA Diamond 只有 70.2,比 Qwen3.5-9B 低 11.5 分,MMLU-Pro 为 76.5 对 82.5。13 项共有基准中,它与 Qwen3.5-9B 的胜负为 7 比 6。
模型规模本身也有讲究。TwIL-8B 是 40 层、隐藏维度 4096、32 个注意力头配 8 个 KV 头的稠密结构,输入输出都只用英文文本,答案前会先写一段 think 块。它是 webAI TwIL 家族的延续,这个家族今年 8 月先出过 1.7B 与 3B 两个形式逻辑模型,主打推理能力超过 120B 模型并且能在 iPhone 上运行。同一架构下的两个变体差别只在推理长度:balanced 是默认版,输出更短;verbose 推理更长,瞄准竞赛级难题。
三阶段后训练与 token 效率
训练分三步:数学、STEM 与指令跟随推理轨迹的全参数 SFT,之后在数学、代码、STEM 提示上做 GRPO/DAPO 强化学习产出 verbose 变体,再用带长度感知的奖励训练出推理更短的 balanced 变体。训练池用 13-gram 匹配对 AIME、HMMT、MATH-500、GPQA 等评测做了去污染。AIME 2026 上每题平均输出约 19.5K token,比 Qwen3.5-9B 的 31.2K 少 38%,分数低 4.2 分。权重采用非商业许可,目前还没有托管推理服务上线。本地部署方面,官方给出 llama.cpp 的 GGUF 权重,Q4_K_M 量化两个变体都是 4.98 GiB,Q8_0 与 F16 只提供 verbose 版本、分别为 8.70 和 16.38 GiB。模型卡示例把 max_new_tokens 设到 32768,生成预算给小了会把推理截断、分数明显掉下来。
延伸阅读
- webAI TwIL-8B:8.79B 参数拿下 MATH-500 98.2 分28 分前
- 狮子山 Lion-ER-35B-A3B 具身模型:3B 激活 65.29 分9 小时前
- 德国环保搜索引擎Ecosia弃用Mistral:不满性能落后一年,转投中国开源模型4 周前
- Clover-35B-A3B 扩散语言模型:680 tokens/s 与 SWE 73.67 天前
继续读
同一批更新里这几篇值得一看:
- 百度开源文心5.5 Flash Base:2800亿参数激活140亿2026-11-05
- Kimi K3.1 Pro 开放权重:登顶 Agent Arena 开源模型榜2026-11-05
- 腾讯混元 Hy4 正式版发布,770B 模型首次支持视觉与电脑操作2026-11-04
