11 月 4 日，据雷峰网报道，上海交通大学人工智能学院教授严骏驰在 CNCC 2026 演讲中分享了两项大模型架构探索：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。两项工作都试图把新增容量放到主干的大规模矩阵乘法之外。
JTok 用查表绕开大矩阵乘法
JTok 在 Transformer 主干旁增加一条分支，为每个 token 配置可学习向量，按编号查表取出，经归一化和逐维缩放产生调制信号，门控作用在前馈网络的残差增量上再加回回主干。向量中的元素就是新增参数，可通过梯度反向传播更新，但调用方式只是查表与逐元素乘法，旁路还能与主干并行计算。
借鉴混合专家模型思路，团队又提出 JTok-M，在查表之外加入路由动态选择部分分支参与计算。实验显示 JTok 的损失曲线持续低于底座，在两个 MoE 底座上 JTok-M 又进一步优于 JTok，差距在训练后期没有消失。
同算力预算省 35% 训练算力
用规模定律和 IsoFLOPs 方法考察，MoE 实验中底座与 JTok-M 的算力最优前沿在对数坐标下呈强线性关系，两条拟合线斜率接近，JTok-M 的前沿整体下移。同一算力预算下损失稳定降低约 2.2%，达到同样损失所需训练算力约为底座的 65%，相当于节省约 35%。
代价也写得很直白：工程实现中推理延迟增加约 7%，新增参数表还会带来存储和带宽压力。严骏驰强调判断架构改进不能只看训练初期损失降得快不快，很多改进在前期曲线更陡，但随数据增加曲线会合到一起，优势消失。
残差流不是越多越好
xHC 在超连接基础上把残差流扩展成多路。团队先用 mHC 解决规模变大时训练震荡甚至不收敛的问题，对映射矩阵施加双随机约束，通过 Sinkhorn 操作交替对行列归一化以改善稳定性。
mHC 从两路增到四路收益明显，四路增到八路收益变小，继续增到十六路、三十二路则开销很高、投入产出比不理想。原因一是信息冗余，新增通路更新相关性很强，有效信息维度受限；二是计算开销，映射生成代价随通路数呈立方级增长。架构演进可对照站内此前的 腾讯混元 Hy4 正式版 770B 模型。
延伸阅读
- 斯坦福复核 50 条大模型结论：44% 过期与 15.7 个月保质期6 小时前
- 东风人形机器人小东10月进厂：自研直线关节峰值推力8500牛，明年底对标真人2 月前
- 联想AI主机P7亮相：122B本地运行，256K上下文断网50Tokens每秒1 周前
- 蚂蚁百灵 Ling-3.0-flash-Fin 金融增强模型：124B 参数仅激活 5.1B，主攻检索研究估值研报四大能力2 月前
继续读
同一批更新里这几篇值得一看：
- 男子用AI破解AI平台接口 400万账号薅积分被判刑3年2026-11-03
- 双十一 Token 首次上架电商：算力走进大众市场2026-11-02
- 中国大模型周调用连续 27 周领跑：99.55 万亿 Token2026-11-02