字节跳动发布Ouro模型:将推理能力构建到预训练阶段

2025-11-04 57 0

Ouro 是字节跳动 Seed 团队联合多家机构推出的循环语言模型(Looped Language Models)项目,旨在将推理能力直接构建到预训练阶段,而非依赖训练后的 “思维链” 等显式文本生成过程。该项目包含 Ouro-1.4B、Ouro-1.4B-Thinking、Ouro-2.6B、Ouro-2.6B-Thinking 等多类预训练模型,核心采用共享权重层堆栈的循环架构,集成学习到的 “退出门” 实现自适应计算 —— 简单输入可提前退出以节省资源,复杂输入则分配更多迭代次数进行深层处理,在潜在空间构建 “潜在思想链” 以提升知识操纵能力。

相关文章