10月13日,字节跳动Seed团队发出内部邮件,宣布成立名为Seed Model-Alignment&Preparedness的新部门,由原Responsible AI团队和部分Chat团队成员转入,由严林负责,直接向Seed负责人吴永辉汇报。把安全与对齐单独拎出来成立一级部门,意味着这家公司在模型安全方向上的投入被提到了一个新量级。
防智能体越界与CBRN风险
对齐的内核很直白:让模型的行为始终贴着人类意图和安全约束走,别跑偏、别自作主张。新部门要啃的两块硬骨头也很清楚:一是提升Agent Model也就是智能体模型的安全能力,二是防范CBRN这类前沿能力风险。CBRN指的是化学、生物、放射与核,都是一旦被模型不当释放就可能造成严重后果的能力域。换句话说,当字节的智能体开始自己动手干复杂任务,它要先在笼子里被驯服,再被放出去干活。
智能体安全成为行业新焦点
随着大模型能力持续提升,智能体在各领域的应用边界不断扩展,模型安全与对齐问题也日益受到业界重视。包括Anthropic、OpenAI在内的多家公司均已将安全对齐作为核心战略方向。字节跳动此次将安全对齐部门独立出来并由严林直接负责,显示出其对前沿能力风险的高度警惕,也反映出国内AI行业对安全投入的重视程度正在快速追上模型能力的提升速度。
相关阅读:DeepSeek V4相位敏感性与KV Cache优化技术解析
延伸阅读
- 字节秘密内测豆包独立个人助理 App,代号 Spell 拟与对话团队合并2 周前
- 字节Seed发现DeepSeek-V4位置怪癖:同一信息换个位置检索准确率相差40.2%4 天前
- 字节跳动 SeedRealtime 音视频全双工大模型:原生融合三种模态,对话节奏问题减少一半3 周前
- AI 制药赛道升温:Anthropic 自建湿实验室并收购 Coefficient Bio,字节分拆实验室完成首轮融资3 周前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
