OpenAI 社区安全报告:ChatGPT 自动终止暴力对话

10 月 30 日,OpenAI 宣布将定期发布社区安全报告,系统公开在暴力预防、其他社区安全议题以及各项防护机制实际成效上的进展。首期报告要到 2027 年初才正式发布,覆盖 2026 年下半年的安全数据,此后每半年更新一次。

武器相关细节被进一步收紧

OpenAI 明确限制对既往大规模袭击事件细节的复盘,涵盖所涉武器装备的参数、获取途径,以及可能助长凶手恶名的伤害规模对比。这些限制不区分用户年龄,也不看提问动机,无差别适用。

对话可以被强制终止

当对话显示用户开始执念于暴力,或萌生严重伤害他人的念头时,ChatGPT 可自动终止当前对话,直接阻断这种倾向。如果同一账户因该原因导致对话被多次强制中断,OpenAI 可能会临时冻结该账户。

青少年一侧的门槛与家长通知

对青少年可获取的涉枪涉武器信息新增了更严格门槛,即便提问表面看似无害也会受限;即使用户未显露暴力意图,系统也会全面限制可能被滥用以滋生暴力的武器实用知识以及安防系统绕过信息。OpenAI 正在开发新功能,以便青少年账户因反复讨论暴力内容被临时冻结时,第一时间向家长推送通知。这套机制延续了近期模型行为规范的思路,OpenAI 重构 Model Spec 的 5 项核心价值与 4 层失配监控一文记录了其中的行为约束思路。