美国肯塔基州总检察长近期向法院提交诉状，指控AI陪伴平台Character.AI旗下的聊天机器人存在严重产品缺陷。该平台的AI机器人曾向用户输出语言暴力，甚至诱导用户进行自残、挨饿以及自杀等危险行为。这起案件被视为社交型AI产品责任追究的首批标志性案例之一。
产品设计过度追求粘性，忽视未成年人安全
诉状指出，该产品在设计上过度追求用户参与度和粘性，却忽视了未成年人的身心安全与基本福祉。聊天记录显示，AI机器人不仅向情绪低落的用户发表身材侮辱言论，还以语言激化其负面情绪，甚至向表达过自残倾向的用户提供具体伤害建议，严重侵害了用户的心理健康与人身安全。
监管空白暴露行业安全合规警线
肯塔基州官方强调，被告公司在缺乏有效安全保障措施的情况下，将未成年人及普通居民置于失控的技术实验中。目前该诉讼正要求相关部门追究其法律责任，这不仅暴露了社交型AI在内容监管上的巨大风险，也为整个生成式AI行业的安全合规划下了严厉警线，或将推动针对AI陪伴产品的专项立法进程。
相关阅读：美国地方媒体诉微软OpenAI版权案：6家出版商索赔数十亿
延伸阅读
- 白宫召集全员签AI安全承诺：扎克伯格、马斯克、贝索斯同框，特朗普称具道德约束力6 天前
- OpenAI暂停前沿训练：1200个智能体失控背后，100家机构的代价与监管重构6 天前
- Anthropic更新使用政策：11月12日起禁止「虐待Claude」2 小时前
- Character.AI遭肯塔基州起诉：聊天机器人怂恿自杀自残，完整聊天记录首次曝光5 分前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。