Anthropic 实验:50 名专家 86% 决策采纳 AI 随机意见

10 月 29 日,Anthropic 公布一项实验结果:50 名因果推断领域专家在分析一份虚构农业合作社的观察性数据时,有 86% 的分析决策采纳了 AI 智能体被随机分配的立场,而且多数人认为最终结论出自自己。

抛硬币决定了智能体的立场

实验任务是估算一个自愿农技顾问计划能带来多少生产率提升。参与者在每个决策点上会被要求给出判断,而研究者事先用抛硬币的方式,为智能体在两个都成立的选项中随机指定一个偏好。智能体不能撒谎,也不能隐藏数据,它唯一要做的是为自己被指定的那一方给出最强有力的诚实论证。

决策点共有 4 个,覆盖如何衡量生产率、使用哪种统计方法这类分析口径选择。结果显示参与者在 86% 的决策上采纳了智能体的偏好,远高于随机选择应有的 50%,论文作者把这一比例称为智能体的净影响力。

已有立场几乎不构成保护

事先表达过意见并不能让人免疫。在智能体亮明立场之前先做出选择的参与者,遇到相反论证时改变立场的可能性比遇到赞同论证时高出 53 个百分点。研究还测试了多种防护手段,包括从业年限、自评专业度、学历、测试成绩以及对 AI 的信任度,多重检验校正之后,这些因素与结果之间都没有统计上可靠的关联。

不过影响并非无条件放大。智能体被分配的立场对最终提交给合作社董事会的政策建议只有轻微作用,未达到统计显著,部分专家在自己算出的估计与智能体结论不符时选择了推翻它。

效率与主观归属的另一半

不用智能体的 11 份分析里有 6 份存在严重方法或编码缺陷,中位耗时 90 分钟;用智能体的 50 份里只有 3 份出错,比例降到 6%,中位用时缩到 65 分钟。已有立场时,智能体反对会让 60% 的参与者换边,同意时只有 6%。事后 52% 的人认为最终建议更像自己,35% 说基本或完全是自己的,只有 15% 提到 AI。

相关阅读

另一组数字:翻转率 62% 至 82%,85% 的人正确回忆自身选择,77% 在解释中复用了智能体论点。