埃森哲报告被曝 15 条虚假引用:咨询巨头陷 AI 幻觉

11 月 8 日,据 IT之家援引 GPTZero 的分析结果,埃森哲与马德里 IE 大学研究人员合作发布的报告《跨越式发展》(Leapfrogging Development) 被指含有 15 条虚假引用,以及完全虚构的案例研究。这份报告的主题是人工智能如何提高非洲农业产业的生产力,目前正受到外界审查。

15 条虚假引用是怎么被揪出来的

GPTZero 的结论不只落在数字对不上这一处。报告里引用文献与案例研究两块同时出问题,错误被分散塞进正文各处,而不是集中在一段里。GPTZero 的表述是,虚构引用对研究人员、学者、顾问、学生,以及任何通过互联网搜索信息的人,都是迫在眉睫的现实威胁,因为 AI 幻觉会经由聊天机器人的回答和摘要扩散,反过来污染信息源本身。

这并非咨询行业首例。德勤、安永、毕马威、普华永道等大型咨询公司此前也被指在报告中出现 AI 错误。律所一侧同样如此,英国 Pinsent Masons 承认提交给英国高等法院的文件含 AI 幻觉内容;Sullivan & Cromwell 的律师收费最高每小时 3000 美元,该公司今年早些时候也承认提交纽约法院的文件中存在 AI 错误。

全员推 AI 之后,账单先撑不住了

埃森哲是积极推动员工使用 AI 的专业服务公司之一。管理层此前还威胁,不愿使用 AI 的员工可能面临解雇,CEO 朱莉·斯威特去年就警告说,作为 AI 转型的一部分,无法使用该技术的顾问将被淘汰。但员工的使用热情太高,公司上个月被迫对 AI 工具使用设置新限制,部分员工用 Claude 等工具产生的月度账单超过 1000 美元。

公司否认,但仍在修正报告

埃森哲发言人对 GPTZero 的研究提出异议,称内部审查表明发现的错误源于人为失误,没有证据支持这些错误由 AI 幻觉造成,并表示正在修正这份报告,将在重新发布前完成相关工作。把错误归因从 AI 幻觉改写成人为失误,本身也说明报告的可信度评估正在成为咨询行业的新一轮成本项。相关研究方法与结论可信度问题,可参考 斯坦福复核 50 条大模型结论的过期率测算。