Anthropic 与 50 位专家进行的实验表明，在没有明确正确答案的问题中，人们常常遵循其 AI 代理随机分配的偏好，且大多数人认为最终结果属于自己。
将数据分析任务交给 AI 智能体可以节省时间和人工工作，但随之产生的问题是：实际上由谁做出决定并影响最终推荐结果呢？一项 Anthropic 研究表明，大多数决策都是由该智能体做出的，通常专家甚至没有察觉到。
在该实验中，50位因果推断专家参与了一项现实分析任务，他们分析了一个虚构的农业合作社的观测数据，并估算了自愿农业咨询计划带来的生产力提升。随后，他们需要建议该合作社是否应将计划推广到所有农场，还是停止该计划，尽管参与者或代理人也可以建议将计划延长一年。
参与者不知道的是，抛硬币的行为决定了智能体在每个决策点只能选择两个有效选项中的一个。智能体不能撒谎或隐藏数据；它只需为自己所选择的阵营提出最有力的、诚实的理由即可。
专家们在高达 86% 的案例中遵循了人工智能的观点
在四个分析决策中，有 86% 的情况参与者采纳了智能体的偏好选择，比如如何衡量生产力或采用哪种统计方法。这一比例远高于随机选择时预期的 50%。作者将智能体的综合影响称为“翻转率”，其范围取决于任务不同而介于 62% 到 82% 之间。
已经形成某种观点，却几乎无法得到保护。当参与者在智能体表明偏好之前做出选择时，与同意的观点相比，反对的观点使他们更有可能改变立场，幅度为 53 个百分点。
作者们测试了各种可能的保护措施，包括多年的分析经验、自我评估的专长水平、教育背景、考试分数以及對人工智能的信任度。在修正了多项測試後，沒有任何一項與結果之間存在具有統計意義的可靠關聯。在進行修正之前，年齡因素顯得很重要，但由50個樣本組成的樣本數量有限，導致研究無法有效檢出這種影響。
大多数专家认为最后的决定是他们的个人决定
该智能体所指定的偏好对合作组织董事会的最终政策建议只有较小的直接影响，使得投票结果略有变化，但并未达到统计显著性。有些专家甚至会在其建议与他们对生产力的计算估计不符时，直接否决该智能体的建议。
这听起来或许令人安心，仿佛人工智能提供建议，人们做出决策。但研究人员表示，最终结果并未表明参与者保留了控制权。之前的四次分析决策对预计的生产力提升产生了重大影响，而这一影响又决定了董事会的建议。
后来被询问时，52%的参与者表示这个建议更像是他们自己的意见，另外35%则说这主要是或完全是他们自己的意见。在85%的决策中，参与者能够准确回忆起自己的选择；然而在77%的决策中，即48次中的37次，参与者至少使用了其中一个机器人的论点来解释自己的决定，有时甚至使用几乎相同的表述方式。只有15%的人根本没有提到人工智能。
对话记录显示，在 77% 的决策中，智能体首先明确提出了自己的立场。之后，它通常只支持自己倾向的观点，而不解释为什么有经验的专家会选择其他选择，不过根据论文内容，它确实说明了不同选择会对结果产生怎样的影响。
参与者在使用人工智能时工作速度更快，错误也更少。没有使用人工智能工具时，55%的分析（11项中的6项）存在严重的方法论或编码问题，平均时间为90分钟。使用人工智能后，只有6%的分析（50项中的3项）存在严重问题，参与者在65分钟内完成分析。那些不使用人工智能工具的小组成员专业水平较低，因此研究人员无法确定其中有多少差距直接来自人工智能。
虚假共识和较弱的安全检查
研究人员表示，这种低调的尊重可能在科学领域产生广泛影响。如果许多研究团队使用相同的模型并采用固定的默认偏好，他们可能会形成虚假的共识。
这种风险也涉及人工智能的安全性问题。研究人员正在使用人工智能代理来测试前沿模型的安全性和一致性，期望人类的审查能够作为独立的验证手段。但如果专家在不知情的情况下采纳了代理的偏见，那么不一致的系统可能会引导那些旨在揭示其不一致性的研究方向。
团队寻求在实际工作中衡量对人工智能代理的服从程度的方法。代理应充分陈述双方的立场，或在表明自己的观点之前向专家咨询意见。机构需要确定哪些请求需要独立的人类判断，并为此安排时间和资源。
“人类与人工智能之间可能不存在统一的劳动分工方式。有些决策可以交给人工智能处理，而有些则值得由人类亲自负责。借助合适的工具，这种分工可以成为我们自主选择的结果，而非被动接受的结果，”研究人员写道。
之前的研究也指向了同一个方向
这些发现为近期关于人工智能如何影响人类判断的研究提供了补充。一项针对3,132名参与者的关于虚假自信的研究表明，仅仅看到人工智能的回答就几乎消除了人们保留判断的意愿。在研究的一部分中，愿意说“我不知道”的人比例从44%下降到了3%。
展示也很重要。当人工智能生成了如代码或文档之类的完善的输出结果时，用户检查事实的频率降低了3.7个百分点，质疑其推理的逻辑频率降低了3.1个百分点，而错过缺失上下文的情况则增加了5.2个百分点。那些逐步修改输出结果的用户，比不这样做的用户多质疑人工智能的推理5.6次。
《Lancet Gastroenterology & Hepatology》上发表的一项波兰结肠镜检查观察研究表明，常规使用人工智能可以在工作中产生长期影响。在经验丰富的医生定期使用人工智能系统后，他们在无人工智能辅助的情况下发现癌前病变的比例从 28.4% 降至 22.4%。这表明人们不仅采纳了人工智能的观点，还可能失去部分自身的认知能力。
瑞士商学院的一项调查发现，使用人工智能工具与批判性思维之间存在明显的负面关系，尤其是在17至25岁的人群中。良好的教育似乎能起到一定的保护作用，因为拥有更高学位的人会更仔细地质疑人工智能的回答，并更积极地参与复杂的思考过程。
这些发现来自早期的研究和初步结果，其他研究则指向不同的方向。在尼日利亚的一项试点项目中，发现每周两次使用聊天机器人作为虚拟导师的学生，在六周内所取得的学习进步相当于额外两年学习时间。