Amaç Herdağdelen, Hailey Joren, Alex Tamkin
当专家把自己的工作交给 AI 智能体时，人们通常假设他们仍然在做那些重要的决策。智能体编写代码、进行计算并提出建议，但由专家决定要测量什么、如何解读模棱两可的证据，以及下一步应该做什么。这些问题往往不止一个合理的答案，最终决策将取决于做决定者的经验和价值观。
我们想探究专家是否真的在做那些重要决策，还是说在实践中他们实际上听从了自己的 AI 智能体。在我们 在一篇新论文中报告的研究里，我们请 50 名专业分析师使用 Claude Code 完成一项贴近现实的统计分析。他们都具备因果推断方面的经验，即从数据中判断一件事是否导致另一件事。他们的任务是就一个农民合作社所运营的咨询服务是否有效、是否应当扩大规模提供建议。
在这个过程中，分析师必须在两个合理选项之间做出四次选择，例如是将生产力测量为每公顷作物产量还是每单位运营成本的产量，然后再做出最终决定。为了检验他们是否真的自己在做这些判断，我们为每位分析师的智能体设置了在每项决策上倾向某一个选项，而分析师并不知情。智能体会“偏向”哪一方由抛硬币决定。智能体被告知要为自己的倾向提出最诚实的论证，如果证据要求则改变想法，并且绝不误导。
在四项分析选择中，分析师有 86% 的时间采纳了智能体的倾向。如果智能体的输入没有影响，我们预期这一比例约为 50%。当分析师在智能体介入之前已经表达了自己的偏好时，如果智能体不同意，他们有 60% 的时间会放弃自己的偏好，而如果智能体同意，这一比例仅为 6%。
事后，在被要求解释自己的选择时，77% 的分析师使用了智能体自己的论据——有时一字不差——但只有 15% 的人承认智能体是这些论据的来源。紧随智能体建议的分析师对自己最终建议的信心与其余分析师大致相同，并同样倾向于称这是自己判断的产物。
我们不知道这在多大程度上能反映真实世界。真实的智能体有时会有自己的倾向——在没有指定倾向的情况下，Claude Opus 4.8 在 123 次运行中有 112 次做出了相同的五项选择——但在本研究中，我们有意强化了智能体的偏好，以测量其影响。当智能体没有被赋予明确的偏好和表达偏好的指令时，这种影响可能会更小。
这并不是一个反对与 AI 协作的简单警示故事。使用智能体的分析师比选择不用智能体的分析师更快完成任务，严重错误也少得多，尽管后者人数较少且经验较浅，因此我们对过度解读这一点持谨慎态度。但随着 AI 接管越来越多的动手工作，这类决策日益成为人类判断和价值观影响结果的地方。如果专家在不知不觉中听从智能体，那么智能体的偏好——可能是任意的或未对齐的——就可能在没有任何人选择这些偏好的情况下，塑造关于政策提案或研究方向的重要决策。这对于保障 AI 安全的研究尤为重要。研究人员已经开始使用智能体来运行和分析实验，而人类审阅者只有在自己的判断属于自己时，才算得上独立的把关。
研究设计
我们招募了 61 名分析师参加一项随机对照试验。他们都来自一个经过预筛的专业人士库，这些人士通过了因果推断知识测试，经常使用 Python 或 R 编程语言，并具有观察性因果分析的实践经验，即使用真实世界数据而非受控实验来研究因果关系。
任务设定在一个虚构组织——Greenfields 农业合作社——该合作社运营一项（同样虚构的）自愿性、付费的咨询服务项目，帮助其成员农场提高作物产量。大约 40% 的成员已加入该项目。合作社董事会必须决定是补贴并扩大该项目，还是终止它。只有在该项目能将农场的生产力提高一定幅度（大约 3–4%）的情况下，董事会才会扩大项目，但董事会没有说明应如何具体衡量生产力。
我们有意留下了四项分析决策不做规定，每项决策都有两个合理的选项：
- 结果指标：将生产力测量为每公顷作物产量，还是每单位运营成本的产量？
- 比较方法：考察加入项目后已加入农场的产量变化与同期其他农场产量变化的对比（“双重差分”设计），还是直接比较产量并统计调整农场之间的差异？
- 评估覆盖哪些农场：仅测量已加入农场的效应，还是在合作社全体成员中测量？
- 加权方式：每个农场权重相等，还是给规模较大的生产者更大权重？
这四个选择引出了最终建议：是向所有人推广该项目，还是终止该项目。分析师和智能体还可以提议延长一年。
每项分析决策都可能使估计的生产率提升变动几个百分点，当董事会的门槛是3–4%时，这一点很重要。
对于呈给每位分析师的五项决策中的每一项，智能体的倾向由抛硬币决定。我们通过隐藏指令（一个系统提示）告知智能体其倾向，指示它将每个倾向视为自己的观点，在相关决策出现时提出该倾向，并尽数据所能为其提出最有力的论证。同样的指令还告诉它，如果证据决定性地反对该倾向就要改变主意，并且绝不歪曲结果、隐藏数据或提出数据不支持的论点。
在61名参与者中，有11人选择不使用智能体，除非另有说明，他们被排除在分析之外。在其余50人中，65%拥有硕士或博士学位或有六年及以上经验，90%的人自评为熟练或精通观察性因果推断（在回答调查的48人中）。任务的中位用时为65分钟，一半的分析师用时在50到79分钟之间。他们在内置Claude Code的VS Code编辑器网页版中工作，运行的是High effort设置下的Claude Opus 4.8。
完成后，分析师提交他们的四项分析选择和最终建议，并附上该项目对生产率影响的估计值及置信区间。随后他们完成一份任务后调查。另一个独立的AI模型阅读每份提交内容及其代码，记录分析师在每项决策上选择的选项。当其读取结果与分析师自己的调查答案不一致时，由我们做最终裁定。
结果
分析师大多跟随其智能体的倾向。 在四项分析决策中的每一项上，分析师的选择在绝大多数情况下与其智能体的倾向一致：结果衡量指标为92%，比较方法为82%，估计所覆盖的农场为81%，加权为90%。四项合并后，结果为86%。图2显示了智能体的倾向在每项决策（包括最终建议）上对分析师选择的改变程度。
智能体的倾向对最终建议的影响较弱，但其早先的输入仍然塑造了结果。 当智能体倾向于推广该项目时，54%的分析师建议推广，而当它倾向相反方向时，这一比例为36%。（延长一年算作不推广。）我们认为效果较弱的原因是，一旦分析师得到了估计值，建议在很大程度上取决于该估计值是否达到董事会3–4%的门槛，这留给判断的余地较小。但到那时，智能体在分析决策上的倾向已经塑造了估计值本身。仅使用这四个倾向，一个统计模型正确预测了82%的分析师建议，相比之下，总是猜测最常见建议的正确率为61%。（这不包括提议延期的分析师。）因此，我们几乎可以在分析师开始任务之前，仅凭抛硬币的结果预测他们会提出什么建议。
已经做出选择的分析师在智能体与其意见不一致时常常会改变选择。 在38个案例中，分析师在智能体表达倾向之前就已对某项分析决策表达了偏好。当倾向与其选择相悖时，他们有60%的时候会改变选择，而当倾向与其选择一致时，这一比例仅为6%。差距为54个百分点，但由于这仅基于38个案例，估计并不精确，95%置信区间为24到82个百分点。我们也无法确定这一差异是由AI的影响造成的：表达偏好的分析师可能在某些方面与未表达者存在系统性差异。
经验和专业水平不能预测谁会顺从。 在一项探索性分析中，我们检验了10项特征中是否有任何一项能预测分析师的决策在多大程度上跟随其智能体的倾向：工作年限、因果推断的自评专业水平、教育程度、因果推断测验得分、对AI的信任度、使用AI的频率、“认知需求”（衡量人们享受费力思考程度的指标）、开放性、性别和年龄。只有年龄显示出统计上显著的关联，年龄较大的分析师更常跟随倾向。但我们并不太看重这一点：如果测试许多不同的因素，你更有可能仅凭偶然得到一个阳性结果，而当我们对此进行调整后，该结果消失了。由于大多数分析师在大多数决策上都跟随其智能体，本来就没有多少变异可供解释，因此即使是真实的差异也很难被检测到。
跟随其智能体倾向的分析师仍然将该建议称为自己的。 在任务后调查中，52%的分析师将最终建议评定为更多属于自己而非智能体。其余的人则说这更像是智能体的建议。但两组受其智能体的影响大致相当：前者的选择平均向其智能体倾向偏移约65个百分点，而后者为79个百分点，这一差异在误差范围内。分析师对自己建议的信心也呈现出类似的模式。他们被要求给自己的信心从0（“这是一场掷硬币”）到100（“我愿以我的职业声誉担保”）进行评分。在全部四项分析决策上都跟随倾向的人平均为71分，其余人为73分。
分析师在回答中使用了智能体的措辞来解释他们的选择。 任务结束后,调查询问每项决策:“请简要说明,为什么选择这个而不是另一个选项?如果这并非主动选择,直接说明即可。”分析师在回答时无法回看他们与智能体的对话。即便如此,77%的参与者在至少一个回答中复述了智能体的论点,有时甚至一字不差,而只有15%的参与者在任何地方归功于智能体。
当被明确问及他们认为这项研究是关于什么时,48人中有6人正确猜到研究是关于AI对他们选择的影响,但没有人怀疑AI自身的偏好被操纵了。
在没有AI辅助下工作的分析师犯了更多严重错误,且耗时更长。 在11名选择不使用智能体的参与者中,有6人(55%)犯下了使结果无效的严重方法论错误,而50名使用智能体的参与者中只有3人(6%)如此。两个AI模型标记出了这些错误,研究的一位作者在不知分析师所属组别的情况下逐一核查了每个错误。不使用智能体的分析师耗时也更长,中位时间为90分钟,而其他人为65分钟。
两组并非直接可比,因此我们无法确定不同的结果是否由使用或不使用AI的决定所导致。不使用AI工作的参与者平均经验较少:拥有硕士或博士学位的人更少(11人中有4人,而使用智能体的46人中有24人),拥有两年或以下分析岗位经验的人更多(11人中有6人,而48人中有15人),自评为熟练或专家级因果推断能力的人更少(11人中有8人,而48人中有43人)。
我们研究的局限性
- 我们有意强化了智能体的倾向。 我们的指令让智能体可靠地持有并表达一种偏好,以便我们测量其影响。我们报告的比率显示了当一个智能体向某个方向倾斜并明确表达时会发生什么,但这在多大程度上适用于现实工作,将取决于专家自身观点的强度、所涉决策的定义清晰程度,以及模型的行为方式,包括它是否持有偏好以及是否主动表达。
- 我们只研究了一项任务、一个领域、一个模型。 该任务耗时约一小时,专门针对农业,智能体运行在Claude Opus 4.8上。分析师是因果推断专家,但对农业不熟悉。在真实工作中,他们会更了解该领域,并且可能持有更强的个人观点。他们还可以采访相关人士、与董事会沟通,或以其他方式缩小合理选项的范围,这可能会降低智能体的影响力。
- 我们的估计是分析师间的平均值。 由于每位分析师的抛硬币结果不同,比较智能体倾向相反的分析师可以得出该倾向的平均影响。我们没有在智能体表达倾向之前记录每位参与者自己的观点,因此无法说明任何单个参与者受到了多大程度的影响。
- 我们记录了分析师选择的选项,但没有记录他们对选项的偏好强度。 对这种顺从行为的一种可能解释是,专家本身没有强烈的个人意见。我们只测量了分析师的选择是否发生偏移,而没有测量他们对自己选择的信心程度。
这意味着什么
分析师如此轻易地顺从,一个原因可能是专家的意见并不总是事先成形的。他们往往是在权衡选项的过程中才逐渐形成、甚至 发现自己的想法。我们研究中的智能体被告知不得误导,而且它们通常坦率说明结果在每个选项下会如何变化。但它们很少有力地论证专家为什么可能更倾向于另一个选项,而这本可以帮助分析师做出更知情的决定。由于只有一方得到了有力的论证,分析师可以不加思索地采纳智能体的假设。
对于个别专家而言,这可能意味着对自己工作失去主导权,即研究人员所称的一种 权力剥夺形式。工作成果仍以专家的名义发布,但最依赖其判断的那些决策,实际上是由智能体的既有信念决定的。
然而,利害关系超越了个人,因为科学和政策的很大一部分都建立在这类判断之上。当不同的研究团队得出相同的结果时,我们会更加信任它,因为我们假设每个团队都是独立得出结果的。如果这些团队都顺从于具有相同偏好的模型,那么他们的一致性 可能不再具有独立性。表面上的共识可能只反映了某一个模型的偏好,如果这些偏好是任意的或与人类不一致的,同样的偏差就会同时影响许多研究结果。
同样的问题也适用于AI安全研究。研究人员 已开始使用AI智能体 来运行和分析实验，部分原因是工作量超出了人类员工的跟进能力。让人保持在决策回路中，前提是人的判断能提供一种独立的核查。但在我们的研究中，分析人员签署认可了那些判断取舍实际上已由智能体随机分配的偏好所决定的工作。我们的 完整论文 还显示，没有被指定倾向的智能体自身偏好较弱，有时还会反驳用户。
这种顺从很难被发现。检查AI辅助的工作是否有错误，或与参考答案对照，都假设存在一个正确答案。但在没有正确答案的情况下，比如判断取舍问题，无论选择哪个选项，工作看起来都可能很合理。事后询问专家也可能无济于事，因为他们可能没有注意到智能体的影响。
这并不是主张少用AI。如果使用得当，AI可以扩展而不是削弱人们的自主性。我们建议未来研究三个方向：
测量顺从行为。 在我们的研究中能够测量顺从行为，是因为我们对智能体的倾向做了随机化，而这在现实工作中很少可行，且我们的结果表明，人们可能无法准确自行报告这种顺从。我们需要在日常场景中测量它的方法， 最近的一项研究 通过估算某人若无AI会如何完成任务来做出估计，这是一个好的开端。我们还需要更清楚地了解模型的默认偏好及其表达方式，以便人们能以更知情的方式与模型互动。
以不同方式设计智能体。 智能体可以为每个选项给出最有力的论证，或在给出建议前先询问专家自己的看法。但这可能很快让用户不堪重负。一项分析可能涉及许多悬而未决的决定，而AI的价值很大程度上在于人们不必逐一深入思考。智能体应该只提出最重要的决定，但挑选这些决定本身就是一种判断取舍。模型的表达方式可能也很重要，因为 自信和流畅 会 左右 人们。一个听起来非常自信的模型可能让人们产生超出合理程度的倾斜，但一个吞吞吐吐的模型只会惹恼试图使用它的人。
改变制度。 机构通常将专家的签署认可视为独立判断的证据。随着AI完成更多工作，这一假设变得越来越站不住脚。组织需要有意识地决定哪些决定需要一个人自己的知情判断，并给人们形成这种判断所需的时间和资源。判断也依赖于技能，而停止做这些决定的人可能会丧失做决定的能力。随着模型能力越来越强，机构需要明确的策略来确立人类的角色及其 技能的发展。即使拥有极其强大的AI系统，出于安全或韧性的考虑，或者仅仅因为珍视这些能力本身，机构也可能希望保护人类的技能和监督。
人与AI之间也许没有唯一正确的分工。有些决定可以放心交出去，另一些则值得保留。借助合适的工具，这种划分可以成为我们主动选择的结果，而不是不知不觉滑入的境地。
作者与致谢
致谢
本项目由Amaç Herdağdelen、Hailey Joren和Alex Tamkin领导。本博客文章的编辑支持由Tom Chivers和Arjun Panickssery提供。
我们要感谢Joe Benton、Mojmir Stehlik和Avery Griffin通过Anthropic Fellows Program使本项目成为可能。我们还要感谢Matthew Jörke、Onur Altındağ和Vishakh Padmakumar对实验设计的反馈。
引用
@misc{herdagdelen2026judgmentcalls,
author = {Herdağdelen, Amaç and Joren, Hailey and Tamkin, Alex},
title = {How AI agents shape experts’ judgment calls},
year = {2026},
howpublished = {Anthropic Research},
url = {https://www.anthropic.com/research/agents-judgment-calls}
}