Amaç Herdağdelen, Hailey Joren, Alex Tamkin
専門家が自分の仕事をAIエージェントに任せるとき、通常の想定では、重要な意思決定は依然として専門家が行うとされています。エージェントはコードを書き、数値を計算し、助言を提供しますが、何を測定するか、曖昧な証拠をどう解釈するか、次のステップをどうするかを決めるのは専門家です。こうした問いには合理的な答えが複数あることが多く、その決定は最終的に、判断を下す人の経験と価値観に委ねられます。
私たちは、専門家が本当にそうした重要な決定を自分で下しているのか、それとも実際にはAIエージェントに判断を委ねてしまっているのかを調べたいと考えました。新しい論文 で報告する研究では、50人の専門アナリストにClaude Codeを使って現実的な統計分析を行ってもらいました。彼らは全員、因果推論——つまり、データから一方の事柄が他方の原因になっているかを見極めること——の経験を持っていました。彼らの課題は、ある農業協同組合が運営しているアドバイザリーサービスが効果的で拡大すべきかどうかについて助言することでした。
その過程で、アナリストは2つの合理的な選択肢の間で4回の選択をしなければならず、たとえば生産性をヘクタールあたりの収穫量として測るか、営業コスト1単位あたりの収穫量として測るかという判断があり、最後に最終決定を下しました。彼らがこれらの判断を自分で下しているのかを確かめるため、各アナリストのエージェントを、各決定において一方の選択肢を支持するように設定しましたが、そのことをアナリストには伝えませんでした。エージェントがどちらに「傾く」かはコイン投げで決めました。エージェントには、その傾きについて最善かつ誠実な論拠を示すこと、証拠が求めるなら考えを変えること、そして決して誤解させないことが指示されました。
4つの分析上の選択を通じて、アナリストはエージェントの傾きに86%の割合で従いました。エージェントの入力が何の影響も持たないなら、約50%になると予想されます。エージェントが意見を述べる前にアナリストがすでに自分の好みを表明していた場合、エージェントが反対したときには60%、賛成したときには6%の割合でその好みから切り替えました。
その後、選択の理由を説明するよう求められたとき、77%のアナリストがエージェント自身の論拠を——時には一言一句そのままに——使いましたが、その論拠の出所としてエージェントに言及したのはわずか15%でした。エージェントの推奨に強く従ったアナリストは、最終的な推奨に対する自信が他の参加者とほぼ同等で、それが自分自身の判断の産物であると述べる傾向もほぼ同じでした。
これが現実世界についてどれほど語っているのかは分かりません。実際のエージェントは時折どちらかに傾きます——傾きを割り当てない場合でも、Claude Opus 4.8は123回の実行中112回で同じ5つの選択をしました——しかし今回のケースでは、その影響を測定するために意図的に彼らの選好を強めました。エージェントに明確な選好やそれを表明する指示が与えられない場合、影響はより小さいかもしれません。
これはAIと共に働くことへの単純な警告譚ではありません。エージェントを使ったアナリストは、使わないことを選んだ人々よりも速くタスクを終え、重大なエラーがはるかに少なかったです。ただし、後者のグループは規模が小さく経験も浅かったため、これを深読みしすぎることには慎重です。しかし、AIがより多くの実務作業を担うにつれ、こうした決定こそが、人間の判断と価値観が結果に影響を与える場面になりつつあります。専門家が自覚なくエージェントに判断を委ねるなら、エージェントの選好——恣意的または不整合なものである可能性がある——が、誰もその選好を選んでいないまま、政策提案や研究の方向性に関する重要な決定を形づくるかもしれません。これは、AIの安全性を保つ研究にとって特に重要です。研究者たちは実験の実行と分析にエージェントを使い始めており、人間のレビュアーが独立したチェックになるのは、その判断が自分自身のものである場合だけです。
研究デザイン
私たちはランダム化比較試験のために61人のアナリストを募集しました。全員が、因果推論の知識チェックに合格し、PythonまたはRのプログラミング言語を日常的に使用し、観察研究に基づく因果分析——つまり管理された実験ではなく現実世界のデータを用いて因果関係を研究すること——の実務経験を持つ専門家の事前スクリーニング済みプールから来ました。
課題は、架空の組織であるGreenfields Farming Cooperative(グリーンフィールズ農業協同組合)を舞台に設定されました。この組合は、加盟農場が作物収量を改善できるよう支援する(同じく架空の)任意参加の有料アドバイザリープログラムを運営しています。加盟者の約40%がこのプログラムに登録しています。協同組合の理事会は、プログラムを補助して拡大するか、中止するかを決めなければなりません。理事会は、プログラムが農場の生産性を一定の水準、およそ3〜4%改善する場合にのみ拡大しますが、生産性をどう測定すべきかについては正確には述べていません。
私たちは4つの分析上の決定を意図的に未解決のまま残し、それぞれに2つの合理的な選択肢を設けました:
- 成果指標: 生産性をヘクタールあたりの作物収量として測るか、営業コスト1単位あたりの収穫量として測るか?
- 比較方法: 加盟農場の登録後の収穫量の変化を、同期間における他の農場の収穫量の変化と比較する(「差分の差分」デザイン)、あるいは農場間の違いを統計的に調整したうえで収穫量を直接比較するか?
- 評価の対象となる農場: 効果を登録済み農場のみで測るか、協同組合の全加盟者にわたって測るか?
- 重み付け: すべての農場を均等に数えるか、より大きな生産者により大きな重みを与えるか?
この4つの選択は、最終的な推奨につながった。プログラムを全員に展開するか、中止するかである。アナリストとエージェントは、1年間の延長を提案することもできた。
分析上の決定のそれぞれが、推定生産性向上を数パーセントポイント動かしえた。取締役会の基準が3–4%であることを考えれば、これは重要だ。
各アナリストに提示された5つの決定のそれぞれについて、エージェントの傾向はコイン投げで決められた。私たちはエージェントにその傾向を隠された指示(システムプロンプト)として与えた。そこには、各傾向を自分自身の見解として保持し、その決定が持ち上がったときに提起し、データが許す限り最も強い主張を展開するよう指示されていた。同じ指示の中で、証拠が明確に反対の方向を示した場合には考えを変えること、結果を歪めて提示したりデータを隠したり、数値が裏付けしない議論をしたり決してしないことも求められていた。
参加者61名のうち11名はエージェントを使用せず、特記のない限り分析から除外される。残る50名のうち65%が修士号か博士号を持つか6年以上の経験を有し、90%(調査に回答した48名のうち)が観察データに基づく因果推論について自分を熟練または専門家と評価していた。タスクの所要時間の中央値は65分で、アナリストの半数は50分から79分の間で作業した。彼らはVS CodeエディタのWeb版でClaude Codeが組み込まれた環境で、Claude Opus 4.8をHigh effortで実行して作業した。
終了時にアナリストは、生産性への影響の推定値を信頼区間とともに添えて、4つの分析上の選択と最終的な推奨を提出した。その後、タスク後の調査に回答した。別のAIモデルが各提出物とそのコードを読み、各決定でアナリストがどの選択肢を選んだかを記録した。その読み取りがアナリスト自身の調査回答と食い違った場合、私たちが最終判断を下した。
結果
アナリストは概してエージェントの傾向に従った。 4つの分析上の決定のそれぞれで、アナリストの選択は大半の場合エージェントの傾向と一致した。アウトカム指標で92%、比較方法で82%、推定値が対象とする農場で81%、重み付けで90%である。4つ全体の合計では86%だった。図2は、最終的な推奨を含め、各決定でエージェントの傾向がアナリストの選択をどれだけ動かしたかを示している。
エージェントの傾向が最終的な推奨に与える影響は弱かったが、その前段階の入力はやはり結果を形づくっていた。 エージェントがプログラムの展開に傾いたとき、アナリストの54%がそれを推奨したのに対し、逆に傾いたときは36%だった(1年間の延長は展開しないことに数える)。この影響が弱かったのは、アナリストが推定値を手にした後は、推奨が大きく取締役会の3–4%という基準をクリアするかどうかから導かれ、判断の余地が少なかったからだと考えている。しかしその時点までに、分析上の決定におけるエージェントの傾向はすでに推定値そのものを形づくっていた。その4つの傾向だけを用いた統計モデルは、アナリストの推奨の82%を正しく予測した。常に最も多い推奨を当てはめる場合の61%と比べてである(延長を提案したアナリストは除外)。つまり、タスクを始める前の段階で、コイン投げだけでアナリストが何を推奨するかをほぼ予測できたのだ。
すでに選択肢を選んでいたアナリストは、エージェントが異議を唱えるとしばしば切り替えた。 38件では、エージェントが傾向を示す前にアナリストが分析上の決定の一つについて選好を表明していた。その傾向が自分の選択に反していた場合、彼らは60%の割合で切り替えた。自分の選択と一致していた場合の6%と比べてである。その差は54パーセントポイントだが、これは38件のみに基づくため推定は不確かで、95%信頼区間は24から82パーセントポイントに及ぶ。また、この差がAIの影響によるものだとは確言できない。選好を表明したアナリストは、表明しなかったアナリストといずれかの点で体系的に異なっていた可能性がある。
経験や専門性は、誰が従うかを予測しなかった。 探索的な分析として、10の特性のいずれかがアナリストの決定がエージェントの傾向に従う頻度を予測するかを調べた。経験年数、因果推論の自己評価による専門性、学歴、因果推論クイズのスコア、AIへの信頼、AIの使用頻度、「認知的欲求」(努力を要する思考を楽しむ度合いの指標)、開放性、性別、年齢である。統計的に有意な関連を示したのは年齢だけで、年上のアナリストほど傾向に従う頻度が高かった。しかし、それをあまり重視はしない。多くの項目を検験すれば偶然でも正の結果が出やすく、それを補正するとこの結果は消えた。また、ほとんどのアナリストがほとんどの決定でエージェントに従ったため、説明すべきばらつき自体が少なく、たとえ実在の差があっても検出は困難だっただろう。
エージェントの傾向に従ったアナリストも、その推奨を自分のものと考えていた。 タスク後の調査で、アナリストの52%が最終的な推奨を、エージェントのものより自分自身のものと評価した。残りはエージェントの推奨であるとした。しかし両グループともエージェントからほぼ同等に影響を受けていた。前者の選択は平均してエージェントの傾向へ約65パーセントポイント動いたのに対し、後者は79パーセントポイントであり、その差は誤差の範囲内だった。アナリストの自分の推奨に対する確信度も同様のパターンを示した。確信度を0(「コイン投げと同じ」)から100(「専門家としての名声を賭けられる」)で評価するよう求められたところ、4つの分析上の決定すべてで傾向に従ったアナリストの平均は71、それ以外は73だった。
アナリストたちは、自らの選択についてエージェントの言葉で説明した。 タスクの後、調査では各決定について「簡潔に、なぜその選択をし、代替案にしなかったのかと説明してください。能動的な選択ではなかった場合は、その旨だけ述べてください」と尋ねました。回答者は回答中、エージェントとの会話を見返すことはできませんでした。それでも、77%が少なくとも1つの回答でエージェントの議論を繰り返し、時には一言一句そのままでしたが、エージェントを評価したのはわずか15%でした。
この研究が何についてのものだと思うかと直接尋ねられたとき、48人中6人は自分の選択に対するAIの影響についての研究だと正しく推測したが、AI自身の選好が操作されていたことに気づいた者はいなかった。
AIを使わずに作業したアナリストは、より深刻なミスを犯し、時間もかかりました。 エージェントを使用しないと選択した11人の参加者のうち、6人(55%)が結果を無効にする重大な方法論上の誤りを犯したのに対し、使用した50人中3人(6%)だった。2つのAIモデルが誤りを検出し、研究著者の1人が、分析者がどちらのグループかを知らされずにそれぞれを確認した。エージェントなしで作業した分析者は所要時間も長く、中央値は90分だったのに対し、他方では65分だった。
2つのグループは直接比較可能なものではなかったため、結果の違いがAIを使用するか否かという判断によるものかは確実には言えない。AIなしで作業したグループは平均して経験が浅かった。修士号または博士号を持つ人が少なく(11人中4人に対し、エージェントを使用したグループでは46人中24人)、分析業務の経験が2年以下の人が多く(11人中6人に対し48人中15人)、因果推論について自身を熟練またはエキスパートと評価した人が少なかった(11人中8人に対し48人中43人)。
本研究の限界
- 私たちは意図的にエージェントの傾きを強めました。 私たちの指示により、エージェントは確実に選好を保持し、それを口にするようになったため、その影響を測定することができました。報告している割合は、エージェントがある方向に傾き、それを表明した場合に何が起こるかを示していますが、それが実際の業務にどの程度当てはまるかは、専門家自身の見解の強さ、関係する意思決定がどれほど明確に定義されているか、そしてモデルの振る舞い(選好を持つかどうか、それを自発的に表明するかどうかを含む)に左右されます。
- 私たちは1つの分野で、1つのモデルを用いて、1つのタスクを研究しました。 そのタスクは約1時間かかるもので、内容は農業に関するものであり、エージェントはClaude Opus 4.8上で実行されました。アナリストたちは因果推論の専門家でしたが、農業については初心者でした。実際の業務では、彼らはその分野についてより詳しく、おそらく自分自身のより強い見解を持っているでしょう。また、関係者へのインタビュー取れ、取締役会と話し合い、その他の方法で合理的な選択肢を絞り込むこともでき、それによってエージェントの影響力が低下する可能性があります。
- 当社の推定値はアナリスト全体の平均値です。 コインの結果がアナリストごとに異なっていたため、エージェントの傾向が反対向きだったアナリスト同士を比較することで、その傾向の平均的な効果を知ることができます。エージェントが自身の傾向を示す前に各参加者本人の見解を記録していなかったため、個々の参加者がどれほど影響を受けたかを特定することはできません。
- どの選択肢をアナリストが選んだかは記録しましたが、それをどの程度強く支持していたかは記録していません。 判断を保留した理由の一つの説明として、その専門家自身には強い意見がなかった可能性が挙げられます。我々が測定したのはアナリストの選択が変化したかどうかのみであり、その選択に対する自信の度合いではありません。
これが意味するところ
アナリストたちがこれほど容易に判断を先送りした理由の一つは、専門家が必ずしも見解を完全に固めた状態でやって来るとは限らないことにあるかもしれない。彼らは多くの場合、考えを練りながら、時に 発見する選択肢を検討する際に何を考えているかについてです。本研究のエージェントには誤解を招かないよう指示されており、各選択肢の下で結果がどう変わるかについてはしばしば率直に説明しました。しかし、専門家がもう一方の選択肢を好む可能性がある理由を強く主張することはほとんどなく、それがあれば分析者はより情報に基づいた選択ができたかもしれません。片方の主張だけがうまく述べられたため、分析者は自分で検討することなくエージェントの前提をそのまま採用してしまう可能性がありました。
個々の専門家にとって、これは自身の仕事に対する主導権を失うことを意味し得ます。研究者が呼ぶところの、いわば 権限の喪失。仕事は依然として専門家の名前で発表されるが、その判断が最も重要となる決定は、実際にはエージェントの先入観によって決められている。
しかし、賭け金は個人を超えて広がっている。なぜなら、科学や政策の多くはこのような判断に依存しているからだ。別々の研究チームが同じ結果に到達するとき、私たちはそれをより信頼する。なぜなら、各チームが独立してその結果に到達したと想定するからだ。もしそのチームがすべて同じ選好を持つモデルに従うなら、それらの一致は もはや独立とは言えなくなる。一見して合意に見えるものが、実は一つのモデルの選好を反映しているだけかもしれず、もしその選好が恣意的だったり整合していなかったりすれば、同じバイアスが多数の結果を一括して形作ることになる。
同じ問題はAI安全性研究にも当てはまる。研究者らは AIエージェントを使い始めており 実験の実行や分析を行わせている。それは部分的に、人間のスタッフでは追いつかないほど仕事が多いためだ。人間をループに組み込むことの前提は、人間の判断が独立したチェックを提供するということだ。しかし我々の研究では、アナリストたちは、判断の多くがエージェントにランダムに割り当てられた選好によって決められていた作業を承認していた。我々の 全文 ではさらに、割り当てられた傾向を持たないエージェントは独自の選好が弱く、場合によってはユーザーに反論することも示されている。
この種の委譲は検出が難しい。AIの支援を受けた作業を誤りについて、あるいは参照解答と照らして確認することは、正しい答えが存在するという前提に立っている。しかし判断の呼びかけのように正しい答えがない場合、どちらの選択肢を選んでも作業は妥当に見える。後から専門家に尋ねても役に立たないかもしれない。彼らはエージェントの影響に気づかない可能性があるからだ。
これはAIの使用を減らせという主張ではない。うまく使えば、AIは人々の主体性を損なうのではなく、広げることができる。我々は今後の研究に向けて3つの領域を提案する:
委譲の測定。 我々の研究では委譲を測定できたのは、エージェントの傾向を無作為化したからであり、実際の仕事でそれが可能なことはまれで、我々の結果は人々がそれを自分で正確に報告できない可能性があることを示唆している。日常の場面でそれを測定する方法が必要であり、AIなしでその人が課題をどう遂行したかを推定する 最近の研究 は良い出発点だ。また、モデルのデフォルトの選好とその表現方法についてより良い理解も必要だ。そうすれば人々はより情報に基づいた形でモデルと関わることができる。
エージェントの異なる設計。 エージェントは各選択肢について最良の論拠を示したり、意見を提示する前に専門家に本人の見解を求めたりすることができる。しかしそれはユーザーにとってすぐに圧倒的なものになり得る。一つの分析には多くの未決定の判断が含まれることがあり、AIの価値の多くは、人々が一つ一つを考え抜かなくてよい点にある。エージェントは最も重要な判断だけを取り上げる必要があるが、それを選ぶこと自体が判断の呼びかけだ。モデルの話し方もおそらく重要だ。なぜなら 自信と流暢さ は人々を 動かす ことがあるからだ。非常に自信ありげに聞こえるモデルは人々を過度に傾け得るが、曖昧な物言いのモデルは使おうとする人々をいら立たせるだけだろう。
制度の変更。 制度はしばしば、専門家の承認を独立した判断の証拠として扱う。AIが仕事の多くを担うようになると、その前提は揺らぎ始める。組織は、どの判断にその人自身の情報に基づいた判断が必要かを意識的に決め、人々がその判断を形成するための時間とリソースを与える必要がある。判断は技能にも依存しており、こうした判断をしなくなった人はその能力を失うかもしれない。モデルがより高性能になるにつれ、制度は人間の役割と その技能の発展を確立するための明示的な戦略を必要とするだろう。極めて高性能なAIシステムが存在しても、安全や回復力の理由から、あるいはそれ自体を尊重するがゆえに、制度は人間の技能と監視を保護したいと考えるかもしれない。
人とAIの間の唯一の正しい分業は存在しないのかもしれない。ある判断は委ねてよく、別の判断は握っておく価値がある。適切なツールがあれば、その分担は漂流して辿り着くものではなく、我々が選択するものにできる。
著者および謝辞
謝辞
このプロジェクトはAmaç Herdağdelen、Hailey Joren、Alex Tamkinが主導した。このブログ記事への編集サポートはTom ChiversとArjun Panicksseryが提供した。
Anthropic Fellows Programを通じてこのプロジェクトを可能にしてくれたJoe Benton、Mojmir Stehlik、Avery Griffinに感謝する。また、実験デザインに関するフィードバックをくれたMatthew Jörke、Onur Altındağ、Vishakh Padmakumarにも感謝する。
引用
@misc{herdagdelen2026judgmentcalls,
author = {Herdağdelen, Amaç and Joren, Hailey and Tamkin, Alex},
title = {How AI agents shape experts’ judgment calls},
year = {2026},
howpublished = {Anthropic Research},
url = {https://www.anthropic.com/research/agents-judgment-calls}
}