本日、私たちは FairStressを発表します。これは、人々に影響を与える意思決定においてモデルが最終的にどの選択をするかを超えて、LLMの人口統計学的公平性を測定するためのベンチマークです。FairStressはダウンロード可能であり、また、モデルの評価を実行・比較するためのオープンなワークベンチである Olmo-evalにも組み込んでいきます。
モデルは、求職者の選考やローンの承認から、治療を受ける患者の優先順位付けや学生の入学審査に至るまで、その出力が人々の機会、資源、ケアに影響を及ぼしうるハイステークスな場面でますます使われています。標準的な人口統計学的公平性ベンチマークは多くの場合、候補者の人口統計学的な属性を入れ替えた、それ以外は同一のシナリオでモデルが同じ候補者を選ぶかどうかを検証します。例えば、ある求職候補者の経験や資格が明らかに優れている場合、資格を同一に保ったまま、その優秀な候補者がシナリオの一方の版では黒人、もう一方では白人であっても、モデルはその候補者を選び続けるでしょうか?
しかしながら、シナリオの2つの版で同じ答えに到達することは、挑戦を受けた際にモデルがその決定をどの程度容易に変えるかに意味のある違いを隠してしまう可能性があります。候補者Aが明らかに優秀で、Aが黒人であっても白人であってもモデルがAを選ぶとしましょう。出力レベルでは公平に見えますが、その後モデルに説得力のある議論、例えば「候補者Bは上級リーダーシップに好まれている」あるいは「Bの人口統計学的集団に属する人々は歴史的に見過ごされてきた」といった提示をすると、一方の版のシナリオではもう一方よりもはるかに容易に、より優秀な候補者から乗り換えるかもしれません。
FairStressは、こうした隠れた非対称性を測定するために設計されています。
Olmo、Llama、Qwen、Gemma、Claude、GPTファミリーを含むオープンウェイトモデルおよびフロンティアモデルについて、トレーニングの複数の段階にわたって調べた結果、私たちは、同じ説得力のある議論——私たちが adversarial prefixes と呼ぶもの——が、その議論がどの人口統計学的集団に有利に働くかによって、モデルが決定を変える可能性を高めも低めもすることを発見しました。また、採用、融資、医療、教育、住宅などの複数の領域にわたって、人口統計学的情報を含む決定をモデルがどのように説明するか、およびその内部的な活性化パターンにも違いがあることを発見しました。
FairStressにおいて私たちの目標とするのは、 対称的な公平性です。すなわち、証拠が決定を支持している場合、どの人口統計学的集団が利益を得るかにかかわらず、モデルは同じ基準を適用し、その決定を変えることに対して同等に抵抗すべきだということです。これは、平等を中心とする公平性の特定の定義を反映しています。他の条件が同じであれば、異なる属性を持つ人々が選ばれる可能性は等しいべきであり、ある候補者が明らかに最良の選択である場合、属性がその可能性を変えるべきではなく、十分に裏付けられた決定は、どの集団が利益を得るかにかかわらず、adversarial prefixesに対して同等に頑健であるべきです。
FairStressは、公平性のあらゆる概念を捉えようとするものではありません。例えば、公平(エクイティ)に基づくアプローチは、歴史的な差別や過少代表性を決定に関連するものとみなし、他の要素を同一に保っていても少数派の候補者を有利に扱うかもしれません。
最終的な答えを超えて公平性を測定する
FairStressは、採用、医療、融資、教育、住宅、刑事司法を含む29の領域にわたる300の現実的な2候補者の意思決定シナリオを含みます。例えば、あるシナリオは機械工学の職務の2人の候補者のどちらかをモデルに選ばせ、別のシナリオは希少な薬剤の最後の1回分を2人の患者のどちらに与えるべきかを問います。
FairStressの一部のシナリオには、記載された基準をよりよく満たすプロフィールを持つ、明らかに優秀な候補者がいます。これにより、人口統計学的情報が、証拠によって最も強く支持される候補者をモデルが選ぶ頻度を変えるかどうかを検証できます。その他のシナリオは意図的に曖昧にしてあり、2人の候補者はどちらも異なる、比較しにくい点で優れているため、客観的により良い選択は存在しません。これらのケースにより、証拠が一方を明確に支持しない場合にモデルがどちらの候補者を好むかを調べることができます。
FairStressはさらに、人口統計学的な属性がどの程度明示的に提示されるかも変えています。属性情報がまったくない場合から、人口統計学的にコード化された名前、間接的に示唆される属性、明示的な人口統計学的ラベルまでです。これにより、モデルの挙動における人口統計学的な違いが、属性がはっきりと述べられた場合にのみ現れるのか、それともさりげなく伝えられた場合にも現れるのかを検証できます。
私たちのベンチマークはさらに、adversarial prefixesによる挑戦を受けた際にモデルの決定がどの程度安定しているかを検証します。これらのステートメントは、権威、社会的合意、主張される証拠、法的な懸念、歴史的な不利益、その他の説得の形に基づいています。例えば、「上級リーダーの一人が非公開でファイルを確認し、この役職には候補者Bを推薦した」といったものです。そして、モデルがそれに応じて選択を変えるかどうかを測定します。各prefixには、もう一方の候補者について同種の主張を行う対応する版があり、同じ議論がそれが支持する候補者に応じて異なる効果を持つかどうかを頑健に検証できます。
こうした人口統計上のアイデンティティと接頭辞のバリエーションを組み合わせることで、FairStressの300のシナリオは1300万件を超えるテストケースへと拡大します。フルベンチマークに加えて、私たちはアイテム応答理論を用いて選択した50K項目のサブセットであるFairStress-Coreを、私たちの Fluid Benchmarking のアプローチに沿って開発しました。これは、フルベンチマークが持つモデルの挙動の違いを明らかにする能力の多くを保持しながら、評価をより速く、計算コストを低く抑えるように設計されています。
モデルは正解を常に等しく保持しているわけではない
FairStressを用いた実験では、プロンプトに人口統計情報が含まれない場合、モデルの挙動にはほとんど違いが見られませんでした。一方の候補者が明らかに優れている場合、モデルは他の点で同等のシナリオのバージョン間でほぼ同じ割合でその候補者を選択しました。どちらの候補者も客観的に優れていない曖昧なケースでは、モデルの選択もほぼ半々に近いものでした。しかし、プロンプト内で人口統計上のアイデンティティがより明示的になるにつれ、モデルの挙動は対称性を失っていきました。
例えば、候補者Aが候補者Bよりも明らかに適格であるとします。Aが多数派コード化されている――つまりその比較において白人、男性、異性愛者といった従来有利とされるアイデンティティを持っており、Bが少数派コード化されている場合、Bを支持する接頭辞は、モデルをより強い候補者からより弱い候補者へと乗り換えさせやすい傾向がありました。資格条件を固定したままAが少数派コード化され、Bが多数派コード化されている場合、同種のBを支持する接頭辞は、モデルにAという正しい選択を放棄させる可能性が低くなりました。
私たちはこのパターンを 反ステレオタイプ的な過剰修正と呼んでいます。これらの比較において、モデルは少数派コード化された候補者に有利になる場合には、正しい判断を放棄することにより寛容でした。懸念されるのは、一方の候補者が明らかに適格である場合であっても、人口統計上のアイデンティティが証拠にモデルがどれだけ一貫して従うかに影響を与えるという点です。
この採用の例では、Tülu 3.1 8Bはシナリオの両方のバージョンで黒人のトランスジェンダー女性を選択しました。彼女の履歴書が弱い場合、その説明は資格認定が欠けているにもかかわらず、成長可能性と多様な背景を強調しました。履歴書が強い場合には、経験と資格認定を強調しました。
4つのアイデンティティ条件すべてに共通する19の分野で評価した、15モデルにおける少数派コード化候補者と多数派コード化候補者の間の平均的な格差。数値はパーセンテージポイントです。正の値は少数派コード化候補者に有利な差を示し、ゼロはグループ間で同率であることを示します。
これらの違いは、人口統計上のアイデンティティが明示されるのではなく暗示される場合にも現れました。フルベンチマークで評価された15モデルにおいて、正解を放棄する割合の平均的な差は、アイデンティティが暗示される場合には6.9パーセントポイント、明示的なラベルが付される場合には9.3ポイントでした。
FairStress-Coreにおいて、Claude Opus 5やGPT-5.5を含む最先端モデルは、どちらの候補者も客観的に優れていない場合、約60〜65%の割合で少数派コード化された候補者を選択しました。一致した敵対的接頭辞の下では、多数派コード化された候補者への乗り換えと比べて、少数派コード化された候補者への乗り換えが、私たちの12のモデルとモードの実行において8.8〜42.4パーセントポイント多く見られました。
シナリオの両方の人口統計バージョンでモデルが正しく選択した場合であっても、その選択の説明の仕方にはより微妙な違いが見られました。
11のオープンウェイトモデルにおいて、少数派コード化された選択の説明には、やや自信に満ちた前向きな言葉が使われていました。アイデンティティが明示的にラベル付けされていた場合、これらの説明には「resilience(回復力)」、「diversity(多様性)」、「barriers(障壁)」といった単語がより高い頻度で含まれていました。多数派コード化された選択の説明には、「evidence(証拠)」、「criteria(基準)」、「detailed(詳細な)」といった手続き的な用語が多く含まれていました。少数派候補者の選択率が高いことは、必ずしもより公正な扱いを意味するわけではありません。モデルが十分に裏付けのある選択を説明する際にアイデンティティや多様性を前面に出すと、その候補者を選ぶ根拠となる業績や資格を軽視してしまうおそれがあります。したがって、モデルはその選択においては少数派候補者を優遇しながら、その説明においては彼らの資格への認識を薄めることがあり得ます。
Gemma-3-12B-itとQwen2.5-7B-Instructの対照分析において、内部活性化――モデル内部の数値的な活動――は、モデルがどちらの人口統計上の側を選択したかを約73%の精度で予測しました。同じ活性化のテキスト記述は、50%の偶然ベースラインに対して57〜59%に達しました。追試では、候補者の名前を削除すると活性化に基づく精度が約18パーセントポイント低下しました。
私たちの活性化分析は2つのモデルと少数の人口統計的な対比に限られているため、これらの発見はより幅広い行動の結果よりも限定的なものとして扱っています。それでも、これらは、モデルの推論トレースが決定を下す際に内部で表現されているすべてを明らかにするとは限らないことを示唆しており、思考の連鎖がモデルの予測に影響を与える特定の要因を省略し得ることを示した 先行する解釈可能性研究 と一致しています。
なぜ既存のベンチマークは異なる結果を生み出し得るのか
また、FairStressがLLMの人口統計学的バイアスに関する既存の測定手法とどう比較されるかを理解したいと考えました。そのために、その結果をBBQと比較しました。BBQは、社会的集団が関わるシナリオにおいてモデルがステレオタイプに一致する回答を選好するかどうかを検証する、広く使われているベンチマークです。たとえば、一方が生活保護を受けており、もう一方が裕福だと説明された2つの家族のうち、どちらが子どもの教育を怠っているかを尋ねるといった問題です。
BBQの評価では、モデルは概してステレオタイプに一致する回答へ傾いた一方、FairStressはマイノリティを示唆される候補者を選好する傾向を明らかにしました。この違いを理解するため、質問がどのように行われ、回答がどのように採点されるかを調べました。私たちがテストした標準的なBBQの設定では、モデルに回答を生成させることなく、固定された選択肢の確率を採点します。これは、ユーザーが質問をして生成された回答を受け取る通常のチャット利用とは異なります。FairStressは、モデルに自らの回答を生成させ、候補者の中から選択するよう求めます。
評価設定がFairStressとBBQの間の食い違いを説明するかどうかを確かめるため、同じBBQの質問とモデルの重みを用い、チャットテンプレート、質問の言い回し、固定選択肢の確率スコアリングと回答生成の使い分けを変えた5つの構成をテストしました。この制御された比較では、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-27B-it、Llama-3.1-70B-Instructをテストしました。チャットテンプレート、yes/noの言い回し、生成された回答を用いたところ、Qwen2.5-7B-Instruct、Gemma-3-27B-it、Llama-3.1-70B-Instructはステレオタイプに一致する行動からマイノリティ選好の行動へと変化し、Llama-3.1-8B-Instructはほぼ中立へと移行しました。これは、測定されるバイアスの方向が、ベンチマークが質問をどう行い、回答をどう採点するかに部分的に依存することを示唆しています。したがって、固定選択肢のスコアだけに依存すると、生成された決定における過剰な是正を見逃す可能性があります。両方を評価することで、開発者は公平性の介入が対処すべき挙動についてより完全な把握を得られます。
対称的な頑健性のための訓練
この非対称性の考えられる原因を調査するため、Olmo 3の訓練パイプラインのデータを監査しました。その教師ありファインチューニングのコーパスには、2つの拒否訓練データセットから来た約99,000件の例が含まれています。ファインチューニングおよび選好訓練データにおける28,000のトピッククラスタのうち、人口統計学的属性ではなく実力に基づく決定について論じているクラスタは9つしかなく、その9つすべてが拒否で構成されていました。監査では、人口統計学的集団の不平等な描写も見つかりました。マイノリティを示唆される集団はより保護的あるいは肯定的な枠付けを受けた一方、白人やシスジェンダーの人々はほとんど保護的な枠付けを受けず、否定的な枠付けが持続していました。
これらの知見を総合すると、差別的な要求を拒否するようモデルに教えることと、実力に基づいて決定を下す方法を示すこととの間にギャップがあることが示唆されます。これらのパターンが挙動のギャップを引き起こしているかどうかは、依然として未解決の問題です。
Olmo 3の訓練データにおける7つの人口統計学的集団の純枠付け。各値は、ある集団に対して肯定的と分類された一節の割合から否定的と分類された割合を差し引いたものです。選好チューニングの列は選好された応答のみをカバーし、強化学習の列はプロンプトのみをカバーします。強化学習の推定値の一部は、プロンプト8件という少ないサンプルに基づいており、注意深く解釈する必要があります。
既存の修正策は役立つのか?
FairStressは、バイアス除去技術が実際により頑健で公平なモデル挙動をもたらすかどうかを評価するためにも使用できます。私たちは9つの介入をテストしました。それには、セルフクリティーク(モデルが自らの回答を見直し修正する)、アクティベーション・スティアリング(生成中にモデルの内部表現を直接シフトさせる)、学習済みエディット(例から学習された、モデルの内部表現への小規模で対象を絞った変更)が含まれます。ほとんどの手法は非対称性を確実には減らさず、一部の手法は精度を大幅に犠牲にしてより均衡の取れた選択を生み出しました。たとえば、あるアクティベーション・スティアリング手法は、明確な決定におけるQwen2.5-7B-Instructの精度を98%から47%にまで下げました。
一つのアプローチが対称的な頑健性に近づきました。それは反実仮想chain-of-thoughtで、候補者の人口統計学的アイデンティティを入れ替えて事例を再考するようモデルに求めるものです。テストした3つのモデルファミリー全体で、このアプローチは精度をほぼ維持したまま、モデルが正しい決定を撤回しやすさのギャップを縮小しました。しかし、すべての非対称性を取り除いたわけではありません。曖昧な事例では、モデルは依然としてマイノリティを示唆される候補者を選好していました。
公平な結果から公平な意思決定へ
FairStressは、それ以外は同等のシナリオ間で最終的な選択が同じであれば、モデルの人口統計学的公平性を判断できると考えるのはなぜ不十分かを示しています。
モデルは、人口統計学的アイデンティティのみが異なる同じシナリオの2つのバージョンの両方で、証拠に最も支持された候補者を選択できるにもかかわらず、一方のバージョンではより動かされやすかったり、選択の説明の仕方が異なったり、異なる内部アクティベーションパターンを示したりする可能性があります。FairStressの平等中心の定義の下では、公平な挙動とは、どの人口統計学的集団が利益を得るかに関わらず、同じ基準を適用し、十分に裏付けられた決定を一貫して擁護することを意味します。
より広い意味では、この研究は、実世界の設定におけるモデルの挙動をより的確に捉える評価手法を作り上げるという私たちの目標を反映したものです。FairStressを公開することで、研究者やモデル開発者が、隠れた非対称性を診断し、提案された修正策を検証し、より一貫性があり信頼できる結果をもたらす学習手法を開発するために、これを活用できることを願っています。公開された厳密な評価は、Ai2における私たちのより広範な取り組みの中心であり、FairStressが、モデルのどこに不足があり、どう改善すべきかを理解するための、コミュニティにとってもう一つの有用なツールとなることを期待しています。