意思決定モデルは、知識および推論タスクにおいてキャリブレーションが不十分です。選択された回答のほぼすべての確率水準において、精度…

意思決定モデルは、知識および推論タスクにおいてキャリブレーションが不十分です。選択された回答のほぼすべての確率水準において、すべての意思決定モデルで精度がその確率を下回ります。このギャップはAA-Omniscience-DecisionとHLE-MultiChoiceで最も大きく、一方、ほとんどのモデルはWildGuardTest(分類)とWhen2Call(ツール呼び出し)では比較的よくキャリブレーションされています