OpenAIの長さ調整では、HealthBench Professionalにおいて2,000文字を上回るか下回るかごとに500文字につき各タスクのスコアが1.47ポイント変動し、HealthBenchでは2.99ポイント変動します。Claude Opus 5.5(max with fallback)は生のHealthBench Professionalスコアで最高(71.4%)ですが、平均約5,900文字であるため6位(59.9%)まで落ちます。HealthBenchでは、Gemini 4 Argon(high)が最も多く失点(11ポイント)し、生スコアでは6位(60.0%)だったのが13位(49.1%)に落ち、回答の平均は約3,800文字です
OpenAIの長さ調整では、HealthBench Professionalにおいて2,000文字を上回るか下回るかごとに500文字につき各タスクのスコアが1.47ポイント変動します…
OpenAIの長さ調整では、HealthBench Professionalにおいて2,000文字を上回るか下回るかごとに500文字につき各タスクのスコアが1.47ポイント変動し、HealthBenchでは2.99ポイント変動します。Claude Opus 5.5(max with fallback)は生のHealthBench Professionalスコアで最高(71.4%)ですが、平均約5,900文字であるため6位(59.9%)まで落ちます。
Artificial Analysis · X
内容について
原文の公開と権利は出典元に帰属します。
機械翻訳 · 原文をご参照ください